Casos que ponen a prueba
Cambiar una etiqueta o un grader puede cambiar el score sin mejorar el modelo. Publica una nueva versión; no reescribas el resultado anterior en silencio.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
El objeto correcto: una versión del eval, no «el dataset»
Representemos una release de evaluación como:
La unidad mínima debe poder auditarse
Un caso debería permitir reconstruir, al menos:
Empieza por una hipótesis de cobertura
«Representativo» no significa «aleatorio» por defecto.
Ve directamente a una sección
Leer transcripción revisada
Transcripción del texto visual. Vídeo sin narración.
00:00 — Un eval es más que sus preguntas.
Un caso necesita entrada, contexto y un resultado esperado verificable.
La rúbrica y el harness determinan cómo se observa y puntúa.
Versiona el conjunto completo, no sólo una lista de prompts.
00:22 — Busca cobertura. No sólo volumen.
Empieza por las tareas y los fallos que importa detectar.
Cruza condiciones relevantes: permisos, límites y fallos parciales.
Muchos casos fáciles no compensan una frontera sin comprobar.
Ejemplo ilustrativo, no resultado de benchmark.
00:44 — Cambia una condición. Debe cambiar la decisión.
Supón una devolución permitida hasta el día 30.
Dos pedidos iguales, salvo 29 frente a 31 días, requieren decisiones distintas.
El par detecta el atajo «pide devolución, entonces aprobar».
Ejemplo ilustrativo, no resultado de benchmark.
01:08 — Separa familias. No sólo filas.
Una paráfrasis puede revelar en el test un caso ya usado en desarrollo.
Agrupa variantes por documento, entidad o semilla antes de separar.
Un detector de duplicados no demuestra ausencia de contaminación.
Ejemplo ilustrativo, no resultado de benchmark.
01:30 — Desarrollar no es medir la release.
Usa dev para ajustar y un banco de regresión para fallos conocidos.
Reserva un holdout para la decisión de release, con acceso controlado.
Ajustar repetidamente contra ese holdout destruye su independencia.
01:52 — Cambió el criterio. Cambió la evaluación.
Congela casos, referencias, rúbrica, harness y protocolo.
Cambiar una etiqueta o un grader puede cambiar el score sin mejorar el modelo.
Publica una nueva versión; no reescribas el resultado anterior en silencio.
Ejemplo ilustrativo, no resultado de benchmark.
