Qué estamos evaluando
Una prueba amplia comprueba la tarea, las políticas y los efectos reales. Conserva versiones, casos y protocolo para poder comparar.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
La evaluación empieza definiendo el objeto, no la métrica
Podemos describir de forma compacta un sistema de IA como:
Nivel 1 — Evaluar el modelo
Una model eval intenta medir el comportamiento del modelo bajo un harness controlado.
Qué puede concluir una model eval
Puede apoyar afirmaciones como:
Ve directamente a una sección
Leer transcripción revisada
Transcripción del texto visual. Vídeo sin narración.
00:00 — La respuesta no es el resultado.
Un agente puede decir «hecho» sin haber completado la tarea.
Comprueba también las acciones ejecutadas y el estado final.
Define esa frontera antes de elegir una métrica.
Ejemplo ilustrativo, no resultado de benchmark.
00:22 — Aísla el cambio. Evalúa el modelo.
Da a ambos modelos los mismos casos y el mismo protocolo.
Mantén fijos el contexto, las herramientas y la rúbrica.
La diferencia describe este ensayo; no certifica todo el producto.
00:44 — Falta la evidencia. No cambies todo.
Si la política correcta no llega al contexto, inspecciona el retriever.
Cambia sólo ese componente y repite los mismos casos.
Después confirma que mejora la tarea completa, no sólo el ranking.
Ejemplo ilustrativo, no resultado de benchmark.
01:06 — El workflow decide qué puede ocurrir.
La política del workflow permite, impide o desvía acciones.
Una autorización debe comprobarse antes de ejecutar un write.
Evalúa también las ramas de rechazo y recuperación.
Ejemplo ilustrativo, no resultado de benchmark.
01:28 — La trayectoria muestra qué ocurrió.
El workflow describe rutas posibles; la trayectoria recoge una ejecución.
Sigue argumentos, respuestas, errores y cambios de estado.
Un mensaje final correcto no borra un efecto secundario duplicado.
Ejemplo ilustrativo, no resultado de benchmark.
01:50 — Diagnostica en pequeño. Confirma en el sistema.
Una frontera estrecha ayuda a localizar el fallo.
Una prueba amplia comprueba la tarea, las políticas y los efectos reales.
Conserva versiones, casos y protocolo para poder comparar.
