Tests, verificadores y condiciones de parada
La revisión del diff añade otra pregunta: qué cambió realmente y si estaba permitido.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Test, verifier, reviewer y stop condition no son sinónimos
Conviene distinguir cuatro objetos:
«Los tests pasan» sólo tiene significado respecto a un contrato
Supón una tarea:
El resultado importa más que una trayectoria ritual
Un agent puede llegar a una solución válida por caminos distintos. Obligarle a hacer exactamente:
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Cada prueba cubre una pregunta
El linter comprueba estilo, no que el resultado sea JSON válido.
El test de contrato prueba el formato. La regresión comprueba que el modo anterior siga funcionando.
La revisión del diff añade otra pregunta: qué cambió realmente y si estaba permitido.
Este verde pertenece a A
Los tests pasan sobre la revisión A y generan un recibo.
Una edición posterior crea B. El recibo no se borra, pero tampoco prueba B.
La entrega necesita evidencia ligada al candidato actual y a su entorno.
También se revisa el test
El test falla porque detecta que desapareció la salida anterior.
Borrar esa aserción produce verde sin reparar el comportamiento.
El diff del verificador también forma parte de la revisión. Pasar una prueba debilitada no cumple el contrato.
Dos modos, dos contratos
Sin opciones, report conserva su salida de texto.
Con --json, devuelve un objeto que se puede parsear y validar.
Se prueban ambos caminos y el error de entrada. Comprobar sólo el nuevo modo deja una regresión invisible.
Agotar tiempo no da un PASS
La ejecución tiene un presupuesto para evitar trabajo ilimitado.
El contador llega a cero mientras queda una prueba obligatoria pendiente.
El estado correcto es incompleto, con la evidencia disponible. No se convierte el timeout en aceptación.
Una ejecución no mide fiabilidad
En este ejemplo ilustrativo, 16 de 20 ejecuciones cumplen el contrato.
Las otras cuatro fallan por causas distintas que deben conservarse en el registro.
Ese 80 % describe esta muestra y este entorno. No demuestra una garantía universal del modelo.
