Cómo evaluar un agente
Separa los permisos de la tarea de los recursos del verificador. Registra los intentos fuera de alcance e inspecciona la trayectoria.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
La unidad de evaluación es una tarea
Una tarea útil debe especificar:
Cuatro dimensiones que conviene medir
1. Resultado
¿La tarea terminó correctamente? Es la dimensión más visible, pero no la única. Debe admitir resultados parciales y distinguir “no se pudo completar” de “se completó con datos…
Ve directamente a una sección
Leer transcripción revisada
Transcripción del texto visual. Vídeo sin narración.
00:00 — La prueba empieza con un estado inicial.
El caso pide sumar facturas vencidas y guardar un borrador sin enviarlo.
En este ejemplo, 20 y 30 están vencidos; la factura de 10 no lo está.
El resultado esperado es 50, con un borrador creado y ningún envío.
Ejemplo ilustrativo, no datos de producción.
00:24 — El mismo resultado puede costar más pasos.
Ambas ejecuciones producen el mismo borrador correcto.
Una usa tres llamadas; la otra repite consultas y consume ocho.
Compara la trayectoria bajo la misma tarea, no sólo el texto resultante.
Ejemplo ilustrativo, no datos de producción.
00:46 — Violar un permiso invalida el éxito.
El total puede ser correcto y el coste estar dentro del presupuesto.
Pero enviar un borrador prohibido incumple el contrato de la tarea.
La evaluación debe conservar ese fallo, no promediarlo como un acierto.
Ejemplo ilustrativo, no datos de producción.
01:08 — La media puede ocultar la cola.
Dieciocho tareas tardan un segundo; otras dos tardan nueve.
La media es 1,8 segundos, pero el percentil 95 vale nueve en esta muestra.
Inspecciona los casos lentos y sus tools, no sólo el promedio.
Ejemplo ilustrativo, no datos de producción.
01:30 — Comprueba la suma, no la redacción.
Una respuesta puede ser clara y aun así afirmar que 20 más 30 son 60.
Un verificador determinista compara el número con el resultado esperado: 50.
Usa la condición objetiva cuando exista; el estilo no la sustituye.
Ejemplo ilustrativo, no datos de producción.
01:52 — El agente no debe reescribir su examen.
Si puede cambiar el resultado esperado, una prueba puede parecer superada.
Separa los permisos de la tarea de los recursos del verificador.
Registra los intentos fuera de alcance e inspecciona la trayectoria.
Ejemplo ilustrativo, no datos de producción.
