Cómo evaluar al evaluador
Congela la versión del juez antes de comprobar un set separado. Acepta, limita o rechaza su uso según el riesgo y la evidencia.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Primero define qué significa «calibrar»
En este capítulo usamos calibración del juez en sentido operativo: comprobar una versión concreta del grader contra decisiones independientes y casos de control antes de escalarlo.
Elige primero el tipo de grader más estrecho que resuelva la pregunta
No uses un LLM para juzgar una propiedad que puede comprobarse exactamente.
Determinista
Útil cuando existe un invariante verificable:
Ve directamente a una sección
Leer transcripción revisada
Transcripción del texto visual. Vídeo sin narración.
00:00 — Elige el verificador que necesita la tarea.
Si el resultado se comprueba con código, empieza por una prueba determinista.
Usa un juez de lenguaje para criterios que exigen interpretación.
Escala a humanos cuando el riesgo o la ambigüedad lo requieren.
00:22 — Una rúbrica concreta. La misma evidencia.
«Suena bien» no define qué cuenta como una respuesta correcta.
Divide el criterio: afirmación, evidencia y condiciones de rechazo.
Recoge juicios humanos independientes antes de resolver desacuerdos.
Ejemplo ilustrativo, no resultado de benchmark.
00:44 — Mide el acuerdo. No lo llames verdad.
En este ejemplo, humanos y juez coinciden en 16 de 20 casos.
Eso es un 80% de acuerdo observado, no un 80% de calidad del sistema.
También pueden coincidir usando un criterio equivocado.
Ejemplo ilustrativo, no resultado de benchmark.
01:08 — Invierte el orden. Conserva el contenido.
Presenta el mismo par de respuestas en ambos órdenes.
Comprueba si la preferencia sigue a la respuesta o a su posición.
Una inversión de preferencia exige investigar; no prueba por sí sola la causa.
Ejemplo ilustrativo, no resultado de benchmark.
01:30 — Un juicio aislado puede ser inestable.
Repite el juicio manteniendo fijos el caso y la rúbrica.
Separa variación del juez y desacuerdo sobre la propia tarea.
Registra abstenciones y diferencias por tipo de caso, no sólo una media.
Ejemplo ilustrativo, no resultado de benchmark.
01:52 — Calibra en dev. Comprueba fuera.
Ajusta la rúbrica con ejemplos de calibración y adjudicación humana.
Congela la versión del juez antes de comprobar un set separado.
Acepta, limita o rechaza su uso según el riesgo y la evidencia.
