LLM-as-judge, evaluación humana y calibración
Un judge sólo es útil cuando su criterio se calibra contra evidencia humana, se mide su desacuerdo y se separan sesgo, varianza y estabilidad antes de usarlo como señal de aceptación.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Resumen del vídeo
Las ideas que debes retener
Primero define qué significa «calibrar»
En este capítulo usamos calibración del juez en sentido operativo: comprobar una versión concreta del grader contra decisiones independientes y casos de control antes de escalarlo.
Elige primero el tipo de grader más estrecho que resuelva la pregunta
No uses un LLM para juzgar una propiedad que puede comprobarse exactamente.
Determinista
Útil cuando existe un invariante verificable:
Momentos clave
Ve directamente a una sección
Siguiente paso
