Evaluación de sistemas multimodales
Cómo evaluar sistemas multimodales sin confundir benchmarks con capacidad real: OCR, audio, grounding, razonamiento y fallos de las métricas.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Resumen del vídeo
Las ideas que debes retener
1. Qué significa evaluar el grounding
En el contexto de los sistemas multimodales, grounding es el grado en que la respuesta del modelo está sustentada en el contenido real de la imagen o el audio, y no en inferencias…
2. El problema de la contaminación de benchmarks
El segundo problema sistemático es la contaminación. Los modelos fundacionales se preentrenan con cantidades masivas de datos de internet, y no hay garantías de que los pares…
3. El sesgo lingüístico: responder por probabilidad, no por evidencia
El sesgo/prior lingüístico es la tendencia de los modelos a generar respuestas que son estadísticamente probables dado el texto de la pregunta, con independencia del contenido de la…
Siguiente paso
