Medir capacidades distintas
IoU vale cero coma seis: reconocer la clase no habría medido este error de localización.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. Qué significa evaluar el grounding
En el contexto de los sistemas multimodales, grounding es el grado en que la respuesta del modelo está sustentada en el contenido real de la imagen o el audio, y no en inferencias…
2. El problema de la contaminación de benchmarks
El segundo problema sistemático es la contaminación. Los modelos fundacionales se preentrenan con cantidades masivas de datos de internet, y no hay garantías de que los pares…
3. El sesgo lingüístico: responder por probabilidad, no por evidencia
El sesgo/prior lingüístico es la tendencia de los modelos a generar respuestas que son estadísticamente probables dado el texto de la pregunta, con independencia del contenido de la…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Nombrar y localizar no son el mismo acierto
La caja objetivo mide cuatro por dos unidades. La predicción se desplaza una unidad.
La intersección tiene área seis y la unión área diez.
IoU vale cero coma seis: reconocer la clase no habría medido este error de localización.
Las mismas palabras pueden cambiar quién está dónde
Emparejamos dos imágenes con dos frases que usan los mismos nombres.
Al invertir arriba y abajo, cambia la correspondencia correcta.
Una evaluación composicional exige acertar las relaciones cruzadas, no sólo reconocer los objetos.
Comprobar el valor exige comprobar la celda
La respuesta afirma que el total del pedido B es veinte.
El número veinte existe en la tabla, pero pertenece al pedido A; B tiene treinta.
El test debe validar fila, columna y valor para detectar una respuesta visualmente plausible pero falsa.
El orden puede ser toda la pregunta
La secuencia A enciende una luz y después abre una puerta.
La secuencia B contiene los mismos eventos, pero en el orden inverso.
Un test temporal debe distinguir ambos casos aunque su inventario de objetos y acciones coincida.
Una prueba debe exigir la evidencia visual
La pregunta pide cuántos puntos contiene la imagen; el texto permanece idéntico.
Cambiamos sólo la imagen de dos a tres puntos y conservamos las demás condiciones.
La respuesta debe cambiar; responder siempre dos puede revelar una dependencia del texto, no de la imagen.
Responder más casos también puede admitir más errores
Cinco casos tienen scores de confianza, pero algunos resultados son incorrectos.
Con umbral alto aceptamos dos y no fallamos en este conjunto; al bajarlo aceptamos cuatro y fallamos en uno.
Cobertura y error se reportan juntos: dos aciertos no prueban fiabilidad fuera de esta muestra.
