Aprender alineamiento
El objetivo distingue los pares del lote; no garantiza que todas las etiquetas sean correctas.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. Pares imagen-texto: la base y sus límites
El punto de partida es el más sencillo conceptualmente: pares de imagen y texto que van juntos. Una fotografía con su pie de foto, una imagen de producto acompañada de su descripción, un…
2. Más allá del par: alineamiento de múltiples modalidades
Una de las observaciones más importantes de la última etapa del campo es que el alineamiento no necesita estar anclado en imagen-texto para funcionar. ImageBind lo demostró de forma…
3. Instrucción visual: el siguiente nivel
Los pares imagen-texto (y sus extensiones a otras modalidades) entrenan representaciones, pero no entrenan al modelo para seguir instrucciones. Para que un sistema pueda responder a "¿qué…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
El par correcto es una señal de entrenamiento
Un lote contiene tres imágenes y sus tres descripciones asociadas.
Comparamos cada imagen con todos los textos: los pares emparejados ocupan la diagonal.
El objetivo distingue los pares del lote; no garantiza que todas las etiquetas sean correctas.
La similitud puede depender de la dirección
Normalizamos dos vectores para comparar su ángulo mediante el coseno.
Acercar sus direcciones eleva la similitud del par positivo.
El entrenamiento también contrasta otros candidatos; coseno alto no es una probabilidad de verdad.
Cambiar una relación crea un negativo difícil
Ambas frases nombran un círculo y un cuadrado.
Una sitúa el círculo a la izquierda; la otra lo sitúa a la derecha.
Distinguirlas requiere la relación, no basta con reconocer la lista de objetos.
Un emparejamiento puede enseñar una asociación falsa
Una foto de tres puntos llega acompañada por el texto «dos puntos».
Tratar ese par como positivo favorece una correspondencia errónea.
La revisión corrige o excluye el dato; escalar el lote no elimina por sí solo ese ruido.
Alinear un clip no localiza cada evento
Una grabación contiene silencio, un golpe y otra pausa.
La etiqueta del clip indica que hay un golpe, pero no cuándo empieza o termina.
Una anotación temporal vincula el evento al intervalo pertinente, con límites explícitos.
Un ancla compartida no sustituye la evaluación
Entrenamos pares imagen–texto e imagen–audio alrededor de un mismo concepto.
La imagen puede conectar representaciones que no se emparejaron directamente.
Comprueba la recuperación texto–audio: compartir ancla no garantiza igual calidad en todas las relaciones.
