Conectar representaciones y modelos
Ese sistema devuelve un registro; para redactar una respuesta hace falta una etapa generativa aparte.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. Encoder visual + conector + modelo de lenguaje
El enfoque más extendido en los últimos años consiste en tres componentes encadenados: un encoder visual que procesa la imagen y produce una representación de alta dimensión, un módulo de…
2. Fusión mediante cross-attention
Flamingo, publicado por DeepMind en 2022, introdujo un enfoque diferente: en lugar de procesar la imagen antes del texto y pasar su representación como input, insertó capas de…
3. Tokenización nativa multimodal
El tercer enfoque es el más radical: en lugar de conectar un encoder visual con un modelo de lenguaje mediante algún tipo de conector, el sistema discretiza las imágenes o el audio en…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Dos encoders pueden recuperar sin generar
Un encoder transforma la imagen y otro transforma la consulta textual.
Sus representaciones comparables permiten ordenar candidatos por similitud.
Ese sistema devuelve un registro; para redactar una respuesta hace falta una etapa generativa aparte.
El conector aprende a cambiar la representación
El encoder visual emite un vector con tres componentes en este ejemplo.
Una matriz aprendida lo proyecta a cuatro componentes que consume el modelo receptor.
Cambiar dimensiones conecta interfaces, pero no garantiza que toda evidencia visual sobreviva.
Una consulta puede seleccionar información visual
La consulta textual pregunta por el objeto situado a la derecha.
La atención asigna pesos a regiones visuales y combina sus representaciones.
Esa selección depende de la consulta; un mapa de atención por sí solo no demuestra una explicación causal.
La posición conecta imágenes y preguntas
La entrada intercala una primera imagen con su descripción y después una segunda imagen.
La pregunta se refiere a la segunda, no a una mezcla sin orden de ambas.
Conservar límites de modalidad y posición evita perder qué evidencia acompaña a cada fragmento.
Comprimir regiones puede ocultar un detalle
Cuatro regiones visuales contienen información, incluida una etiqueta pequeña en la cuarta.
Un resumen de dos representaciones combina o descarta parte del detalle.
Menos tokens puede reducir trabajo, pero hay que comprobar si esa etiqueta sigue siendo recuperable.
Texto y audio necesitan coordinar sus salidas
Un sistema puede producir texto y audio en fragmentos con ritmos distintos.
Los identificadores y límites permiten asociar cada fragmento con el contenido correcto.
La coordinación pertenece al sistema: aceptar varias modalidades no prueba que toda la ruta sea full duplex.
