Conservar evidencia entre modalidades
Esa descripción perdió una relación espacial necesaria para responder dónde está cada objeto.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. El problema real: qué cuenta como multimodalidad
Qué es una modalidad y por qué texto, imagen, audio, vídeo, documentos y sensores no se comportan igual. Por qué "convertir todo a texto" resuelve algunas tareas, pero pierde parte del…
2. Alineamiento: de pares a interacciones
Cómo se aprende que dos señales distintas hablan del mismo objeto, evento o contexto. Qué cambia cuando la alineación ya no es solo imagen-texto, sino audio-texto, vídeo-audio,…
3. Arquitecturas: espacios compartidos, conectores y modelos omni
Dual encoders, cross-attention, conectores ligeros, secuencias intercaladas y modelos más unificados. Qué gana y qué pierde cada familia en coste, latencia, flexibilidad y grounding.
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Nombrar objetos no conserva su relación
La escena contiene un círculo y un cuadrado, con el círculo a la izquierda.
La descripción «un círculo y un cuadrado» también encaja si intercambiamos sus posiciones.
Esa descripción perdió una relación espacial necesaria para responder dónde está cada objeto.
Los mismos estados pueden contar otra secuencia
Vemos una puerta cerrada, abierta y cerrada en tres instantes.
Conservar sólo la primera y la última imagen oculta la apertura intermedia.
En vídeo importa qué pasó entre los fotogramas, no sólo qué objetos aparecen.
Buscar entre modalidades
La consulta textual pide una señal triangular. El archivo contiene imágenes de tres formas.
Un sistema alineado compara representaciones del texto y de las imágenes.
La coincidencia devuelve un candidato; su geometría y contexto todavía deben comprobarse.
Un embedding no es una imagen generada
La representación de una imagen puede servir para encontrar otra entrada del archivo.
Un generador, en cambio, produce una nueva salida condicionada por la petición.
La primera operación recupera un registro existente; la segunda construye contenido nuevo.
La respuesta debe conservar su evidencia
Una tabla sitúa el importe de doce euros en la fila del pedido A.
La respuesta necesita el valor y su relación con esa fila, no sólo reconocer el número.
Conserva región, fila y documento para poder contrastar la afirmación.
Ver una instrucción no autoriza una acción
Una captura contiene el texto de una petición de escritura.
Percibir ese texto y proponer una herramienta son pasos distintos de ejecutar la operación.
El permiso se valida fuera del contenido observado, antes del efecto externo.
