Multimodalidad en IA generativa
Qué significa construir sistemas capaces de percibir, alinear, razonar, generar y actuar entre texto, imagen, audio, vídeo, documentos y otras señales del mundo.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. El problema real: qué cuenta como multimodalidad
Qué es una modalidad y por qué texto, imagen, audio, vídeo, documentos y sensores no se comportan igual. Por qué "convertir todo a texto" resuelve algunas tareas, pero pierde parte del…
2. Alineamiento: de pares a interacciones
Cómo se aprende que dos señales distintas hablan del mismo objeto, evento o contexto. Qué cambia cuando la alineación ya no es solo imagen-texto, sino audio-texto, vídeo-audio,…
3. Arquitecturas: espacios compartidos, conectores y modelos omni
Dual encoders, cross-attention, conectores ligeros, secuencias intercaladas y modelos más unificados. Qué gana y qué pierde cada familia en coste, latencia, flexibilidad y grounding.
