El problema real de la multimodalidad
Qué significa integrar texto, imagen, audio y otras modalidades, y cómo ordenar percepción, alineamiento, razonamiento, generación y acción.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Resumen del vídeo
Las ideas que debes retener
1. Una modalidad no es solo un tipo de input
Llamamos modalidad a una forma distinta de codificar información sobre el mundo. El texto es una secuencia discreta de símbolos, la imagen tiene estructura espacial, el audio añade…
2. El problema no es añadir modalidades, sino cruzarlas sin destruirlas
Un sistema puede aceptar una imagen y, aun así, seguir siendo profundamente texto-céntrico: basta con que convierta la imagen en una leyenda y haga todo lo demás sobre esa leyenda.
3. El espacio compartido importa, pero no es la única arquitectura posible
La versión más difundida de cualquier introducción a la multimodalidad trata el espacio de representación compartida casi como la esencia de toda el área.
Siguiente paso
