Todos los vídeos Multimodalidad 2:13

Estructura, resolución y tiempo

Si esa posición resolvía la pregunta, la reducción ya eliminó la evidencia necesaria.

Los enlaces con ?t= abren el vídeo en un segundo concreto.

Resumen del vídeo

Las ideas que debes retener

01

1. Una modalidad no es solo un tipo de input

Llamamos modalidad a una forma distinta de codificar información sobre el mundo. El texto es una secuencia discreta de símbolos, la imagen tiene estructura espacial, el audio añade…

02

2. El problema no es añadir modalidades, sino cruzarlas sin destruirlas

Un sistema puede aceptar una imagen y, aun así, seguir siendo profundamente texto-céntrico: basta con que convierta la imagen en una leyenda y haga todo lo demás sobre esa leyenda.

03

3. El espacio compartido importa, pero no es la única arquitectura posible

La versión más difundida de cualquier introducción a la multimodalidad trata el espacio de representación compartida casi como la esencia de toda el área.

Momentos clave

Ve directamente a una sección

  1. Reducir resolución puede borrar una diferencia
  2. Leer números no basta para leer una tabla
  3. La transcripción puede omitir cómo se dijo
  4. Un evento puede quedar entre dos muestras
  5. Sincronizar requiere conocer el desfase
  6. Un número necesita unidad y referencia
Leer transcripción revisada

Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.

Reducir resolución puede borrar una diferencia

Dos patrones de cuatro píxeles difieren en la posición de un único píxel activo.

Promediar cada patrón en una sola celda produce el mismo valor: un cuarto.

Si esa posición resolvía la pregunta, la reducción ya eliminó la evidencia necesaria.

Leer números no basta para leer una tabla

Las columnas son precio y cantidad; la fila contiene doce y dos.

Un listado plano conserva los números, pero puede perder a qué columna pertenece cada uno.

La estructura correcta produce doce euros por dos unidades, no la interpretación inversa.

La transcripción puede omitir cómo se dijo

Dos trazas de voz contienen las mismas palabras: «ya está».

Una termina con entonación ascendente y otra descendente.

El texto coincide, pero la señal prosódica difiere; no asignamos una emoción universal a esa curva.

Un evento puede quedar entre dos muestras

El vídeo se muestrea en los segundos cero, dos y cuatro.

La luz sólo se enciende entre uno y uno y medio: ninguna muestra captura ese intervalo.

La ausencia en los fotogramas recibidos no demuestra que el evento no ocurriera.

Sincronizar requiere conocer el desfase

Un destello y su sonido pertenecen al mismo evento, pero los registros usan relojes distintos.

El audio aparece tres décimas de segundo más tarde en la escala de vídeo.

Corregir ese desfase alinea el evento; mezclar timestamps sin calibración puede inventar un orden.

Un número necesita unidad y referencia

La cámara informa de ochenta centímetros respecto a su propio origen.

El mapa usa metros y su origen está veinte centímetros detrás del de la cámara.

La misma posición corresponde a un metro en el mapa: cambia la referencia, no el objeto.