Más allá del Transformer — memoria y modelos del mundo
Cómo el campo intenta ir más allá del puro escalado del Transformer combinando herramientas, búsqueda, memoria en inferencia, modelos del mundo y robótica.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Resumen del vídeo
Las ideas que debes retener
1. Por qué el Transformer ya no basta como mapa completo
El Transformer reorganizó el campo porque era paralelizable, escalable y extremadamente general. Pero precisamente al escalarlo empezaron a hacerse visibles varios límites.
1.1 Verdad, incertidumbre y alucinación
Aquí aparece otro límite importante. Los LLMs generativos basados en predicción del siguiente token no están optimizados directamente para distinguir entre verdad, falsedad y…
2. Del siguiente token a la búsqueda sobre el espacio de soluciones
Una de las líneas más importantes de esta nueva fase consiste en volver a tomarse en serio algo que el auge de los LLMs había dejado un poco en segundo plano: la búsqueda.
Siguiente paso
