Escalar - de AlexNet a los modelos fundacionales
Cómo datos, cómputo y arquitecturas escalables cambiaron la IA desde 2012. AlexNet, Transformer, preentrenamiento, leyes de escala y el nacimiento de los modelos fundacionales.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. 2012: cuando la escala dejó de ser un detalle
AlexNet ganó ILSVRC 2012 con un resultado que cambió la percepción del campo: 15,3% de error top-5 frente al 26,2% del segundo clasificado. El sistema se entrenó sobre 1,2 millones de…
2. El Transformer y el preentrenamiento masivo
El siguiente gran giro llegó con Attention Is All You Need en 2017. El Transformer no fue simplemente otra arquitectura para lenguaje. Reorganizó el problema alrededor de mecanismos de…
3. La escala se volvió metodología
La idea de que el rendimiento mejora de forma relativamente predecible al aumentar parámetros, datos y cómputo no nació con los LLMs, pero se volvió central con ellos. Trabajos como Deep…
