Escalar datos, cálculo y reutilización
Aprender esos filtros permite construir representaciones a partir de píxeles.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. 2012: cuando la escala dejó de ser un detalle
AlexNet ganó ILSVRC 2012 con un resultado que cambió la percepción del campo: 15,3% de error top-5 frente al 26,2% del segundo clasificado. El sistema se entrenó sobre 1,2 millones de…
2. El Transformer y el preentrenamiento masivo
El siguiente gran giro llegó con Attention Is All You Need en 2017. El Transformer no fue simplemente otra arquitectura para lenguaje. Reorganizó el problema alrededor de mecanismos de…
3. La escala se volvió metodología
La idea de que el rendimiento mejora de forma relativamente predecible al aumentar parámetros, datos y cómputo no nació con los LLMs, pero se volvió central con ellos. Trabajos como Deep…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Un filtro comparte parámetros entre posiciones
El mismo filtro local recorre distintas regiones de una imagen.
Su respuesta cambia con el contenido de cada región, aunque los pesos sean compartidos.
Aprender esos filtros permite construir representaciones a partir de píxeles.
Particionar no elimina la comunicación
Dividimos un producto matricial en cuatro bloques de salida.
Cada unidad calcula un bloque a partir de los operandos que necesita.
La salida reúne los bloques; mover operandos y resultados también consume recursos.
Duplicar posiciones cuadruplica pares
La atención densa sin máscara considera dieciséis pares para cuatro posiciones.
Con ocho posiciones, la cuadrícula tiene sesenta y cuatro pares.
Esta relación cuadrática cuenta interacciones; no predice por sí sola el tiempo de un kernel.
Un presupuesto fijo impone un reparto
En el ejemplo normalizado, el coste es proporcional al producto de parámetros y datos.
Duplicar parámetros obliga a reducir datos si mantenemos ese presupuesto fijo.
El mejor reparto debe medirse con una ley de pérdida validada, no asumir que más parámetros siempre ganan.
Una base puede adaptarse a tareas diferentes
El preentrenamiento construye parámetros compartidos a partir de datos amplios.
La misma base puede recibir instrucciones o adaptaciones para tareas distintas.
Reutilizar la base no implica que todas las tareas alcancen la misma calidad.
Seguir instrucciones requiere un ajuste distinto
Completar texto y responder a una instrucción son objetivos distintos.
Ejemplos de respuestas y preferencias pueden guiar un ajuste posterior.
Cambia la conducta, pero no garantiza respuestas verdaderas o seguras.
