Precisión y distribución
El error es 0,12. Menor precisión exige evaluar la tarea, no sólo el ahorro.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Cuantización no significa que todo el modelo tenga la misma precisión
La notación habitual ya contiene información importante.
La operación básica introduce error de representación
En una cuantización simétrica sencilla podemos escribir:
Weight-only y weight+activation atacan cuellos distintos
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Menos niveles de precisión
Cuantizar aproxima valores mediante una escala y un conjunto limitado de niveles.
Con escala 0,25, el valor 0,62 se representa como 2 y reconstruye como 0,50.
El error es 0,12. Menor precisión exige evaluar la tarea, no sólo el ahorro.
Payload no es huella total
Ocho mil millones de parámetros a dieciséis bits necesitan dieciséis GB de payload ideal.
A cuatro bits, ese payload baja a cuatro GB, antes de escalas y otros costes.
La memoria real incluye metadatos, buffers y KV. No equivale automáticamente a una GPU cuatro veces menor.
Tres precisiones distintas
Los pesos, las activaciones y el KV cache son objetos diferentes.
Un esquema weight-only cambia los pesos; no convierte automáticamente los otros dos.
Registra cada dtype y los kernels compatibles. El nombre de una cuantización no describe toda la ejecución.
Dividir una capa comunica
Tensor parallel distribuye partes de una operación de capa entre dispositivos.
Los resultados parciales deben combinarse mediante comunicación según la partición elegida.
La memoria por rank puede bajar, pero la interconexión entra en el camino crítico. Dos GPUs no garantizan doble velocidad.
Las etapas también esperan
Pipeline parallel reparte capas entre etapas. Una petición debe recorrerlas en orden.
Con más microbatches, parte del trabajo se solapa entre dispositivos.
Persisten burbujas de arranque y vaciado. Menos capas por dispositivo no elimina la dependencia entre etapas.
Réplicas no son expertos
Data parallel reparte peticiones entre réplicas completas del modelo.
Expert parallel distribuye expertos de un modelo MoE y enruta activaciones entre ellos.
Estos placements resuelven problemas distintos. Una partición de expertos no existe en cualquier modelo denso.
