Quantization, paralelismo y trade-offs
Quantization reduce bytes por parámetro; tensor y pipeline parallelism reparten cómputo y memoria. Cada elección mueve memoria, calidad, comunicación y latencia.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Resumen del vídeo
Las ideas que debes retener
Cuantización no significa que todo el modelo tenga la misma precisión
La notación habitual ya contiene información importante.
La operación básica introduce error de representación
En una cuantización simétrica sencilla podemos escribir:
Weight-only y weight+activation atacan cuellos distintos
Momentos clave
Ve directamente a una sección
Siguiente paso
