La IA dentro de un sistema eléctrico
Con veinte mil consultas, la inferencia suma doscientos y el total trescientos: depende del volumen.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
1. Qué implica "compute" en la práctica
El proceso de desarrollar y desplegar modelos de IA se divide en dos fases con perfiles energéticos muy distintos.
Entrenamiento
Entrenar un modelo grande requiere procesar cantidades masivas de datos durante semanas o meses usando miles de aceleradores especializados (GPUs o TPUs) en paralelo. El consumo energético…
Inferencia
La inferencia es el proceso de usar el modelo para responder preguntas. Cada consulta, cada generación de imagen, cada análisis de documento consume energía. A diferencia del…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Entrenar e inferir acumulan energía de forma distinta
Fijamos un entrenamiento ilustrativo de cien kilovatios-hora.
Cada consulta posterior consume 0.01 kilovatios-hora; diez mil consultas igualan el entrenamiento.
Con veinte mil consultas, la inferencia suma doscientos y el total trescientos: depende del volumen.
Mejorar por tarea no fija el consumo total
Cien tareas de diez vatios-hora consumen mil en total.
La energía por tarea baja a cinco, pero la demanda del escenario aumenta a trescientas.
El total sube a mil quinientos: no es inevitable, depende de cómo cambie la demanda.
El servidor no es todo el edificio
Los equipos informáticos consumen ocho kilovatios y el edificio completo diez.
Los dos restantes corresponden a la infraestructura auxiliar dentro de esta frontera.
PUE es diez entre ocho: 1.25. No mide por sí solo la calidad ni el trabajo útil del modelo.
La capacidad la limita la restricción más estricta
Cada equipo requiere dos kilovatios; doce disponibles permiten como máximo seis.
Hay ocho huecos, pero la refrigeración solo admite diez kilovatios: cinco equipos.
La capacidad conjunta es el mínimo entre seis, ocho y cinco: cinco, bajo estos supuestos.
La fabricación exige declarar cómo se reparte
Asignamos 600 kilogramos de emisiones incorporadas a un equipo ficticio.
Un millón de tareas reparte 0.6 gramos por tarea; medio millón, 1.2.
Es una asignación por uso y vida útil, no una medición directa de cada consulta.
Los kilovatios-hora no son kilogramos de emisiones
Mantenemos un consumo de veinte kilovatios-hora.
Con factores ilustrativos de 0.1 y 0.5 kilogramos por kilovatio-hora, obtenemos dos y diez kilogramos.
La frontera y el factor importan: esta cuenta no mide emisiones marginales ni toda la fabricación.
