Medir el sistema completo
Son experimentos diferentes: el segundo puede reducir las llegadas justo cuando aumenta la latencia.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Un benchmark es un protocolo, no un escalar
Para que un resultado sea interpretable necesitamos fijar, como mínimo, un contrato parecido a:
El workload debe parecerse al problema que quieres resolver
Una media de 512 tokens de entrada y 128 de salida no sustituye a una distribución.
Request rate y concurrencia no describen la misma carga
Un test con concurrency=64 suele operar como un loop cerrado: cuando una request acaba, otra ocupa su slot. Un test con una tasa de llegada fija o estocástica puede ser abierto: las nuevas…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Llegadas o concurrencia
En carga abierta, las peticiones llegan a un ritmo fijado aunque el servidor se ralentice.
En carga cerrada, cada cliente espera su respuesta antes de enviar la siguiente.
Son experimentos diferentes: el segundo puede reducir las llegadas justo cuando aumenta la latencia.
Dividir por tareas resueltas
Una corrida cuesta veinticuatro euros y ejecuta mil intentos.
Novecientos veinte superan el criterio de éxito fijado previamente.
El coste por intento es 0,024 euros; por tarea correcta, aproximadamente 0,0261. Los fallos también se pagan.
La energía acumula potencia
Una potencia constante ilustrativa de seiscientos vatios durante tres horas consume 1,8 kWh.
Dividir esa energía entre 920 tareas correctas da aproximadamente 1,96 Wh por tarea.
No sustituye una medición: potencia y resultados deben corresponder a la misma ventana y al mismo sistema.
Dibuja lo que mides
La telemetría de GPU no incluye necesariamente CPU, RAM, red y pérdidas del sistema.
Un medidor a pared observa otra frontera que el sensor del acelerador.
Comparar ambos sin declarar la frontera mezcla magnitudes. La potencia nominal tampoco sustituye el consumo medido.
La cola cambia el régimen
En este modelo M/M/1 ilustrativo, el servidor procesa cinco peticiones por segundo en promedio.
Al acercarse las llegadas a esa capacidad, el tiempo medio crece como uno entre cinco menos lambda.
Con cuatro llegadas por segundo, resulta un segundo. Una prueba de baja carga no describe la saturación.
Conservar la variación
Tres repeticiones equivalentes duran 1,0, 1,2 y 1,1 segundos en este ejemplo.
Publicar sólo la más rápida elimina información sobre la variación entre corridas.
Fija warmup, caché y protocolo. Compara distribuciones y conserva errores, no sólo el mejor escalar.
