El reloj de una petición
Entrada larga y salida larga añaden trabajo en fases diferentes. Un único reloj no distingue ambas.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
La petición cambia de forma después del prefill
Consideremos una petición con Lin tokens de entrada y Lout tokens generados.
TTFT mide una frontera visible para el cliente, no una sola operación
En un servicio real podemos descomponer el camino hasta la primera salida así:
En modelos con razonamiento, distingue TTFT de TTFO
La definición concreta del «primer token» también puede cambiar con el tipo de modelo. En AIPerf actual, TTFT llega hasta el primer token de cualquier tipo, incluidos tokens de…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Leer y después generar
El prefill procesa el prompt y construye estado reutilizable de atención.
El decode añade un token usando ese estado, sin recomputar toda la historia desde cero.
Entrada larga y salida larga añaden trabajo en fases diferentes. Un único reloj no distingue ambas.
El cliente también espera
El primer token llega después de red, cola, prefill, generación inicial y entrega.
En este ejemplo, quitar cien milisegundos de cola baja el TTFT de 450 a 350 milisegundos.
El prefill sigue tardando doscientos. Un TTFT menor no demuestra un kernel más rápido.
Cada token añade tiempo
La primera salida tarda 450 milisegundos. La respuesta contiene 120 tokens.
Quedan 119 intervalos, a 25 milisegundos por token en este ejemplo.
El total es 3,425 segundos. Para salidas largas, pequeñas mejoras de cadencia se acumulan.
Un evento no es un token
El cliente recibe tres tokens juntos cada noventa milisegundos.
Los eventos distan noventa milisegundos; la cadencia estable equivale a treinta por token.
Antes de comparar ITL o TPOT, fija qué cuenta cada evento y dónde empieza el reloj.
Terminar no basta
Diez peticiones terminan en diez segundos. El throughput es una petición por segundo.
Sólo siete cumplen el límite de latencia fijado antes del experimento.
El goodput es 0,7 por segundo. Contar todas las respuestas oculta tres incumplimientos.
La forma de la tarea importa
Un resumen puede tener mucha entrada y poca salida. Una generación larga invierte esa proporción.
Mover un caso en este mapa cambia el trabajo esperado de prefill y decode.
Compara distribuciones de entrada y salida, no sólo una cifra global de tokens por segundo.
