Presupuesto de latencia
Con el mismo reloj, la espera total es 300 más 480. No es el TTFT del modelo.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Una métrica de latencia necesita dos fronteras explícitas
Decir «tenemos 400 ms de latencia» no es suficiente. Hay que saber desde qué evento hasta qué evento se han medido esos 400 ms.
El reloj también forma parte de la definición
Restar timestamps de máquinas distintas sólo es válido si conoces la relación entre sus relojes. En un sistema distribuido, un offset o drift de reloj puede contaminar una diferencia…
El camino crítico importa más que la suma de tiempos completos
En una pipeline clásica STT → LLM → TTS, escribir esto es tentador:
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Dos eventos definen la latencia
En esta traza, el habla termina en cero y el turno se confirma a los 300 milisegundos.
La reproducción empieza a los 780: después del commit quedan otros 480 milisegundos.
Con el mismo reloj, la espera total es 300 más 480. No es el TTFT del modelo.
Sigue el camino crítico
El STT ya trabaja mientras habla el usuario. Su duración completa no vuelve a sumarse después.
El primer texto inicia TTS mientras el modelo continúa generando el resto.
Aquí el primer playout llega a 700 milisegundos. Las barras completas se solapan.
Relojes distintos. Restas engañosas.
El cliente marca 1000 y el servidor 1090. Restar produce 90, pero mezcla dos relojes.
En este ejemplo conocemos un offset de 80: el intervalo real representado es 10.
Sin reconciliar los relojes, esa resta no mide latencia. Correlacionar IDs no basta.
Generado no significa reproducido
A1 se genera a los 600 milisegundos. Todavía debe viajar y entrar en una cola.
Llega a los 650, pero la reproducción empieza a los 700 en esta traza.
Nombra la frontera observada. Un recibo del servidor no demuestra audición física.
La media oculta la cola
Estos veinte turnos sintéticos incluyen dieciocho de 400 milisegundos y dos de 1600.
La media es 520. El percentil 95 por rango más próximo está en 1600.
Segmenta canal y condiciones. Los turnos lentos pueden tener un mecanismo diferente.
Cambia una capa. Mide el efecto.
El presupuesto ilustrativo suma 700 milisegundos: 300 de turno y 400 del resto.
Reducir el modelo de 180 a 90 baja el total a 610, no a la mitad.
Comprueba también calidad y cortes. Reducir espera no compensa una petición mal entendida.
