Arquitecturas de voz
El mismo turno atraviesa todas las etapas. El runtime debe coordinar sus resultados.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Tres arquitecturas de modalidad
1. Full cascade: audio → STT → LLM → TTS → audio
En un full cascade clásico, cada etapa tiene un contrato explícito:
2. Audio-native con salida textual + TTS externo
Half-cascade no es un estándar formal, pero el término ya aparece en frameworks de producción. LiveKit, por ejemplo, define half-cascade como un modelo realtime que entiende el audio y…
Ve directamente a una sección
Leer transcripción revisada
Vídeo sin narración. Esta transcripción reproduce el texto visual del vídeo; no atribuye una voz inexistente.
Dónde aparece el texto
El audio pasa por transcripción, decisión y síntesis. Cada frontera cambia su representación.
El texto permite inspeccionar y sustituir etapas, pero no conserva toda la señal acústica.
El mismo turno atraviesa todas las etapas. El runtime debe coordinar sus resultados.
Escuchar audio. Responder texto.
Un modelo audio-native recibe la voz directamente, sin exigir primero una transcripción.
Si devuelve sólo texto, una voz externa puede sintetizar la respuesta.
La prosodia de entrada no viaja automáticamente al TTS. Esa frontera requiere un contrato.
Menos fronteras. El mismo control.
Speech-to-speech conecta audio de entrada y salida sin una frontera textual obligatoria.
La ruta acústica se simplifica; las herramientas y sus permisos siguen fuera del modelo.
La aplicación valida la acción. Un modelo que habla no adquiere autoridad de negocio.
Dos direcciones. Otro eje.
Aceptar audio y generar audio no implica escuchar y hablar a la vez.
En full-duplex, entrada y salida pueden coexistir. El sistema decide cómo responder al solapamiento.
Modalidad y gestión de turnos son decisiones diferentes. S2S no garantiza full-duplex.
Quién posee cada frontera
Un navegador puede enviar media directamente al proveedor mientras el backend conserva el control.
Quitar un framework no elimina autenticación, estado, herramientas ni recuperación.
Dibuja el recorrido real y asigna un responsable a cada transición.
El requisito antes del ranking
Una transcripción explícita favorece una cascade; una voz externa exige conservar su frontera.
Si importa la señal acústica, prueba una entrada audio-native con el mismo caso.
Compara tarea, voz y fiabilidad bajo condiciones iguales. No hay una arquitectura ganadora universal.
