Evidencia antes de ampliar
Una violación bloquea; datos insuficientes mantienen la pausa. El protocolo depende del cambio y su riesgo: no exige siempre todas las etapas.
Los enlaces con ?t= abren el vídeo en un segundo concreto.
Las ideas que debes retener
Antes de exponer tráfico, fija la unidad de cambio
Un «candidato» no debe significar simplemente «el modelo nuevo».
Shadow: primero observa el candidato sin darle autoridad sobre la respuesta
El tráfico shadow —también llamado mirroring— copia requests reales hacia una variante candidata mientras la variante estable sigue respondiendo al usuario.
Un shadow no mide impacto real sobre el usuario
La respuesta candidata no determina lo que el usuario ve. Por tanto no observa directamente:
Ve directamente a una sección
Leer transcripción revisada
Transcripción del texto visual. Vídeo sin narración.
00:00 — Tres métodos. Tres preguntas distintas.
Shadow observa al candidato sin usar su respuesta para el usuario.
Canary limita exposición real mientras comprueba riesgo operativo.
A/B usa asignación aleatoria para estudiar el efecto causal.
00:22 — No servir la respuesta no elimina los efectos.
La variante estable responde; la candidata recibe una copia para observarla.
Sus writes deben aislarse, bloquearse o ejecutarse en un entorno seguro.
Shadow no mide directamente cómo cambia la experiencia del usuario.
Ejemplo ilustrativo, no resultado de benchmark.
00:46 — Expón poco. Define cuándo parar.
Este 5% es sólo un ejemplo de exposición inicial, no un umbral universal.
Declara antes los límites de errores, latencia y acciones no permitidas.
Falta de evidencia exige pausa; no equivale a PASS.
Ejemplo ilustrativo, no resultado de benchmark.
01:08 — Randomiza la unidad que conserva el contexto.
Una conversación con memoria puede necesitar asignación estable por usuario.
Cambiar de variante en cada turno mezcla tratamientos y contextos.
Registra asignación, exposición y unidad de análisis.
Ejemplo ilustrativo, no resultado de benchmark.
01:30 — Antes del efecto, valida la medición.
Comprueba asignación, exposición, logging e integridad de las métricas.
Investiga desequilibrios incompatibles con el diseño antes de leer el lift.
Una diferencia observada en un canary no es automáticamente causal.
Ejemplo ilustrativo, no resultado de benchmark.
01:52 — Ampliar requiere evidencia suficiente.
Combina restricciones duras, fiabilidad y evidencia de la etapa.
Una violación bloquea; datos insuficientes mantienen la pausa.
El protocolo depende del cambio y su riesgo: no exige siempre todas las etapas.
