Todos los vídeos Evaluación de sistemas de IA 2:14

Del incidente a la reparación

Después de la release, mide recurrencia y exposición durante la ventana acordada. Cierra el ciclo con evidencia de producción y una persona responsable.

Los enlaces con ?t= abren el vídeo en un segundo concreto.

Resumen del vídeo

Las ideas que debes retener

01

Observabilidad y evaluación responden preguntas distintas

La observabilidad intenta reconstruir qué ocurrió en un sistema en ejecución.

02

Primero conserva una identidad reproducible del sistema

Un fallo que no puede vincularse a lo que realmente estaba desplegado es muy difícil de explicar.

03

Un trace útil preserva causalidad, no todos los bytes

Registrar más datos no es siempre registrar mejor evidencia.

Momentos clave

Ve directamente a una sección

  1. Una alerta no es un diagnóstico.
  2. La misma respuesta. Dos writes.
  3. Un mecanismo. También sus vecinos.
  4. Convierte el incidente en una prueba reproducible.
  5. Prueba la reparación. No sólo el síntoma.
  6. Tests verdes no son verificación en producción.
Leer transcripción revisada

Transcripción del texto visual. Vídeo sin narración.

00:00 — Una alerta no es un diagnóstico.

La telemetría muestra que algo ocurrió, no necesariamente por qué.

Reconstruye la secuencia con versiones, estados y respuestas relevantes.

Separa el síntoma observado de la causa todavía no demostrada.

Ejemplo ilustrativo, no resultado de benchmark.

00:22 — La misma respuesta. Dos writes.

El usuario recibió «reembolso completado», pero el backend registra un duplicado.

La trace revela write, timeout ambiguo y reintento sin reconciliación.

La hipótesis causal apunta a la recuperación, no al estilo de la respuesta.

Ejemplo ilustrativo, no resultado de benchmark.

00:46 — Un mecanismo. También sus vecinos.

Agrupa incidentes que comparten el mismo mecanismo de fallo.

Añade un timeout anterior al write y una operación de sólo lectura.

La reparación debe resolver el fallo sin romper esos casos vecinos.

Ejemplo ilustrativo, no resultado de benchmark.

01:08 — Convierte el incidente en una prueba reproducible.

Depura datos sensibles y conserva las condiciones que explican el fallo.

Fija estado inicial, respuestas de tools, versiones y verificador.

Sin evidencia suficiente, registra la limitación; no inventes una causa.

01:30 — Prueba la reparación. No sólo el síntoma.

Reproduce el fallo con la versión anterior antes de atribuir una mejora.

Cambia la recuperación y repite la prueba junto a los casos vecinos.

Comprueba también que no cambió el grader para ocultar el fallo.

Ejemplo ilustrativo, no resultado de benchmark.

01:52 — Tests verdes no son verificación en producción.

Una regresión aprobada permite avanzar, no declarar cerrado el incidente.

Después de la release, mide recurrencia y exposición durante la ventana acordada.

Cierra el ciclo con evidencia de producción y una persona responsable.