Ingeniero de Google desconecta fibra y derriba parte del G‑Cloud

Incidente en Google Cloud

El 1 de septiembre, una zona de la región us-central1-b de Google Cloud sufrió una caída parcial tras la desconexión accidental de todos los cables de fibra óptica durante un mantenimiento rutinario.

Causas

• Procedimiento de mantenimiento que desconectó 100 % de las rutas de fibra en 13 min.
• Falta de alertas previas que impidieron que el ingeniero detectara el error.

Impacto

Los recursos alojados en la zona experimentaron “degradación severa de la red y aislamiento de recursos”, con tasas de caída de tráfico del 100 % y pérdida de paquetes.

Respuesta de Google

El equipo redirigió el tráfico a rutas “saludables” en otras partes de la región y restauró físicamente los enlaces ópticos. Una vez reestablecida la conectividad, el tráfico volvió a su ruta original.

Lecciones aprendidas

• La redundancia física no sustituye la disciplina operativa.
• Los procedimientos de mantenimiento deben incluir validaciones de estado y notificaciones automáticas.
• La cultura de “leer la documentación” (RTFM) sigue siendo esencial.

Fuente original: The Register