Google Cloud Incidente Fibra Ottica – G‑Cloud

Incidente su Google Cloud

Il 1° settembre, una zona della regione us-central1-b di Google Cloud ha subito una caduta parziale dopo la disconnessione accidentale di tutti i cavi ottici in fibra durante un manutenzione routine.

Cause

• Procedimento di manutenzione che ha disconnesso il 100 % delle rotte ottiche in 13 minuti.
• Mancanza di avvisi preventivi che hanno impedito all'ingegnere di rilevare l'errore.

Impatto

I risorse ospitate nella zona hanno sperimentato “degradazione severa della rete e isolamento delle risorse”, con tassi di crollo del traffico del 100 % e perdita di pacchetti.

Risposta di Google

L'equipe ha ridirigito il traffico verso rotte “sane” in altre parti della regione e ha ripristinato fisicamente i collegamenti ottici. Non appena la connettività è stata ripristinata, il traffico è tornato alla sua rotta originale.

Lezioni apprese

• La ridondanza fisica non sostituisce la disciplina operativa.
• I procedure di manutenzione devono includere validazioni di stato e notifiche automatiche.
• La cultura di “leggere la documentazione” (RTFM) rimane essenziale.

Fonti originali: The Register