Инженер Google Cloud случайно отключил облачные сервисы из-за ошибки в обслуживании

1 сентября с 07:41 до 11:52 по тихоокеанскому времени (PT) в регионе us-central1-b Google Cloud столкнулся с частичным сбоем, причиной которого стали действия инженера, осуществлявшего обслуживание оборудования. По информации компании, отключение оптоволоконных соединений вызвало «серьёзное ухудшение работы сети и изоляцию ресурсов».

В ходе инцидента трафик в зоне сбоя сократился на 100 %, что сделало некоторые инстансы недоступными для пользователей и привело к увеличению потерь пакетов. Google пояснила, что их система, хотя и предусматривает резервирование маршрутизаторов и несколько источников питания, не была защищена от человеческой ошибки, что позволило инженеру отключить кабели, не получив предварительного предупреждения.

Инженер отключил все оптоволоконные соединения всего за 13 минут во время стандартных работ, что стало непосредственной причиной сбоя. После отключения маршрутизаторов виртуальные машины в зоне доступности потеряли связь с внешним миром, хотя внутренняя связь между ними осталась. После выявления проблемы трафик был перенаправлен на работающие маршрутизаторы в других частях региона, и инженеры восстановили исходную конфигурацию сети.

Случай с Google Cloud не является единичным. Человеческий фактор часто становится причиной сбоев в различных сферах. Например, летом 2025 года австралийские военные случайно отключили Wi-Fi и радио на побережье Новой Зеландии, а в декабре того же года ошибки инженеров Nokia и Optus привели к трагическим последствиям, связанным с недоступностью вызова скорой помощи. По данным Uptime Institute, сбои в дата-центрах стали реже, но их последствия значительно усилились.