Одна запись с тегом "реагирование на инциденты"

Сводка инцидента​

3 августа 2021 года в 14:35 по тихоокеанскому стандартному времени один из наших инженеров провел неудачную миграцию базы данных, что привело к расхождениям между индексированными данными и источником истины в базе данных. Это затронуло 39 пользователей, и мы восстановили данные, устранив проблему в 16:46 по тихоокеанскому стандартному времени.

Влияние​

Эти 39 затронутых пользователей могли потерять данные, добавленные в период с 3 августа 2021 года 14:35 по тихоокеанскому стандартному времени до 16:46 по тихоокеанскому стандартному времени. Мы восстановили данные, но не можем гарантировать 100% восстановление.

Первопричина​

Первопричиной является наша новая миграция базы данных, направленная на реорганизацию файловой структуры и подготовку к интеграции с Dropbox. К сожалению, мы недооценили количество пользователей, обращающихся к этому сервису во время развертывания.

Извлеченные уроки​

В следующий раз в подобных ситуациях мы будем:

1. Более осторожными при миграции базы данных. Учитывать, что во время миграции происходит вставка данных.
2. Переводить сайт в режим обслуживания, когда необходимо остановить весь трафик и избежать состояний гонки.