Сводка инцидента
3 августа 2021 года в 14:35 по тихоокеанскому стандартному времени один из наших инженеров провел неудачную миграцию базы данных, что привело к расхождениям между индексированными данными и источником истины в базе данных. Это затронуло 39 пользователей, и мы восстановили данные, устранив проблему в 16:46 по тихоокеанскому стандартному времени.
Влияние
Эти 39 затронутых пользователей могли потерять данные, добавленные в период с 3 августа 2021 года 14:35 по тихоокеанскому стандартному времени до 16:46 по тихоокеанскому стандартному времени. Мы восстановили данные, но не можем гарантировать 100% восстановление.
Первопричина
Первопричиной является наша новая миграция базы данных, направленная на реорганизацию файловой структуры и подготовку к интеграции с Dropbox. К сожалению, мы недооценили количество пользователей, обращающихся к этому сервису во время развертывания.
Извлеченные уроки
В следующий раз в подобных ситуациях мы будем:
- Более осторожными при миграции базы данных. Учитывать, что во время миграции происходит вставка данных.
- Переводить сайт в режим обслуживания, когда необходимо остановить весь трафик и избежать состояний гонки.