Підсумок інциденту
3 серпня 2021 року о 14:35 за тихоокеанським часом один з наших інженерів здійснив невдалу міграцію бази даних, що спричинило розбіжності між індексованими даними та джерелом істини в базі даних. Це торкнулося 39 користувачів, і ми відновили дані та вирішили проблему о 16:46 за тихоокеанським часом.
Вплив
Ці 39 користувачів, яких це торкнулося, могли втратити дані, додані між 3 серпня 2021 року 14:35 за тихоокеанським часом та 16:46 за тихоокеанським часом. Ми відновили дані, але не можемо гарантувати 100% відновлення.
Основна причина
Основною причиною є наша нова міграція бази даних для реорганізації файлової структури та підготовки до інтеграції з Dropbox. На жаль, ми недооцінили кількість користувачів, які відвідували цей сервіс під час розгортання.
Вивчені уроки
Наступного разу в подібних ситуаціях ми будемо:
- Бути більш обережними щодо міграції бази даних. Пам'ятати, що під час міграції відбувається вставка даних.
- Переводити сайт у режим обслуговування, коли необхідно зупинити весь трафік та уникнути конфліктів доступу.