データベース移行インシデント概要
· 約2分
インシデント概要
2021年8月3日 午後2時35分(PST)に、エンジニアの一人が不適切なデータベース移行を行い、インデックスされたデータとデータベース内の真実のソースとの間に不整合が生じました。この問題は39人のユーザーに影響し、データをバックフィルし、午後4時46分(PST)に問題を解決しました。
影響
影響を受けた39人のユーザーは、2021年8月3日 午後2時35分(PST)から午後4時46分(PST)の間に追加されたデータを失う可能性があります。データはバックフィルしましたが、100%の復旧は保証できません。
根本原因
根本原因は、ファイル構造を再編成し Dropbox 連携の準備を行うための新しいデータベース移行です。残念ながら、デプロイ中にこのサービスを利用するユーザー数を過小評価していました。
教訓
今後同様の状況が発生した場合、以下を実施します。
- データベース移行に対してより慎重になる。移行中にデータ挿入が行われることを認識する。
- すべてのトラフィックと競合状態を停止する必要がある場合、サイトをメンテナンスモードに設定する。