Résumé de l'incident
Le 3 août 2021 à 14h35 PST, l'un de nos ingénieurs a effectué une mauvaise migration de base de données qui a entraîné des divergences entre les données indexées et la source de vérité dans la base de données. Cela a eu un impact sur 39 utilisateurs, et nous avons restauré les données et résolu le problème à 16h46 PST.
Impact
Les 39 utilisateurs impactés ont pu perdre des données ajoutées entre le 3 août 2021 à 14h35 PST et 16h46 PST. Nous avons restauré les données mais ne pouvons garantir une récupération à 100 %.
Cause première
La cause première est notre nouvelle migration de base de données visant à réorganiser la structure des fichiers et à préparer l'intégration de Dropbox. Malheureusement, nous avons sous-estimé le nombre d'utilisateurs visitant ce service pendant le déploiement.
Leçons apprises
La prochaine fois, dans des situations similaires, nous allons :
- Être plus prudents concernant la migration de la base de données. Être conscients qu'il y a des insertions de données pendant la migration.
- Mettre le site en mode maintenance lorsque nous devons arrêter tout le trafic et les conditions de concurrence.