Resum de l'Incident de Migració de Base de Dades
Resum de l'incident
El 2021-08-03 a les 14:35 PST, un dels nostres enginyers va realitzar una migració de base de dades incorrecta que va causar discrepàncies entre les dades indexades i la font de veritat a la base de dades. Va afectar 39 usuaris, i vam restaurar les dades i vam resoldre el problema a les 16:46 PST.
Impacte
Aquests 39 usuaris afectats podrien perdre dades afegides entre el 2021-08-03 a les 14:35 PST i les 16:46 PST. Vam restaurar les dades, però no podem garantir una recuperació del 100%.
Causa arrel
La causa arrel és la nostra nova migració de base de dades per reorganitzar l'estructura de fitxers i preparar la integració amb Dropbox. Malauradament, vam subestimar el nombre d'usuaris que visitaven aquest servei durant el desplegament.
Lliçons apreses
La pròxima vegada, en situacions similars, farem el següent:
- Ser més prudents amb la migració de la base de dades. Ser conscients que hi ha insercions de dades durant la migració.
- Posar el lloc en mode de manteniment quan necessitem aturar tot el trànsit i les condicions de competició.
