Riepilogo dell'incidente
Il 03-08-2021 alle 14:35 PST, uno dei nostri ingegneri ha effettuato una migrazione errata del database che ha causato discrepanze tra i dati indicizzati e la fonte di verità nel database. Ha avuto un impatto su 39 utenti, e abbiamo reintegrato i dati e risolto il problema alle 16:46 PST.
Impatto
Quei 39 utenti interessati potrebbero aver perso dati aggiunti tra le 14:35 PST e le 16:46 PST del 03-08-2021. Abbiamo reintegrato i dati, ma non possiamo garantire un recupero al 100%.
Causa principale
La causa principale è la nostra nuova migrazione del database per riorganizzare la struttura dei file e prepararsi all'integrazione con Dropbox. Sfortunatamente, abbiamo sottovalutato il numero di utenti che visitavano questo servizio durante la distribuzione.
Lezioni apprese
La prossima volta in situazioni simili, provvederemo a
- Essere più cauti riguardo alla migrazione del database. Essere consapevoli che ci sono inserimenti di dati durante la migrazione.
- Impostare il sito in modalità di manutenzione quando è necessario fermare tutto il traffico e le condizioni di competizione.