Eén bericht getagd met "database"

Samenvatting incident​

Op 3 augustus 2021 om 14:35 uur PST voerde een van onze engineers een onjuiste databasemigratie uit, wat leidde tot inconsistenties tussen de geïndexeerde gegevens en de bron van waarheid in de database. Dit trof 39 gebruikers; we hebben de gegevens aangevuld en het probleem om 16:46 uur PST opgelost.

Impact​

De 39 getroffen gebruikers kunnen gegevens hebben verloren die zijn toegevoegd tussen 3 augustus 2021 om 14:35 uur PST en 16:46 uur PST. We hebben de gegevens aangevuld, maar kunnen geen 100% herstel garanderen.

Hoofdoorzaak​

De hoofdoorzaak is onze nieuwe databasemigratie om de bestandsstructuur te reorganiseren en voor te bereiden op de Dropbox-integratie. Helaas hebben we het aantal gebruikers dat deze dienst bezocht tijdens de implementatie onderschat.

Lessen geleerd​

De volgende keer in vergelijkbare situaties zullen we

1. Voorzichtiger zijn met databasemigraties. Wees ervan bewust dat er gegevensinvoegingen plaatsvinden tijdens de migratie.
2. De site in onderhoudsmodus zetten wanneer we al het verkeer en 'racing conditions' moeten stoppen.