Zusammenfassung des Vorfalls
Am 03.08.2021 um 14:35 Uhr PST führte einer unserer Ingenieure eine fehlerhafte Datenbankmigration durch, die zu Diskrepanzen zwischen den indizierten Daten und der Quelle der Wahrheit in der Datenbank führte. Dies betraf 39 Benutzer, und wir haben die Daten wiederhergestellt und das Problem um 16:46 Uhr PST behoben.
Auswirkungen
Die betroffenen 39 Benutzer könnten Daten verloren haben, die zwischen dem 03.08.2021 um 14:35 Uhr PST und 16:46 Uhr PST hinzugefügt wurden. Wir haben die Daten wiederhergestellt, können aber keine 100%ige Wiederherstellung garantieren.
Grundursache
Die Grundursache ist unsere neue Datenbankmigration zur Neuorganisation der Dateistruktur und zur Vorbereitung der Dropbox-Integration. Leider haben wir die Anzahl der Benutzer, die diesen Dienst während der Bereitstellung besuchten, unterschätzt.
Gelernte Lektionen
Beim nächsten Mal in ähnlichen Situationen werden wir
- Vorsichtiger bei der Datenbankmigration sein. Beachten, dass während der Migration Daten eingefügt werden.
- Die Website in den Wartungsmodus versetzen, wenn wir den gesamten Datenverkehr und Race Conditions stoppen müssen.
