Resumen del incidente
El 03-08-2021 a las 2:35 p. m. PST, uno de nuestros ingenieros realizó una migración de base de datos incorrecta que causó discrepancias entre los datos indexados y la fuente de verdad en la base de datos. Afectó a 39 usuarios, y rellenamos los datos y resolvimos el problema a las 4:46 p. m. PST.
Impacto
Esos 39 usuarios afectados pueden haber perdido datos añadidos entre el 03-08-2021 a las 2:35 p. m. PST y las 4:46 p. m. PST. Rellenamos los datos, pero no podemos garantizar una recuperación del 100%.
Causa raíz
La causa raíz es nuestra nueva migración de base de datos para reorganizar la estructura de archivos y prepararnos para la integración con Dropbox. Desafortunadamente, subestimamos el número de usuarios que visitaban este servicio durante el despliegue.
Lecciones aprendidas
La próxima vez, en situaciones similares, haremos lo siguiente:
- Ser más cautelosos con la migración de la base de datos. Ser conscientes de que hay inserciones de datos durante la migración.
- Poner el sitio en modo de mantenimiento cuando necesitemos detener todo el tráfico y las condiciones de carrera.
