Resumo do incidente
Em 03/08/2021 às 14:35 PST, um de nossos engenheiros realizou uma migração de banco de dados inadequada que causou discrepâncias entre os dados indexados e a fonte da verdade no banco de dados. Isso impactou 39 usuários, e nós restauramos os dados e resolvemos o problema às 16:46 PST.
Impacto
Os 39 usuários impactados podem ter perdido dados adicionados entre 03/08/2021 às 14:35 PST e 16:46 PST. Nós restauramos os dados, mas não podemos garantir 100% de recuperação.
Causa raiz
A causa raiz é a nossa nova migração de banco de dados para reorganizar a estrutura de arquivos e preparar para a integração com o Dropbox. Infelizmente, subestimamos o número de usuários acessando este serviço durante a implantação.
Lições aprendidas
Da próxima vez, em situações semelhantes, nós iremos:
- Ser mais cautelosos com a migração do banco de dados. Estar cientes de que há inserções de dados durante a migração.
- Colocar o site em modo de manutenção quando precisarmos interromper todo o tráfego e as condições de corrida.