Uma postagem marcado com "confiabilidade do sistema"

Resumo do incidente​

Em 03/08/2021 às 14:35 PST, um de nossos engenheiros realizou uma migração de banco de dados inadequada que causou discrepâncias entre os dados indexados e a fonte da verdade no banco de dados. Isso impactou 39 usuários, e nós restauramos os dados e resolvemos o problema às 16:46 PST.

Impacto​

Os 39 usuários impactados podem ter perdido dados adicionados entre 03/08/2021 às 14:35 PST e 16:46 PST. Nós restauramos os dados, mas não podemos garantir 100% de recuperação.

Causa raiz​

A causa raiz é a nossa nova migração de banco de dados para reorganizar a estrutura de arquivos e preparar para a integração com o Dropbox. Infelizmente, subestimamos o número de usuários acessando este serviço durante a implantação.

Lições aprendidas​

Da próxima vez, em situações semelhantes, nós iremos:

1. Ser mais cautelosos com a migração do banco de dados. Estar cientes de que há inserções de dados durante a migração.
2. Colocar o site em modo de manutenção quando precisarmos interromper todo o tráfego e as condições de corrida.