데이터베이스 마이그레이션 사고 요약

사고 요약

2021-08-03 오후 2시 35분 PST에 엔지니어 한 명이 잘못된 데이터베이스 마이그레이션을 수행하여 인덱싱된 데이터와 데이터베이스의 실제 데이터 간에 불일치가 발생했습니다. 이는 39명의 사용자에게 영향을 미쳤으며, 우리는 데이터를 재입력하고 오후 4시 46분 PST에 문제를 해결했습니다.

영향

영향을 받은 39명의 사용자는 2021-08-03 오후 2시 35분 PST부터 오후 4시 46분 PST 사이에 추가된 데이터를 잃을 수 있습니다. 우리는 데이터를 재입력했지만 100% 복구를 보장할 수 없습니다.

근본 원인

근본 원인은 파일 구조를 재구성하고 Dropbox 통합을 준비하기 위한 새로운 데이터베이스 마이그레이션입니다. 안타깝게도 배포 중 이 서비스를 이용하는 사용자 수를 과소평가했습니다.

교훈

다음에 유사한 상황이 발생하면 우리는

1. 데이터베이스 마이그레이션에 더욱 신중을 기할 것입니다. 마이그레이션 중에도 데이터 삽입이 발생한다는 점을 인지합니다.
2. 모든 트래픽과 경쟁 조건을 중단해야 할 경우 사이트를 유지보수 모드로 전환합니다.