Как Tailscale полгода охотилась за багом в SQLite

За шесть месяцев у Tailscale 19 раз повреждались SQLite-базы. Иногда между инцидентами проходило несколько часов. Однажды наступили шесть спокойных недель, а потом проблема вернулась как совершенно нежелательный рождественский подарок.

Закономерности не было: ни конкретного шарда, ни нагрузки, ни времени суток. Баг не удавалось воспроизвести, поэтому диагностику пришлось тащить прямо в продакшен, а к расследованию подключились разработчики самого SQLite.

В конце этой цепочки обнаружился дефект, который, по оценке разработчиков, мог скрываться в SQLite как минимум 16 лет.