Как ClickHouse принимает 50 млн событий в секунду без Kafka

Внутренняя платформа наблюдаемости ClickHouse хранит 177 ПиБ несжатых данных и принимает около 50 млн событий OpenTelemetry в секунду. Обычная схема из агентов и шлюзов не переживала давление со стороны базы, а локальный WAL создавал очередь: 1 ТиБ накопившихся данных выгружался около четырёх часов.

Вместо отдельного кластера Kafka инженеры сделали S3 аварийным буфером. Пока ClickHouse доступен, данные идут прямо в базу. При перегрузке failover connector переключает поток в S3, уведомления об объектах попадают в SQS, а отдельные обработчики позже догружают архив. Свежие события при этом не ждут старую очередь.

Постоянно писать весь поток в S3 оказалось слишком дорого: только запросы к API стоили бы $100–500 тысяч в год. Поэтому объектное хранилище используется лишь во время сбоев. Архитектура выросла с 10 до 50 млн событий в секунду без потери данных.

#clickhouse #opentelemetry #observability #datapipeline #amazons3 #streaming #dataengineering

@data_engi