Когда вы запускаете сериал на Netflix, кто-то считает это событие. И ещё 75k других событий - каждую секунду.
Чтобы справиться с таким объёмом, Netflix построил распределённый счётчик. Вот как он устроен:
- API: пользователи отправляют команды типа
+1, -1, get и clear. Это всё проходит через Data Gateway.- Логирование событий: каждое действие попадает в TimeSeries и получает уникальный ID (чтобы не посчитать дважды). Всё хранится в Cassandra.
- Агрегация: события собираются в батчи, агрегируются по времени (например, по минутам) и пишутся в другую базу.
- Быстрое чтение: счётчики кешируются в EVCache. Всё работает почти мгновенно - если кеш устарел, его тихо обновят в фоне.
Благодаря этой архитектуре, Netflix держит 75k RPS со скоростью отклика в несколько миллисекунд. Красота? Да. Простота? Не совсем. Но работает чётко.
https://netflixtechblog.com/netflixs-distributed-counter-abstraction-8d0c45eb66b2
Мы в MAX
👉@programmist_of