Обзор архитектуры Twitter

#перевод_для_канала_itarchitecture

Да, Илон Маск недавно купил Твиттер, но что там под капотом?
Вот обзор архитектуры Twitter, обслуживающей более 230 миллионов пользователей.

Люди постоянно генерируют контент в Twitter. Ключевая задача Twitter в эффективном распространении данного контента. Как отправить его своим многочисленным подписчикам? Настоящий челендж - это преодоление ограничений работы в режиме реального времени. Цель - доставка потока сообщений до пользователя не более чем за 5 секунд.

Жизнь твита:

1. Твит поступает через Write API.
2. Write API направляет запрос в службу Fanout.
3. Служба Fanout выполняет много обработки и хранит твиты в кэше Redis.
4. Служба Timeline используется для поиска сервера Redis, на котором есть таймлайн пользователя (лента твитов в хронологии).
5. Пользователь извлекает свой таймлайн через службу Timeline.

Поиск и обнаружение

Ingester: аннотирует и токенизирует твиты, чтобы данные могли быть проиндексированы.
Earlybird: хранит поисковый индекс.
Blender: создает таймлайны поиска и обнаружения.

Отправка уведомлений

- HTTP push;
- push на мобильные устройства.