SSP GumGum Cloud AWS Infra

На днях мне на глаза попался пост Amazon Web Service по облачной инфраструктуре SSP GumGum. Инфраструктура в программатик платформах играет не меньшую роль, чем алгоритмы биддинга или монетизации. Для примера более-менее крупная SSP может проводить до 30 млрд аукционов обрабатывать до 100 TB трафика в сутки. Расходы на неоптимизированную архитектуру тогда могут составить до $100k в месяц

1️⃣ Как устроена инфра GumGum?
RTB платформа работает следующим образом
- Bid Request'ы от паблишеров приходят на API Contextual Ad Server. Здесь же запросы проходят через балансировщик нагрузки, поскольку Contextual Ad Server распределен на группу авто масштабирования (Auto Scaling Group), либо на k8s кластер
- Само приложения сервера реализовано на Apache Tomcat, который и предоставляют точку доступа для паблишера
- Поскольку бид реквесты приходят на Contextual Ad Server не батчами, а отдельными запросами то для их записи нам нужна очередь данных. Для этих целей подходит Amazon SQS, который подкапотно реализует Кафку и пишет бид реквесты сообщенми в Кафка топики. Из топиков ивенты пишутся с помощью Kafka Connect в Amazon S3 уже батчами (чаще всего по часу)
- ML модели, которые фильтруют инвентарь, проверяют brand-safety, проверяют релевантность паблишера для DSP, изменяют цену бида собраны в отдельный сервис Verity, со своей точкой доступа. Для обучения они используют данные, собранные ранее в S3 бакеты
- Также для целей репортинга предусмотрен Reporting Server, в котором реализованы дашборды (на Superset), UI Ad Manager, Publisher Manager etc.

2️⃣ Какая экономия для GumGum?
- Во-первых, здесь можно оптимизировтаь типы машин для Contextual Ad Server. Можно использовать EC2 Spot Instances, если закладывать то, что спот инстансы могут быть в любой момент отключены Амазаном, но их аренда обходится в 2 раза дешевле, чем On-Demand инстансов. Здесь GumGum экономит до $12k в месяц

- Во-вторых, можно экономить на хранении данных, если выставлять различные tier'ы 1,2,3. Так данные, которые запрашиваются редко можно хранить в холодном хранилище ex: Amazon Glacier (низкая цена на хранение и высокая на запрос). Таким образом SSP может экономить до $45k в месяц на файловом хранилище.

Да и в принципе, если компания хостит все свои сервисы на одном облачном провайдере, то получает значительные скидки и экономит на инфре.

#devops #adtech