У каждого эксперимента есть свой сегмент пользователей, определяющий, кто должен получить тестовый опыт.

У сервиса должно быть под сотню экспериментов, а значит под сотню сегментов. Но надо быть готовым на кратное увеличение сегментов. Значит, сервис без учёта сети и прочих инфраструктурных задержек должен отвечать быстрее.

Команда разработки экспериментов Okko про сплитование трафика, о небольших по сложности, но больших оптимизациях в коде, которые они сделали, чтобы разогнать платформу до скорости ракеты: https://habr.com/ru/companies/oleg-bunin/articles/828986/