Какие интересные «совпадения» случаются

Буквально сегодня по одному из наших продуктов обсуждали, под какие SLA мы готовы коммититься перед клиентами. Продукт — API-шлюз для доступа к frontier LLM моделям (без VPN, с адекватными ценами,с оплатой в рублях и вот это вот все).

Сделали кучу замеров, посмотрели нагрузку, все посчитали и начали наши внутренние «торги».

Начали с 99.9% доступности. Тут быстро поняли, что к такому мы в моменте физически не готовы и не хотим быть готовыми для нового продукта без нормального кешфлоу.

Опустиилсь до 99%. К этому готовы и морально и физически, но объем инфраструктурной работы необходимой для нашей же уверенности в этой цифре заставил торговаться дальше.

В итоге остановились на 98%, которые готовы гарантировать клиентам и в которых уверены. Все-таки это продукт, где ты балансируешь между 2 огней: с одной стороны РКН с его блокировками, с другой стороны ограничения LLM-вендоров — много неконтролируемых факторов, которые сложно предвидеть.

Все. Договорились, зафиксировали, работаем.

И вот буквально через несколько часов начинается деградация в работе сервиса. Часть запросов на отдельных нодах без видимой системы начинает валиться где-то на сетевом уровне между узлами. Локализовали до WireGuard (популярный VPN протокол) — часть запросов протокола просто не доходит и режется где-то на уровне провайдера, даже не доходя до наших сетевых интерфейсов. И тут меня догоняют свежие новости, что именно сегодня РКН ужесточил блокировки VPN-сервисов и все становится на свои места 🙁

Очень быстро получили подтверждание того, что наш трезвый расчет и перестраховка были не напрасными 😅