👥 Как мы генерируем GPT-нейросетями миллиарды объявлений на малом количестве GPU

В этой статье автор рассказывает о соединении тяжёлых процессингов и GPU‑вычислений. Как реализовали высоконагруженный процессинг, который обрабатывает миллиарды товаров и превращает их в объявления, используя тяжёлые модели, такие как YandexGPT, DSSM, CatBoost и другие. Оказывается, связать тяжёлый процессинг и инференс моделей вполне реально, даже когда нагрузка в процессинге превышает возможности вашего сервиса.

Читать…