Минутка впечатляющих цифр: Яндекс повысил эффективность обучения LLM почти на 5 млрд рублей в год

Это примерно 400 миллионов в месяц. Про часть оптимизации компания уже рассказывала в техрепорте, а сейчас раскрыла цифры. Итак, за счет чего удалось повысить эффективность:

1. Собственная разработка Яндекса – библиотека YCCL (Yet Another Collective Communication Library). С ее помощью удалось в 2 раза ускорить обмен данными между графическими процессорами и сократить объем передаваемой информации. В мире подобные системы есть только у Meta, AMD и пары китайских IT‑гигантов.

2. Переход на FP8 и увеличение размера батча. Применение FP8 ускорило обучение моделей на 30% и сократило коммуникации в 2 раза. Батч увеличили до 16–32 млн токенов, что позволило обучать модели без простоев GPU, и благодаря исследованиям это даже не замедлило обучение.

3. А также оптимизация кода, аппаратной инфраструктуры и усовершенствование архитектур.