Сегодня встречаемся на Practical ML Conf!

Это крупнейшая хардовая конференция Яндекса для ML-экспертов и практиков. Мы с командой тоже приехали послушать доклады от экспертов и поучаствовать в инженерных экскурсиях.

Три основных направления сегодняшнего дня, ради которых мы приехали:

1. Вызовы и подводные камни в обучении LLM;
2. Продуктовый AI: честная экономика и эффекты применения LLM в масштабе;
3. Эффективная инфраструктура для моделей и агентов.

Будет несколько параллельных треков, в том числе онлайн (расписание). А если вы сегодня здесь и любите хардовые доклады как мы, то вот выступления, которые мы особенно рекомендуем посетить:

— Доклад про Алису на Поиске от CTO Alice AI Search: Артур Петросян расскажет про то, что работает под капотом ответа на Поиске: какая LLM-архитектура используется, за счет чего ее ускоряют и как обучают.

— Рассказ про генеративные модели в рексис Яндекс Музыки от Николая Савушкина – руководитель службы рекомендательных технологий.

— Практический спич про экономически эффективный инференс для агентских сценариев от руководителя группы инференса LLM в Yandex AI Studio Владислава Носивского. Он на примерах разберет, как снижать стоимость инференса с помощью схем параллелизма, разделения prefill и decode и работой с KV-кешем.

Кроме докладов на площадке повсюду антураж ML и куча интересных активностей. Например, можно участвовать в лотерее, ответив на несколько вопросов по ML (мы уже!)

Кто тоже здесь, что уже успели посмотреть и послушать?