BRAIn Lab: Optimization and Beyond

Присоединяйтесь к проектам BRAIn Lab и других лабораторий ИИИ МФТИ

В рамках проекта можно поработать над исследовательской задачей и получить результаты, которые станут основой научной статьи.

⌛Отбор уже начался и продолжится до 18 сентября.

Выбирайте направление — от больших языковых моделей и агентов до компьютерного зрения, биоинформатики и ML в физике ⬇️⬇️⬇️

BRAIn Lab (научный руководитель - Александр Безносиков)


Большие языковые модели, оптимизация, обучение с подкреплением и приватность данных. Среди задач — эффективное обучение LLM, выбор модели под запрос, исследование 3D-объектов и применение ML в химии и физике.

BRAIn Lab × VisionLabs (научный руководитель - Александр Безносиков и Анастасия Белозерова)


Прикладное машинное обучение и компьютерное зрение: проверка подлинности документов, трекинг людей и лиц, классификация автомобильных номеров и предсказание исходов раундов в Counter-Strike 2.

Лаборатория индустриального компьютерного зрения (научный руководитель - Егор Ершов)


Гиперспектральные изображения, синтетические данные и моделирование съёмки. Здесь исследуют перенос моделей с синтетики на реальные снимки, генерацию текстур и физические особенности камеры.

Лаборатория платформенных решений и мультиагентных систем (научный руководитель - Иван Сгибнев)


ИИ-агенты, малые языковые модели и работа с длинным контекстом. Среди проектов — генерация SQL-запросов, квантизация моделей, обучение агентов по демонстрациям пользователя и анализ медицинских изображений.

Лаборатория нейронных систем и глубокого обучения (научный руководитель - Денис Кузнецов)


Биоинформатика, геномные модели, поиск по документам и агентные системы. Можно исследовать ДНК, развивать память и RAG, учить агентов проектировать печатные платы или решать олимпиадные задачи по программированию.

Смотреть все проекты

Как присоединиться?

• Перейдите по ссылке, откройте подстраницу интересующего проекта и проверьте требования и наличие мест.
• Если места ещё есть — пришлите руководителю проекта ФИО, группу, CV и интро с фокусом на работу в AI (что читали, делали руками).

Когда договоритесь об участии, сообщите Александру Богданову — @d0dos.

🧠Как мы делали ИИ-ассистента для египтологов

Год назад мы в BRAIn Lab c Институтом востоковедения РАН и с Yandex Cloud работали над агентом, который ищет ответы по базе из 800+ научных публикаций о некрополе Гизы на пяти языках: английском, французском, немецком, итальянском и русском🏺

Стоит признать: с момента запуска прошло достаточно времени, и часть решений, которые год назад выглядели новыми, сегодня уже не кажутся такими актуальными - индустрия ИИ-агентов ушла далеко вперёд.

⚡️То, что раньше требовало ручной настройки, сегодняшние агенты умеют делать сами — планировать шаги, выбирать инструменты, работать с мультимодальными данными.

На этом проекте мы увидели:

• где ассистентный подход работает отлично (поиск, ссылки, достоверность)
• а где уже нужны более автономные архитектуры (анализ иероглифов, большие гетерогенные архивы, самостоятельное расширение базы знаний)

Но, несмотря на то, что технологии не стоят на месте, сам проект не теряет ценности - и вот почему:

«Для нашей лаборатории такие проекты важны по нескольким причинам: молодые ребята пробуют силы на реальных задачах, мы внедряем ИИ там, где он полезен, и помогаем развивать отечественные модели и сервисы, давая командам развёрнутую обратную связь (текущий проект был реализован на Yandex AI Studio). А главное - нам было важно вернуть исследователю время. Учёный тратит почти весь ресурс, просто чтобы оставаться в курсе литературы, - эту рутину мы хотели отдать машине, но так, чтобы результату можно было доверять. Поэтому агент не сочиняет, а находит и всегда показывает, откуда взял информацию. То, что раньше занимало часы, теперь занимает минуты, и это подтвердили сами египтологи», - Александр Безносиков.

Что сделали и что получилось — читайте в статье ⬅️

📚 Курс «Методы и алгоритмы машинного обучения»

Наш курс по классическому ML, который мы развиваем последние два года, теперь можно взять как курс по выбору на ФПМИ.

💡 О чём будем говорить:
• виды задач в ML и классические подходы к их решению
• связь с математической статистикой — без неё никуда
• методы оптимизации в ML
• немного DL в финале

Глобальная цель — дать макро- и микропонимание идей машинки, подкрепив их хорошей математической базой и алгоритмической составляющей. Плюс интересные домашки и Kaggle-соревнование.

🎯 Для кого: в первую очередь зовём 3 курс ФПМИ — особенно если планируете связать себя с кафедрой ПИР или лабораторией BRAIn Lab. Всех остальных ждём вольнослушателями.

⚠️ Важно: мест всего 36, и есть отбор.
Чтобы попасть на курс, до 5 сентября включительно заполните небольшую форму. Без неё взять не сможем, даже если выберете курс в ЛК. Всем приглашённым напишем в ЛС.
🔗 форма

📋 Полная программа (и материалы прошлого года) — на гитхабе
📺 Записи прошлых лет можно найти на наших каналах на Youtube и на Rutube

По вопросам — в комментарии 👇

#образование@brainlaboratory

BRAIn Lab: Optimization and Beyond pinned a photo

Собираемся в осень и подводим итоги лета с нашим ML-бинго ☀️

Мы решили подвести итоги лета, порефлексировать и сделать бинго ресерчера.

✅Отмечайтесь в комментариях: сколько пунктов вам удалось закрыть, и какие летние ML-активности мы забыли добавить.
Среди участников разыграем пять подписок на Яндекс Плюс 💛

⏰Результаты - 4 сентября в 15:00.

Ответ принимается цифрой, картинкой с отметками или комментарием (в общем, любой формат подойдёт!)

Считаем пункты и указываем в комментариях 👇

✈️ На прошлой неделе команда BRAIn Lab побывала на конференции UAI 2026 в Амстердаме, где представила работу “Markovian Compression: Looking to the Past Helps Accelerate the Future”.

В статье предлагаются марковские компрессоры BanLast и KAWASAKI, которые учитывают историю предыдущих передач и стараются не отправлять одни и те же координаты снова и снова. Это позволяет эффективнее использовать тот же коммуникационный бюджет в распределённом обучении.

🗣️Андрей Веприков о поздке:

Сама UAI оказалась камерной и дружелюбной конференцией. Программу можно было спокойно посмотреть почти целиком, а после докладов легко подойти к авторам и продолжить обсуждение без привычной суеты больших мероприятий. Такой формат помогает быстро получить представление о происходящем в сообществе и познакомиться с людьми, даже если твоя основная специализация лежит в смежной области.

Тематика uncertainty для меня не совсем привычная, поэтому в первые дни пришлось калибровать скорее собственную неопределённость в происходящем. Постепенно термины и основные вопросы начали складываться в более цельную картину.

В итоге поездка получилась полезной: удалось представить нашу работу, посмотреть на знакомые задачи с другой стороны и провести несколько интересных разговоров. Ну и Амстердам с его каналами, велосипедами и очень переменчивой погодой отлично дополнил впечатления от конференции"

Мы уже делали разбор этой статьи ранее.

А в комментариях вы можете ознакомиться с постером 👇

🪐Четыре статьи BRAIn Lab приняты на EMNLP 2026!

Мы рады сообщить, что сразу четыре наших работы прошли отбор на одну из главных мировых конференций по обработке естественного языка - EMNLP 2026.

💡 Что вошло в программу:

⏺Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression - переосмысление тензорных разложений в квантовании LLM; статья во многом с отрицательными результатами, полезными сообществу.
⏺HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization - обучаемое адамарово преобразование для квантования моделей.
⏺WRDO: Weighted Refusal Direction Optimization in Aligned Language Models - более эффективный способ внедрения направлений отказа (запрета определенных тематик) в LLM.
⏺Dynamic LoRA Rank Allocation via Simplex-Constrained Optimization - способ неравномерного и динамического распределения рангов LoRA, исходя из важности слоев с точки зрения оптимизации.

💅Интересно, что мы подаем статьи на EMNLP впервые. И такой результат не может не радовать и говорит о довольно активном освоении нами области NLP.

Благодарим всех авторов за проделанную работу и поздравляем с заслуженным успехом!

BRAIn Lab на KDD

🇰🇷В Корее проходит конференция KDD (Conference on Knowledge Discovery and Data Mining).

Прямо сейчас Александр Мясников представляет нашу статью на постерной сессии:

Hierarchical Mixture-of-Experts with Two-Stage Optimization — новый взгляд на оптимизацию MoE-архитектур.

Ещё две наши работы прошли на воркшопы:
• TensorKDD — тензорные разложения для пост-тренировочного сжатия LLM
• RelKD — инференс моделей с рассуждением в экстремально низкой точности

Если вы на конференции - подходите к постеру #109, пообщаемся 👋

Больше об атмосфере на конференции и из Чеджу в фотографиях 📸

Разбираем нашу новую работу — на этот раз с неожиданным выводом 😳

Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression

[статья]
[код]

Тензорные разложения (Tucker, Tensor Train (TT)) выглядят идеальным инструментом для сжатия LLM: экспоненциальная компрессия, красивая теория, естественное соответствие структуре Transformer.

Но работают ли они на реальном деплое? Мы провели первое систематическое исследование — и ответ: нет.

🔍 Что мы сделали:

🔵проверили tensor- и matrix-разложения на dense (GPT-J 6B, LLaMA 2 7B) и MoE (Qwen3-30B-A3B, GPT-OSS-20B) архитектурах
🔵сравнили с квантизацией (RTN 4/8 бит) на одинаковых модулях
🔵нашли и формализовали фундаментальную причину провала

💡 Главный вывод: тензорные форматы оптимизируют не ту геометрию.

Tucker и TT минимизируют ошибку по Фробениусу, а функциональное поведение модели определяется операторной нормой. На спектрах весов LLM (а они с тяжелыми хвостами: α < 1/2 — мы измерили!) разрыв растёт полиномиально с размером слоя.

Плюс super-weights: чтобы восстановить один критический скаляр с помощью truncated SVD, нужен ранг 1500+. Практические ранги даже близко не подходят.

📊 Результаты:

🔵Даже в MoE, где эксперты «должны» быть избыточны, matrix-метод MoBE стабильно бьёт тензорный TD-MoE
🔵Простая RTN-квантизация без потерь качества даёт ≈18% сжатия — недостижимо для любого разложения
🔵LoRA-repair смягчает, но не лечит

Итог честный: тензорные разложения — не замена квантизации, а в лучшем случае дополнение. И теперь понятно, почему.

👇 Листай карточки — объяснили простым языком.

#разборстатьи@brainlaboratory