DLStories

Я начала использовать кодинговых агентов (вроде Codex/Claude Code) в марте 2026 года. Первые 3–4 месяца я применяла их в основном для запуска новых экспериментов на базе уже имевшегося у меня кода рисерч проектов, который я полностью написала сама или с соавторами. Это получалось довольно хорошо: агенты отлично справляются с масштабированием экспериментов, а проверять их работу в таких случаях довольно просто, и это в итоге сэкономило мне массу усилий. Но недавно я начала пробовать использовать Claude Code для новых проектов, попросив его написать много нового кода, используя внешние GitHub репо только как ориентиры, добавив сверху новой логики и датасетов. Агент весьма уверенно заявлял, что написал код и запустил эксперименты. Но когда я решила проверить этот код, то там обнаружились ряд проблем с методологией и выбором гиперпараметров, причем некоторые из них выявились только через некоторое время. Дальше я попросила Claude внимательно перепроверить код. Он действительно нашел несколько ошибок и согласился, что некоторые гиперпараметры были выбраны случайно — он не сумел/не захотел нормально проанализировать внешний GitHub репо и понять, какие гиперпараметры верные. Но один цикл такой проверки и исправления не решил всех проблем. Ради интереса я попросила Claude повторить проверку и исправление еще несколько раз, и в следующих нескольких циклах он находил новые баги, часть из которых влияла на постанову эксперимента, а часть вообще возникала из-за предыдущих исправлений.

К чему это я: это явно не сюрприз, что агенты делают ошибки, а я, безусловно, не самый опытный пользователь подобных агентов, и мои конфиги и промпты далеки от идеала. Но беспокоит меня вот что: я вполне могу представить людей, которые используют агентов для запуска экспериментов и написания статей на основе полученных результатов. Но без нормального понимания методологии исследований и тщательной проверки кода такие эксперименты с высокой вероятностью будут содержать ошибки или даже окажутся некорректными. Понятно, что и до появления агентов не было гарантии, что все эксперименты, описанные в статьях, точно верны. Но теперь порог входа стал сильно ниже, и стало гораздо проще получить неверные результаты, даже не подозревая о наличии в них ошибок.

Возможно, одним из способов решения этой проблемы могло бы быть обязательное требование прикладывать код проекта к сабмиту статьи. Мы могли бы сделать автоматическую проверку структуры экспериментов для тех статей, которые скорее всего будут приняты, и более внимательно ревьюить те работы, в которых эта проверка выявит что-то подозрительное.

Что делать, если базу в Data Science уже собрал?

Можно продолжать учиться. А можно за год получить опыт внутри большой DS-команды и вырасти до уверенного мидла.

Для этого Авито набирает участников в Data Science Bootcamp — оплачиваемую программу для будущих DS-инженеров.

Ты будешь работать над продуктовыми задачами, развивать AI-решения и фичи, которые доходят до релиза, и сможешь выбрать направление: классический ML, CV или NLP/LLM.

Плюс — наставник, кураторы, DS-комьюнити, обучение, зарплата и корпоративная техника.

Если хочешь провести следующий год именно так, подавай заявку до 20 сентября: https://clck.ru/3Vq6zQ
#промо

На основной конференции ECCV я презентовала статью EquiSteer: Cross-Attention Steering Towards a
Fairer Text-Guided Image Generation. Эта статья — в некотором смысле продолжение статьи CASteer, а точнее, практическое ее применение к задаче debiasing of diffusion models. Честно говоря, мне самой эта статья не очень нравится: она чисто эмпирическая, про практическое применение, а я уже стремлюсь делать более фундаментальный рисерч. Но делала я эту статью изначально еще в октябре 2025 года, когда не знала, примут ли две другие статьи на ICLR/ICML, а для хорошего диссера хотелось иметь несколько публикаций на A/A*. Я понимала, что идея EquiSteer с высокой вероятностью заработает и получится нормальная статья, поэтому решила таки ее сделать. Но в итоге две двугие статьи приняли, и теперь у меня аж 4 статьи на A/A* для диссера, что, в принципе, довольно приятно)

Кроме этого, EquiSteer и CASteer также были на воркшопе LifeGenIIP. CASteer уже была давно принята на ICLR 2026, но этот воркшоп был non-archival и принимал любые статьи, которые куда-то приняли в течение года. CASteer еще и выбрали в качестве oral, а потом еще и выдали Best Paper Award runner-up (то есть, второе место). На фотке — я с этим сертификатом. На мой взгляд, это довольно странно — давать award и oral статье, которая уже была куда-то принята раньше, но на этом воркшопе было в принципе не очень много статей — наверное, причина в этом. Но все равно приятно, че)

А еще в день моего постера EquiSteer прямо перед постерной сессией был keynote talk от ЛеКуна, но я на него не пошла. Я просто об этом забыла и вместо этого гуляла по Копенгагену) Но, судя по всему, ЛеКун рассказывал о своих стандартных темах — Le JEPA и что next-token prediction к реальному интеллекту не приведет, и если вы хотите сделать human-level AI, то вам точно не в LLM. Фотка с ЛеКуном стащена из linkedin

Я, Борис @boris_again и какой-то рандомный чел проф из Оксфорда. Вот так вот выглядит конфа ECCV, на которой все мы и встретились

Завтра на конфе у меня будет постер по статье EquiSteer: Cross-Attention Steering Towards a Fairer Text-Guided Image Generation. Статья про debiasing диффузионок с помощью стиринг векторов. Если вы на ECCV, приходите завтра посмотреть на меня, мою статью и моего научника в постерную сессию ExHall #221 в 4:00 p.m.

Открыт набор на осенний семестр Deep Learning School

DLS — онлайн-школа, где мы учим deep learning с нуля и до продвинутого уровня. Школа полностью бесплатная, но можно купить доппакет с менторской поддержкой и допвебинарами. Подробнее — на нашем сайте.

Особенность DLS в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра, которые будет не стыдно показывать на собеседованиях. Больше информации об организации курса и программы обучения можно найти тут.

С этого семестра у курса уже 4 части. Переходите по ссылкам ниже, чтобы зарегистрироваться:
- Часть 1: основы DL и computer vision. Регистрация тут.
- Часть 2: Natural Language Processing. Начинаем с эмбеддингов и RNN, заканчиваем LLM, GPT, их современными применениями, дистилляцией и interpretability. Регистрация тут.
- Часть 3: foundation models, multi-modality. Тут будет про VLM, диффузии, разные виды задач и другие продвинутые темы. Регистрация тут.
- Speech Processing. Отдельный курс про обработку аудио и аудио-модели. Регистрация тут.

Ссылки:
Наш сайт
Тг-канал с новостями DLS
Подробная программа и оргинформация обоих частей курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
🥰 Поддержать нашу школу на Boosty

Если остались вопросы, задавайте их нам на почту (dlphystech@gmail.com), в комментариях к посту о наборе в тг-канале DLS или в комментарии под этим постом.

Ждём вас в чатиках курса в новом семестре!

В мае я писала, что меня позвали в программный комитет Practical ML Conf. С тех пор мы просмотрели очень много заявок на доклады и выбрали из них те, которые попадут на конференцию. А сейчас уже вместе с авторами готовим их к конференции)

На сайте уже есть программа. Мы старались выбирать самые содержательные и технически нетривиальные доклады.

В итоге из самого, на мой взгляд, интересного:
• World models для роботов. Спикер — из Nvidia, где руководит созданием нейросетей для стека автономных беспилотных автомобилей
• Обучение Alice AI LLM — как хорошо сделать так, чтобы LLM одновременно обладала фактическими знаниями, работала с длинным контекстом, разбиралась в отдельных предметных областях, решала задачи, следовала инструкциям и сохраняла нужный стиль общения. Как завести для этого всего reward модели, и как возникает reward hacking
• Agentic Vision: как улучшить пространственное восприятие VLM, научив модель строить планы, корректировать решения и получать дополнительную визуальную информацию

И самое веселое — доклад от Антона Разжигаева про Уробороса (онлайн). Уроборос — автономный самоулучшающийся агент Антона, который бьет Codex/Claude Code/Cursor на многих открытых бенчмарках, и уже собрал кучу звезд и форков на GitHub. Вся история создания и улучшения Уробороса — у Антона в канале. Я следила за ней с самого начала, это правда довольно весело, так что я с удовольствием послушала бы общий доклад Антона на конфе)

Ну и еще будет много всего другого: генеративные рекомендации, инференс и RL для больших моделей, автономный транспорт, как заводить модели в прод для разных хадач. Ещё будут дискуссии про агентов и про то, как исследования превращаются в продукты.

Конференция пройдёт 19 сентября в Москве и онлайн. Участие бесплатное, но нужно зарегистрироваться.

P.S. А еще там объявят победителей Yandex ML Prize. Когда-то мне с DLS этот приз не дали 😠 Посмотрим, у кого тут "лучший ML-курс" в этом году 😐

А сегодня ещё, наконец, вышел пост на Lesswrong по этой статье, его написал мой соавтор. Его можно прочитать и даже лайкнуть, если было интересно)

В июне, перед тем как уехать на ICML, а потом на подготовку к IOAI, я была учеником на школе ARENA (Alignment Research Engineer Accelerator). Это что-то вроде технической программы по AI Safety. Как я писала выше, я занимаюсь AI interpretability, что довольно сильно связано с AI Safety. Поэтому я пошла на ARENA, чтобы получше понять, что там происходит внутри AI Safety коммьюнити, познакомиться с людьми, которые делают рисерч по теме interpretability, и, возможно, найти себе fellowship или работу.

В итоге у меня сложилось довольно неоднозначное впечатление про коммьюнити AI Safety, но об этом как-нибудь потом. Пока что хотела написать вот о чем: ARENA длилась 5 недель, и в последнюю неделю мы в парах делали небольшие рисерч проекты. В итоге у меня и моего коллеги проект получился достаточно хорошим, с явными результатами, и поэтому мы решили немного его доделать и написать статью на воркшоп.

Ниже кратко опишу, о чем статья, а еще дам ссылку на HF daily papers, куда я ее сегодня выложила и теперь хочу лайки 🙂

Итак, статья: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

Activation Oracles (AO) — это языковые модели, обученные отвечать на вопросы о внутренних активациях другой модели на естественном языке. То есть, это один из подходов анализа активаций моделей, который выдает инфу в виде текста на естественном языке. У модели AO по сути спрашивают "о чём это скрытое состояние?", и AO генерирует ответ. Теперь: пусть у вас есть LLM, в которой есть какая-то скрытая информация — например, backdoor, скрытая цель или знание. Тогда естественно было бы предположить, что если обучить AO на активациях именно этой модели, то он хорошо научится считывать ее внутренние состояния и сможет легко найти эту скрытую информацию.

Так вот, в нашей статье мы показываем, что в реальности может получиться ровно наоборот. Мы взяли пять разных концептов и дообучили LLM скрывать эти концепты. Потом обучили AO на активациях этих моделей. Оказалось, что AO, обученный на активациях модели X, начинает хуже "видеть" именно тот концепт, который скрывала модель X. При этом если этому же AO скормить активации другой модели Y, то он хорошо распознает концепт, который скрывает Y.

Короче, вывод: в некоторых случаях обучение инструмента интерпретации (например, AO) на данных той самой модели, которую он должен интерпретировать, может сделать его систематически слепым именно к той информации, которая содержится в этой модели.

Ссылки:
Статья
HF daily papers (вот тут можно поставить лайк!)

7 золота, 1 бронза и абсолютное 1 место у Артема Горохова 🎉

Новость: https://cu.ru/tpost/4ib9ed5o01-shkolnaya-sbornaya-rossii-tretii-god-pod

В последнее время количество хороших новых статей растет огромными темпами, и уследить за всем интересным даже в пределах одной области становится супер сложно.

Я уже перестала пытаться, честно. Даже на ICLR/ICML, где я недавно была, количество потенциально интересных мне статей было слишком большим, чтобы нормально все просмотреть и со всеми пообщаться (и еще успеть у своих постеров постоять). Из-за этого еще более полезными становятся мероприятия, где умные люди выделяют из нового ресерча главное, структурируют и подают в доступной форме.

13 августа Яндекс проводит ML Global Recap H1 2026 — мероприятие, где эксперты разберут несколько важных тем из мирового ML за первую половину года. Акцент будет на идеи, которые уже начинают менять индустрию.

В программе — нетворкинг, дискуссии и доклады руководителей разных команд Яндекса:
• Tabular DL — про это расскажет Артём Бабенко, руководитель Yandex Research;
• Тренды и вызовы в ризонинге — разберёт Дмитрий Мокеев, руководитель группы качества претрейна Alice AI в Яндекс Поиске;
• Новые подходы и стандарты в оценке качества моделей — представит Иван Дёгтев, руководитель аналитики Alice AI LLM в Яндекс R&D;
• Оптимизация LLM-инференса — расскажет Андрей Бежин, руководитель службы ML-инфраструктуры в Яндекс R&D.

Встреча пройдет 13 августа — можно присоединиться очно в Москве или онлайн.

🔗Регистрация — по ссылке. Регистрация закроется завтра, 7 августа в 18:00
#промо

Паблик ЛБ. Ждём приват!

https://ioai.artix.tech/ioai_2026_estimations.html

Опа
(Мы уже сказали детям, что с них налог)