Лаборатория Датаиста

Агентный RAG против модульного: что реально лучше на пратике

RAG кажется простым спасением от галлюцинаций: подключили модель к базе знаний, и она отвечает точнее. Но в реальном продукте поиск то подтягивает не то, то вообще оказывается лишним действием. А значит, вы платите токенами и временем за шаги, которые не всегда дают пользу.

Сейчас индустрия спорит о двух подходах. Модульный RAG — это аккуратный пайплайн: роутер решает, нужен ли поиск, переписывание делает запрос «под документы», переранкер вычищает мусор. Агентный RAG звучит соблазнительнее: пусть LLM сама решает, когда искать, как переформулировать и стоит ли повторить попытку. Вопрос только один: где это реально приносит пользу?

В полном обзоре разберём результаты большого сравнения на разных задачах и доменах: когда агентность помогает и сколько придется заплатить за эту гибкость.

📜 Полный обзор

Как превратить GitHub в память для ИИ-агента

Агенты умеют открывать репозитории, гонять тесты и предлагать патчи. Но когда баг сложный, они часто чинят его будто до них никто с таким не сталкивался. А у людей всё наоборот — мы идём в GitHub, ищем похожие issue и PR, смотрим, какие гипотезы проверяли, что реально сработало и почему.

Самое обидное, что нужный опыт там уже лежит, просто он в неудобном виде: разрозненные куски логов, случайные правки и обсуждения. Если дать это агенту напрямую, он легко зацепится за лишнее и сделает неправильный фикс.

В MemGovern предлагают превратить человеческие истории исправлений в понятные карточки опыта и научить агента искать их не одним запросом, а как инженер — с уточнениями и фильтрацией.

Разберёмся, как устроены эти карточки и откуда берётся прирост на инженерном бенчмарке SWE-bench Verified.

📜 Полный обзор

Когда данных нет совсем, а учиться всё равно нужно: как ИИ сам придумывает задачи и сам себя проверяет

Даже самые продвинутые модели учатся рассуждать не в вакууме: им всё равно нужен чей-то заранее собранный датасет, а разметку всё равно делает человек. И это быстро становится узким местом: это дорого и плохо масштабируется.

А теперь представьте подход, когда модель сама придумывает себе задания, сама решает их и сама же получает оценку — без единого внешнего датасета. Не просто тренируется, а выбирает, чему именно тренироваться, и постоянно держится в зоне, где ей чуть-чуть сложно. Звучит как чит-код, но именно так устроен Absolute Zero: self-play для рассуждения, заземлённый в проверяемую Python-среду.

В полном обзоре разберём, как модель совмещает роли планировщика и исполнителя задач, откуда берётся неожиданный скачок в математике и какой неприятный сигнал по безопасности всплыл прямо в процессе такого самообучения.

📜 Полный обзор

Как LLM находит нужный код в репозитории, который не помещается в контекст

Бывает так: словил баг, открываешь большой репозиторий в его поисках, а вокруг сотни файлов и странных зависимостей. Человеку тяжело, а LLM ещё хуже: она просто не может удержать весь контекст проекта в голове и начинает блуждать — то ищет по словам, то вытаскивает куски кода, то путается в инструментах.

И вот тут появляется неожиданная идея: вместо сложного поиска LLM дают один-единственный инструмент перехода к месту определения классов, методов и перменных. Внезапно этого хватает, чтобы гораздо точнее находить, где именно в коде проблема.

В полном обзоре выясним почему минимализм оказался сильнее арсенала инструментов, как агент учится ходить по репозиторию с подкреплением, и почему на бенчмарках маленькая модель с таким подходом обгоняет более крупные.

📜 Полный обзор

LLM — не тупик. Проблема AGI совсем в другом

LLM то поражают логикой, то внезапно не могут выполнить даже простую задачу: путают факты, теряют цель, забывают, что обещали пару абзацев назад. И из‑за этого разговоры про AGI часто скатываются в унылое «LLM просто генерируют следующий токен, поэтому это тупик». Но, похоже, проблема не в том, что у моделей нет истинного “мышления”, а в том, что им часто нечем это мышление организовать.

Ученые из Стэнфорда предлагают посмотреть на это как на пропущенный модуль в архитектуре: между генерацией текста и настоящим решением задач должен быть модуль координации. Он ставит цель, держит план, подбирает опоры, проверяет шаги и не даёт модели скатится в привычные паттерны. И самое интересное — это можно описывать почти как физику: есть якоря, есть их сила, и есть порог, после которого поведение системы резко становится более целевым.

Давайте разберёмся, что такое семантическое якорение, почему лишний контекст иногда ухудшает результат, и как из этого появляется мультиагентная система для координации, которая может сделать LLM намного стабильнее в долгосрочных задачах.

📜 Полный обзор

Профессиональные разработчики не вайбят с агентами — они их контролируют

Сегодня в моду вошли агенты, которые могут автономно разрабатывать фичи. Но в реальной разработке любая мелкая ошибка может быть угрозой безопасности и качества продукта.

Опытные разработчики не спешат «вайбить» с агентами и отпускать контроль. Вместо этого они используют их совсем иначе — как исполнителя, которого нужно держать в рамках, постоянно проверять и принимать работу по правилам, как у живого коллеги.

В полном обзоре разберем, что показало исследование 2025 года: какие задачи профи реально отдают агентам, а где предпочитают держать контроль.

📜 Полный обзор

Почему ИИ-агенты не помнят собственную жизнь — и как агенту Софье дали автобиографию, мотивацию и долгосрочную память

ИИ‑агенты умеют планировать, вызывать инструменты и выполнять цепочки действий. Но стоит поменяться интерфейсу, правилам или цели — и они будут повторять старые ошибки.

В работе про агента Софью ученые предлагают посмотреть на это как на недостающий «психический» уровень. Есть Система-1 с быстрыми навыками и Система-2 с рассуждениями, но нет Системы-3, которая следит за самим мышлением: что агент понял, чему научился, почему провалился и что стоит делать дальше. По сути — то, что делает поведение связным и долгоживущим в открытой среде.

Давайте разберём, что авторы называют Системой-3, из каких блоков она состоит, и как собрать устойчивого агента с памятью, самооценкой, моделью пользователя и внутренней мотивацией.

📜 Полный обзор

Почему ИИ-агенты хорошо чинят баги, но плохо доводят продукт до релиза

ИИ-агенты неплохо чинят баги и дописывают маленькие фичи. Но в реальной разработке чаще нужно другое — довести продукт или фичу до следующего релиза. Требования размазаны по release notes, изменения цепляют десятки файлов, зависимости обновляются, а любая правка легко ломает соседний модуль.

И вот тут начинается самое интересное: когда агентов проверяют не на задачах уровня исправления issue, а на долгосрочной задаче от release notes до реально работающей новой версии, метрики начинают проседать. Оказывается, проблема не в том, что модель не умеет писать код, а в том, что она часто неправильно понимает, что именно надо изменить, и где это аукнется.

В полном обзоре разберём, что за бенчмарк SWE‑EVO и как он измеряет прогресс в сегодняшних ИИ-агентов для программирования.

📜 Полный обзор

Как ИИ-агенты проводят эксперименты с помощью лабораторного оборудования

ИИ-агенты умеют придумывать гипотезы, читать статьи и даже запускать эксперименты. Но в реальной науке они чаще всего упираются в хаос вокруг эксперимента: разные приборы, форматы данных, нет нужных доступов и старые скрипты. В итоге чужой эксперимент сложно перенести в лабораторию с другим оборудованием.

Ученые предлагают решать эту проблему не новым суперагентом, а новым протоколом SCP (Science Context Protocol). SCP связывает ИИ-агентов, датасеты, модели и даже физические приборы в один общий научный контекст, где все шаги фиксируются, а запуск можно воспроизвести.

Давайте разберем, как устроен SCP, как в нем работают хабы и серверы, и как исследователям в итоге удалось собрать более 1600+ приборов в единый интерфейс.

📜 Полный обзор

Почему ИИ не справляется со списком покупок и когда мы сможем доверить ему бытовые задачи

ИИ умеет писать код и решать сложные математические задачи, но стоит попросить его о чем-то житейском — выбрать дрель под ваши стены, найти нормальную замену ингредиенту, подсказать, что купить и где — и внезапно начинаются сюрпризы. Ответ звучит убедительно, только вот цена не та, ссылка не ведёт туда, модель товара перепутана, а совет по ремонту местами небезопасный. В быту ошибка — это не минус балл, а потраченные деньги, время и нервы.

Самое странное, что даже модели с веб-поиском часто проигрывают там, где кажется проще всего. Почему так происходит: они плохо понимают контекст человека, ленятся проверять факты или слишком стараются быть полезными и начинают «додумывать»?

Давайте разберёмся, как исследователи измеряют реальную полезность ИИ в доменах: покупки, еда, игры и «cделай сам», как они ловят правдоподобные выдумки, и почему лидеры всё равно далеки от статуса надёжного персонального помощника на каждый день.

📜 Полный обзор

Сможет ли ИИ пройти сложный экзамен по финансовому анализу?

Экзамен CFA в финансах — это не тест на эрудицию, там есть расчёты, кейсы с кучей контекста, выбор между похожими вариантами и даже этические дилеммы, где нет идеально правильного ответа. Ещё недавно LLM с таким не справлялись

А теперь рассуждающие модели уверенно проходят все три уровня теста — и на свежем наборе из почти тысячи вопросов. Причём у лидеров точность местами подбирается к уровням, которые обычно ждёшь от топовых аналитиков. И самое интересное — пошаговые рассуждения помогают не всегда: иногда от них точность даже падает.

В обзоре разберём, как устроили этот стресс‑тест, какие модели оказались впереди, где у ИИ до сих пор самые неприятные провалы (спойлер: этика и тонкие формулировки), и почему это не значит, что ИИ уже готов заменить финансового аналитика.

📜 Полный обзор

Как измерить «общий научный интеллект» у LLM

LLM умеют объяснять сложные вещи и писать код, но в науке этого мало. Там важен полный исследовательский цикл: найти и понять источники, придумать гипотезу, спланировать и провести эксперимент, а потом аккуратно разобрать результаты. Проблема в том, что мы долго оценивали ИИ не как «ученого», которому нужно доводить работу до конца и не ошибаться на числах, единицах измерений и самой процедуре исследований.

И вот тут начинается самое интересное: когда моделям дают реальные исследовательские задачи, лучшие из них внезапно набирают около 30 баллов из 100. Они могут выглядеть убедительно в рассуждениях, придумывать свежие идеи и даже писать исполняемый код — но все ломается на последнем шаге, либо агенты путают условия задачи и делают рассуждения слишком линейными.

В обзоре разберем, как устроен SGI-Bench, почему авторы оценивают не ответы, а исследовательский процесс, и какие слабые места он вскрывает у современных ИИ-моделей.

📜 Полный обзор

Как ИИ-агенты решают задачи международной олимпиады по математике

Олимпиадная математика не по зубам даже сильным рассуждающим моделям потому что они быстро теряют суть ключевой идеи. В олимпиадах решения редко бывают тривиальными: нужно пробовать подходы, откатываться, сохранять удачные находки и собирать доказательство по кусочкам. А контекст, даже огромный, забивается шумом — и полезные идеи просто исчезают.

Но что если перестать хранить километры текста и вместо этого вести аккуратную память как у математика — не все попытки подряд, а только проверенные промежуточные факты. Причём так, чтобы модель могла работать итеративно, возвращаться к своей библиотеке лемм и двигаться дальше, не начиная каждый раз с нуля.

Давайте разберёмся, как устроен агент Intern-S1-MO: кто в нём генерирует идеи, кто сжимает их в леммы, кто проверяет, чтобы в память не попала ошибка, и почему такой подход неожиданно помогает ИИ успешно решать олимпиадные задачи международного уровня.

📜 Полный обзор

Как писать README-файлы для ИИ-агентов

Ещё недавно мы просили ИИ дописать кусок кода. А теперь всё чаще отдаём ему задачу целиком: спланируй шаги, внеси правки, прогони тесты, доведи до рабочего состояния. Проблема в том, что агенту нужно быстро понять правила игры в конкретном репозитории: как тут запускают сборку, что считается нормой, какие решения трогать нельзя и где проходят красные линии.

И вот в проектах появляется новый артефакт: README не для людей, а для ИИ. Он становится «долговременной памятью» для агентов и одновременно точкой контроля над тем, как агент будет менять код. Самое интересное: исследователи посмотрели на тысячи таких файлов и обнаружили, что они живут как конфиг или даже как код — быстро разрастаются, усложняются и накапливают контекстный долг. При этом про безопасность и производительность там подозрительно часто молчат.

Давайте разберём, что именно нашли авторы на выборке из 2 303 файлов: какие темы встречаются чаще всего, как их реально редактируют со временем и можно ли автоматически проверять такие инструкции, как мы проверяем обычный код.

📜 Полный обзор

Как ИИ-агенты живут в "Станции" и делают научные открытия

Сегодня ИИ для науки работает как понятный пайплайн: модель делает маленькое улучшение, прогоняет тест, получает цифру и повторяет. Это эффективно, но почти не похоже на реальную науку, где есть память о прошлых попытках, обмен идеями, споры и неожиданные переносы методов между разными задачами.

В новом исследовании ученые предлагают новый подход: поселить сразу несколько ИИ-агентов в «Станцию» — среду, похожую на мини-лабораторию. Они читают заметки друг друга, ведут личные записи, публикуют результаты, запускают эксперименты и сами выбирают, чем заняться дальше. И иногда из этой «жизни» рождаются идеи, которые трудно выжать из коротких исследовательских циклов.

В обзоре разберём, как устроена «Станция», какие конкретно открытия сделали ИИ-агенты и что будет, если им не задать цель исследования.

📜 Полный обзор

DataFlow: PyTorch для дата инженеров в эпоху LLM

Качество работы нейросети напрямую зависит от того, на каких данных она обучена. Обычно при обучении нейросетей мы имеем кучу запутанных скриптов, в которых, например, сломалась фильтрация выборки и поплыли все метрики, а в каком месте и почему это произошло — мы уже не сыщем. В случаях, когда генерация данных делается самой LLM, — бардак становится особенно дорогим.

У инженеров появилась идея: а давайте напишем аналог PyTorch’а для дата-инженеров — для всего цикла работы с данными для обучения нейросетей.

Разбираемся, из чего состоит фреймворк DataFlow, как работает DataFlow-агент и почему сегодня это особенно актуально.

📜 Полный обзор

Когда цифр недостаточно: язык как скрытый сигнал в экономических ИИ-моделях

Экономика в реальности работает не только на цифрах. Новости, заявления чиновников, слухи и ожидания. Но для ИИ это проблема: обычное обучение с подкреплением любит чёткие сигналы, а язык слишком размытый источник данных. А если просто отдать управление большой языковой модели, она может убедительно рассуждать, но вести систему нестабильно, особенно на длинной дистанции.

Авторы нового исследования предлагают не выбирать между цифрами и текстом, а заставить их работать вместе. ИИ получает новости, учится извлекать из них смысл, общаться с другими агентами и при этом не теряет жёсткую оптимизацию поведения. Причём в экспериментах выигрывает и у чистого мультиагентного обучения с подкреплением (MARL), и у различных LLM-подходов вроде ReAct и Reflection.

В обзоре разберём фреймворк LAMP: как устроен цикл Think–Speak–Decide, зачем агенту память успешных рассуждений, и что показали тесты в экономическом симуляторе TaxAI.

📜 Полный обзор

Когда тесты молчат: как ИИ-агент чинит баги

LLM уже умеют чинить баги: прочитала задачу, внесла правку, прогнала тесты и… всё зелёное. Проблема в том, что в настоящих репозиториях тестов часто нет, они слабые или вообще не проверяют нужный юзкейс. И тогда модель не делает фикс и баг остается.

Логично, что если тесты пропускают баги, нужно делать их больше и качественней. Причём делать это динамически— так, чтобы тесты и патч как будто играли друг против друга. Тесты ищут, где нужно исправление, патч пытается закрыть дыры, а затем появляется ещё один слой — отбор, который помогает не принять первую удачную заплатку за верное решение.

В полном обзоре разберём, как устроен этот подход из трёх агентов и за счёт чего InfCode вырывается в лидеры на бенчмарке SWE-bench.

📜 Полный обзор

ИИ-агент против людей-безопасников: кто кого в реальном пентесте?

В кибербезопасности многие уже используют ИИ для поиска известных уязвимостей в средах, где все понятно и предсказуемо. Но в большой промышленной среде все работает совсем не так.

Вот тут и пригодится ИИ, который способен cоставить настоящий план атаки и найти уязвимости. Но встает вопрос: если такому агенту дать реальную боевую среду, способен ли он найти в ней уязвимости? Исследователи из Оксфорда построили инфраструктуру из 8000 машин, посадили десять живых пентестеров, ИИ-агента и стали сравнивать…

В обзоре разберем, как именно ученые устроили безопасный эксперимент и пора ли специалистам по безопасности искать новую работу?

📜 Полный обзор

DeepCode: как ИИ научился собирать репозиторий по статье

Кодогенераторы стали значительно мощнее, но как только вы просите их сделать репозиторий по научной публикации из одной статьи — они не справляются. В статье много разрозненных деталей. Половина шагов может быть понята только между строк. Файлов много и все они зависят друг от друга. Да, на выходе можно получить сгенерированный репозиторий, который выглядит правдоподобно, но он не будет работать.

DeepCode рассматривает эту проблему как задачу внимания: что держать в контексте и как не потерять контракты между модулями. Работает старый добрый инженерный подход с правильной организацией архитектуры промтов, памятью и проверками.

В полном обзоре мы рассмотрим то, как DeepCode делает из статьи один общий репозиторий с кодом, как в этом помогает память кода (Code Memory) и почему замкнутый цикл тестирования ошибок внезапно решает то, где не справаляются даже платные агенты.

📜 Полный обзор