Лаборатория Датаиста

Когда команда ИИ-агентов помогает, а когда делает только хуже

Это вроде как интуитивно понятно: если один ИИ-агент способен решить проблему, то пятеро должны решать её в пять раз лучше и быстрее. Именно так сейчас многие и строят всё большее число мультиагентных систем. Само по себе это неплохо, но на практике именно что такая система часто превращается в неразбериху: расходуются бюджеты на токены, не сохраняется контекст и накапливаются ошибки.

И если честно, разница бывает не в процентах, а вот прям в разы: на одних задачах координация даёт огромный буст качества, а на других уверенно утаскивает результат вниз . При этом точно нельзя сказать что в одних задачах координация выстрелит, а в других нет. Но интересно и то что общий уровень ещё кое-как можно уловить: иногда координация всегда в нулях, или наоборот примерно удваивает результат.

Давайте разберём исследование, где мультиагентные системы сравнили честно на одинаковых ресурсах и условиях, по одним и тем же задачам: какие именно архитектуры рабочие, где возникает «налог на координацию» и по каким признакам можно заранее предотвратить напрасные попытки сделать команду из агентов.

📜 Полный обзор

Matrix: распределенный мультиагентный фреймворк для генерации синтетических данных

Не секрет, что ИИ-агентов часто используют для генерации синтетических данных. Но когда агентам дают одновременно более двух тысяч заданий, агенты сталкиваются с пределом производительности.

Почему это происходит? Новое исследование предполагает парадоксальный ответ. Проблема не в вычислениях и не в размере моделей. Фактический потолок производительности определяется архитектурой — в частности, централизованным диспетчером, который координирует работу агентов. Как только мы убираем этот диспетчер, узкое место исчезает. И это довольно неожиданно, что запредельную масштабируемость агентных систем можно получить с помощью одного простого изменения.

Давайте поговорим о том, как замена централизованной архитектуры на одноранговую сеть агентов снимает ограничение масштабируемости и почему это важно.

📜 Полный обзор

Как сделать интернет удобным для ИИ-агентов

ИИ-агенты впечатляюще развиваются, однако их потенциал работы с вебом остается ограниченным: агенты кликают на элементы пользовательского интерфейса, но они все еще подвержены сбоям из-за изменения положения кнопки или ее внешнего вида. Это заставляет разработчиков тратить значительное время на поддержку использования веба агентами.

Фреймворк VOIX предлагает простой, но радикальный шаг: что если бы сайты сообщали агентам, что они могут сделать? Это требует всего двух дополнительных html-тегов и делает взаимодействие агентов прозрачным как для пользователя, так и для разработчика.

Сегодня вы узнаете, почему теперь ИИ-агенты будут бродить по просторам интернета быстрее, точнее, а главное — безопаснее.

📜 Полный обзор

Как ИИ-агенты научились рефакторить код: что получается хорошо, а что не очень

ИИ-агенты берут на себя задачи по улучшению кода, исправлению ошибок и даже автоматической отправке pull request’ов. Эти агенты также обещают значительно ускорить рефакторинг.

Недавнее исследование показало, что современные ИИ-агенты хорошо исправляют код с типовыми улучшениями, но почти не трогают код, требующий улучшения архитектуры или исправления сложного технического долга. Также выяснилось, что ИИ мало дать большое количество данных и простые инструкции для существенного улучшения производительности, ему также нужны механизмы рассуждений и встроенные инструменты.

В этом обзоре мы обсудим текущие возможности ИИ-агентов для рефакторинга, как их подход отличается от человеческого, и что может привести к следующему скачку производительности. Всё это повлияет на то, как мы будем работать с кодом и распределять задачи между людьми и машинами.

📜 Полный обзор

Как универсальный ИИ-агент учится жить в открытом мире

ИИ уже давно обыгрывает людей в сложные игры вроде шахмат и Dota 2. Однако, стоит поместить их в менее структурированные неигровые или даже игровые цифровые миры, как их работоспособность резко снижается. Например, одна и та же модель, которая эффективно работает на фиксированных целях, может казаться совершенно беспомощной, если цели меняются и агенты должны сами понимать, как их достичь.

Недавние исследования показывают, что агенты все еще далеки от идеального поведения в открытых средах, при этом размер модели и архитектурные ухищрения играют меньшую роль, чем считалось ранее. Все большее значение приобретает способность агентов использовать мышление. В этой статье мы рассмотрим Lumine — агента, который способен выживать в большом мире, продуманно выбирая действия и обучаясь на своем опыте.

В обзоре расскажу, почему для агентного ИИ важно не только копировать действия игроков, но и осваивать особое гибридное планирование и обучение, а также размышлять только тогда, когда это необходимо.

📜 Полный обзор

Как обучить ИИ работать за компьютером

ИИ-агенты всё лучше справляются с решением тестов на общее развитие, поиском информации, рисованием картинок и даже программированием, но вот с интерфейсами на рабочем столе они пока не очень. Оказывается, реальные пользовательские интерфейсы с сотнями мелких элементов, шумом и похожими иконками – всё ещё сложное испытание. Количество опций на экране слишком велико для тривиального перебора, так что агенту надо понимать, что происходит на экране и где именно тот элемент, который нужен по инструкции пользователя.

Как ни странно, но не большие обезличенные датасеты делают агента умнее, а много человеческой и плотной разметки. Вместо миллионов сгенерированных картинок откуда‑то взятые десятки тысяч реальных сценариев использования с ручным выделением и подписью каждого элемента. Почему это важно и что это меняет для разработки агентов – давайте разбираться на примере нового исследования.

📜 Полный обзор

Почему мышление через видео может быть следующим шагом в развитии ИИ

Кажется, что для развития ИИ нам нужно только увеличить объем данных и количество слоев нейросетей, чтобы достичь новых рекордов. Однако часто современные модели все еще сбиваются с толку из-за вещей, которые кажутся нам простыми. Почему это так?

В недавней работе исследователи предложили совершенно новый взгляд на этот вопрос. Они предполагают, что ключ может крыться не только в тексте или изображениях, а в видео. Они показывают, что обучение модели рассуждению с помощью видео помогает увязать вместе язык, логику и геометрию. Некоторые задачи выглядят иначе, когда гипотезы проверяются, а формулы пишутся в реальном времени.

Речь не о генерации привлекательных видеороликов, а об обучении модели рассуждать, действовать и учиться на своем опыте. В этой статье объясняю, почему видеогенератор может стать универсальной моделью мира для ИИ.

📜 Полная статья

Как ИИ-ученый пишет научные статьи о машинном обучении на уровне джуна

Заголовки статей, да и бенчмарки говорят о том, что ИИ становится всё умнее. Но когда дело доходит до реальных научных исследований, на практике многие автономные «ИИ-учёные» всё ещё не справляются с задачей. Их проблемы и решения выглядят расплывчатыми, а эффективность часто ниже, чем у студентов. Но почему?

Новое исследование из Японии предполагает интересный подход: вместо того, чтобы давать волю машине заниматься исследованием отдельной области, авторы попробовали сфокусировать её на одном исследовании - и получили заметный результат. Казалось бы, небольшой сдвиг, но результаты получаются лучше.

Что это значит для будущего ИИ-исследователей? Как машины учатся ориентироваться в реальных задачах и почему им всё ещё нужен человеческий надзор.

📜 Полный обзор

От пикселей к смыслу: как SVG помогает ИИ понимать мир

ИИ становится всё лучше в обработке текстов и решении задач, требующих обширных размышлений. Но когда речь заходит об изображениях, он начинает страдать. Модели видят тысячи пикселей и могут распознавать объекты, но если попросить их объяснить, что изображено на картинке или почему что-то было нарисовано определённым образом, их ответы часто звучат неубедительно.

В недавнем исследовании эксперты высказали предположение, что мы предоставляем изображения ИИ не в том виде. Они показывают, что формирование изображений на естественных языках, вероятно, не оптимально для обобщающих рассуждений. Вместо этого изображение следует сначала преобразовать в компактный, но осмысленный SVG-код, а уже затем передавать его для рассуждений на естественном языке. Интересно, что такой подход улучшает обобщающую рассуждения способность модели.

Давайте разберёмся, почему так происходит и как преобразование изображения из пикселей в символьный код может помочь моделям лучше рассуждать, используя изображения.

📜 Полный обзор

Как ИИ-браузер ChatGPT Atlas разгадал судоку за пару минут, но проиграл в Flappy Bird

ИИ умеет пользоваться браузером: видеть веб-страницы и решать на какую клавишу нажать. Но может ли ИИ играть в браузерные игры?

ChatGPT Atlas прошёл это испытание. Он быстро справился с судоку, не делая ни одной ошибки. Зато во Flappy Bird он также быстро проиграл, не набрав ни одного очка.

Что мешает браузерным агентам полноценно играть в игры? Разбираемся в новом обзоре.

📜 Полный обзор

Децентрализованный ИИ: как рой нейросетей побеждает большие модели

ИИ становятся все умнее, но когда дело доходит до практического применения, энтузиасты и ученые обнаруживают, что некоторые ИИ-модели не справляются с отдельными задачами.

Казалось бы, мы все время увеличиваем размеры моделей; посмотрите только на LLM которые сжигают все больше энергии, чтобы получить крошечное улучшение производительности на некоторых задачах, сохраняя при этом уязвимость ко всем видам атак. Однако по мере того, как растет стоимость, растут и требования к их надежности и стабильности.

Вот неожиданный поворот: недавние исследования показывают, что успех ИИ-систем часто определяется не размерами моделей, а тем, как различные модели объединяются или, что еще более важно, как они приходят к консенсусу или «договариваются» между собой. Фактически, небольшой рой разнородных ИИ-моделей, который умеет сравнивать решения между собой, часто может превзойти отдельную большую модель и, как правило, гораздо более устойчив к промт-инъекциям и другим видам атак.

Итак, как устроена эта коллективная мыслительная система и почему организации, стремящиеся создать децентрализованный ИИ, могут обратить на нее внимание?

📜 Полный обзор

ИИ в белом халате: как он учится ставить диагнозы в виртуальной клинике

ИИ уже достаточно давно научился искать симптомы, отвечать на вопросы из учебников и угадывать диагнозы на тестах, кажется, что следующий рубеж уже совсем близко и они смогут заменить врачей-диагностов. Однако, на более сложных и приближённых к реальности задачах, когда нужно самому принимать решения по ходу, многие из существующих ИИ-моделей почему-то оказываются не способны рассуждать на уровне врача-эксперта: они часто не могут понять, когда стоит остановиться, не знают какие анализы назначить или попросту действуют по шаблону.

Новое исследование, наоборот, утверждает, что всё о чём мы думали раньше вообще не важно — и размер модели и количество данных — всё это практически не влияет на итог, а самое главное это то, как именно ИИ учится рассуждать и стратегически мыслить. Авторы помещают ИИ в виртуальную клинику, где каждое действие имеет значение, а решение о неправильном выборе будущего анализа повлияет на конечный диагноз. При этом, ИИ получает обратную связь не только за финальный точный диагноз, но и за всю цепочку принятых решений.

Давайте разберёмся, почему для успеха ИИ недостаточно просто «знать правильный ответ» из учебника и почему обучение на реалистичных медицинских сценариях позволяет делать рассуждения ИИ похожими на врачебные. Всё это меняет не только подход к диагностике, но и то, как вообще следует использовать ИИ в медицине.

📜 Полный обзор

Будущее программирования — мультимодальное: как JanusCoder научился видеть интерфейс, который сам создает

ИИ уже давно умеет генерировать код. Однако если попросить его построить интерактивный график или сгенерировать анимацию, он часто не справляется с задачей.
По большому счёту, он игнорирует то, как будет визуализироваться код, и в итоге результат приходится дорабатывать вручную.

Почему ИИ-модели для генерации кода плохо справляются с этим?

Свежее исследование показывает, что ключ к решению заключается в создании модели, которая умеет и изучить задачу, и написать код, и посмотреть на результат как на картинку, чтобы доработать его.

Сегодня мы рассмотрим, как обучали такую модель и почему её появление может изменить то, как разработчики создают интерфейсы, аналитики визуализируют данные, а ИИ-агенты начинают по-настоящему понимать, что именно они программируют.

📜 Полный обзор

Как ИИ-агенты учатся параллелить задачи с помощью графа размышлений

Часто ИИ-агенты не справляются даже с самыми простыми прикладными задачами: не могут забронировать отель на нужную дату или сделать коммит в нужную ветку в гите. В чем же дело и почему столь умные системы не работают там, где человеу понадобится всего пара минут?

Исследователи утверждают: всё дело в том, как модель организует своё мышление. Оказывается, если вместо классического пошагового подхода построить нечто вроде графа размышлений, на которые нужно разбить задачу, то получается гораздо лучше и быстрее.

В этом обзоре мы разберём, как агенты учатся думать над задачами и почему будущее ИИ лежит в умении строить правильную структуру размышлений.

📜 Полный обзор

Динамическая память: как ИИ-агенты научились сворачивать контекст и думать на 100 шагов вперёд

ИИ-агенты становятся все более сложными, но они начинают страдать, когда сталкиваются со слишком большим количеством задач. Они легко забывают, запутываются или оставляют задачи незаконченными. Существует парадокс: использование большего количества памяти и более крупных моделей не дает прироста производительности агентов в реальных сценариях.

Недавнее исследование подчеркивает, что ключевым фактором является не размер модели, а способность агента аккуратно очищать свою память. Агент должен иметь возможность сворачивать прошлое, чтобы не потеряться в длинных задачах или даже поменять стартегию, если он зашел в тупик.

В этой статье рассматриваем фреймворк для такого рода сворачивания. Оказывается, что динамическое управление памятью значительно повышает производительность веб-агентов.

📜 Полный обзор

От хаоса данных к управляемому знанию: как ИИ-агенты помогают бизнесу принимать верные решения

В мире бизнеса сейчас из каждого колодца слышится, как искусственный интеллект готов избавить нас от рутинных задач, сделать аналитику и выявить своевременные идеи, чтобы стимулировать рост компании. Однако на практике существует значительный разрыв между тем, что могут сделать даже самые продвинутые нейросети, и реальными потребностями бизнеса. ИИ-агенты часто функционируют как черные ящики, оставляя организации с туманным представлением о том, как или почему был получен определенный результат.

Исследователи из Salesforce AI переосмыслили способ использования ИИ для поддержки бизнес-исследований. Они утверждают, что дело не только в размерах моделей или скорости генерации, но и в лучшем понимании того, как ИИ формирует свои ответы, и в возможности проверить этот процесс. Их новая мультиагентная система под названием Enterprise Deep Research Framework делает ИИ для глубоких исследований более понятным и контролируемым.

Давайте рассмотрим, как современные ИИ-агенты помогают бизнесу принимать более обоснованные решения.

📜 Полный обзор

Длинное мышление против жёстких пайплайнов: как DeepAgent превращает рассуждение в действие

Почему ИИ-агенты в реальных задачах за пределами академических экспериментов до сих пор часто наступают на хорошо знакомые грабли: путаются в деталях, не удерживают цель при длинных рассуждениях и теряют контекст использования инструментов?

Неожиданная идея решения проблемы пришла в недавнем исследовании DeepAgent. Кажется, что дело вовсе не в размере модели и не в промтах для ее использования. Ключом к прогрессу явилась связная логика рассуждений на протяжении всей задачи. Агент не просто каждый раз делает привычный сценарий с паузой: «обдумал-предпринял действие» - а ведет мысль по длинному связнму сценарию, сам выбирает какой памятью ему пользоваться и когда применять нужные инструменты.

В этом обзоре: что меняется в поведении агента, когда у него появляется возможность связанно использовать различные инструменты на протяжении всей задачи, какие методы используются и как это приближает нас к по-настоящему автономному ИИ.

📜 Полный обзор

Почему слова мешают ИИ-агентам понимать друг друга

ИИ-агенты становятся все умнее и сообразительнее, но почему, когда собирается команда из агентов, возникает неразбериха и неожиданные ошибки? Если агенты уже умеют рассуждать индивидуально, почему они продолжают спорить по простым вопросам и ошибаться там, где не споткнулся бы человек?

Новое исследование подсказывает неожиданный ответ: проблемы командной работы ИИ могут исходить не только от интеллекта модели, но и от языка, используемого для общения между собой. Оказывается, язык является узким горлышком, из-за которого сообщения теряют часть смысла, что затрудняет понимание ИИ друг друга. Исследование предполагает радикально иное решение: что, если бы ИИ делились своими мыслями напрямую, используя язык, отличный от человеческого?

Далее мы обсудим, почему текстовое общение не позволяет ИИ понять друг друга, как другой язык может помочь и почему этот «язык мыслей» не фантастика, а реальность, которую мы можем реализовать сегодня.

📜 Полный обзор

Как ИИ-агенты научились писать аналитические отчёты не хуже профессиональных аналитиков

Сегодня ИИ-системы, генерирующие длинные тексты, оперируют сложными понятиями и красиво структурируют материал, но загляните в документы, которые готовят для реального бизнеса или инвесторов. Вы готовы использовать или вложиться в то, что рекомендует ИИ? Оправдывает ли красивый текст потерю деталей, отсутствие ссылок на источники или объяснения каждого утверждения? На практике у многих моделей хорошо получается именно красивая подача, но страдает содержимое. Эффектная обертка — это завуалированный метод обмана пользователей.

Новое исследование делает неожиданный вывод: для достижении высокого качества текстов важна не столько конструкция модели или количество параметров, сколько тщательно продуманная система рассуждений и выполнение кода со специализированными инструментами на каждом этапе. Когда подготовка отчёта разделена между разными агентами, которые используют не только текстовые, но и специализированные инструменты (например, код, визуализацию и сбор информации), то отчёты получаются более осмысленными. При таком подходе ИИ обгоняет другие системы и даже, порой, опытных людей.

В этой статье мы рассмотрим, как мультиагентная система с исполнением кода учится собирать информацию, анализировать её, строить графики и писать содержательные отчёты, где каждая цифра, слово и выводы подтверждены данными и их анализом. Как ИИ может стать не просто писателем, а именно исследователем и помощником в сложных задачах.

📜 Полный обзор

Почему ИИ-агенты теряются в море MCP-серверов

Когда агентов на базе LLM используют в реальных задачах, то ожидания сталкиваются с реальностью: вроде бы используется умная модель, но всё равно она путается в инструментах и не может довести простую задачу до конца.

Недавний бенчмарк показал интересную картину: оказывается, дело не только в размере модели или количестве параметров. Когда агенту приходится выбирать один инструмент из тысяч возможных, то даже самые умные агенты пасуют. Особенно если это приходится делать на лету.

Почему так происходит и что на самом деле мешает моделям успешно выполнять задачи в запутанных корпоративных сценариях? Разбираемся, как агенты учатся выбирать правильные инструменты и почему это станет ключевым навыком для будущих ИИ-систем.

📜 Полный обзор