Data Science | Machinelearning [ru]

ИИ тоже могут «потерять голову» от думскролинга

Исследователи из Техаса нашли интересную параллель между людьми и моделями ИИ. Оказалось, что если LLM обучать на низкокачественных данных — например, кликбейтах или вирусных постах из соцсетей — то они начинают деградировать. Это как если бы мы с вами слишком много думскролили, теряя внимание и фокус.

Процесс был следующим: взяли модель Llama 3 8B Instruct и начали дообучать её на коротких популярных постах с кучей лайков, ретвитов и репостов. Тема — кликбейт и всякая ерунда. И вот результат: качество рассуждений модели упало с 74.9 до 57.2, а понимание длинных контекстов — с 84.4 до 52.3. К тому же у модели появились странные черты, вроде нарциссизма и психопатии 🤨

Суть в том, что тут не столько магия, сколько смещение статистики. Модели ИИ, как и мы, адаптируются к тому, что они «видят». Если они обучаются на коротких, эмоционально окрашенных сообщениях, они начинают фокусироваться на последних нескольких словах, а не на всей логической цепочке. Это приводит к потере способности к долгим рассуждениям, и называется это «thought-skipping» — думать поверхностно, без глубины.

От того, на чем модель обучается, зависит, насколько «умной» она будет. А нам с вами, похоже, нужно меньше листать рилсы и больше думать.

Data Science

Почему ИИ-агенты учат интерфейсы лучше в симуляции, чем в реальном мире?

Мы привыкли, что для обучения ИИ нужны реальные данные: миллионы примеров взаимодействий с веб-сайтами, мобильными приложениями и интерфейсами. Но что если я скажу вам, что симуляция может дать лучшие результаты? Именно этим вопросом задали себе исследователи, разработавшие UI-Simulator. Сегодня расскажу, почему симуляция зачастую оказывается эффективнее реальности 🚬

Сложности реального мира и преимущества симуляции

Сбор реальных данных — задача не только трудоемкая, но и дорогостоящая. Вместо того чтобы собирать данные в реальной среде, эта система генерирует синтетические сценарии с помощью моделей, таких как LLM (Large Language Models). И ключевое преимущество — это разнообразие и устойчивость к изменениям в интерфейсах, что делает ИИ более гибким и надежным.

Процесс обучения агентов на синтетических данных выглядит как сложный и многозадачный процесс. Сначала создается модель мира, которая на основе текущего состояния интерфейса генерирует следующее. Затем проходят управляемые тесты, и результаты превращаются в обучающие примеры. Важная особенность: модель использует шаги, которые помогают делать переходы между экранами более связными и разнообразными, а также применяет фильтры для удаления ошибок и логических несоответствий.

Что это дает на практике? 🐰

Тесты показали, что использование UI-Simulator уже дает результаты, сопоставимые с моделями, обученными на реальных данных. Так, например, модели, обученные на синтетических сценариях с использованием UI-Simulator, продемонстрировали значительные улучшения на платформах WebArena и AndroidWorld. К примеру, с помощью UI-Simulator-Grow удается достичь уровня в 13.4% на AndroidWorld — и это при том, что используется гораздо более легкая модель, чем у конкурентов.

Почему симуляция может быть лучше реальности?

В реальных условиях мы сталкиваемся с ограниченными сценариями и редко — с «краевыми» случаями. В то время как симулятор может генерировать намного больше вариаций, которые позволяют агенту быть более гибким и адаптивным к изменениям интерфейса. Это делает ИИ более устойчивым и готовым к новым условиям, которые могут встретиться в реальной жизни.

Но есть и свои слабости. Иногда симулятор может не справиться с контекстом после клика или слишком полагаться на «старые» данные, что приводит к ошибкам. Разработчики честно признают эти недостатки и активно работают над улучшением алгоритмов 🤔

Это ускорит развитие ИИ и снизит затраты на подготовку обучающих наборов. В итоге, мы быстрее перейдем к реальным задачам, а потом и к еще более сложным и динамичным сценариям.

Data Science

⚠️ Quantum Echoes: Как Google подошел к верифицируемому квантовому превосходству

Совсем недавно, в журнале Nature, появилась статья, которая заставила всех говорить о квантовых вычислениях. Google наконец-то продемонстрировали первый в истории верифицируемый квантовый алгоритм, который имеет физическое значение и может быть использован в реальных приложениях. Это событие — настоящий прорыв, который может изменить наш подход к вычислениям и моделированию сложнейших явлений, от молекул до черных дыр.

Эксперимент был проведен с использованием квантового чипа Willow. Алгоритм, получивший название Quantum Echoes, — это что-то совершенно новое в мире квантовых вычислений.

❓ Как это работает? Процесс, описанный в статье, можно представить в несколько шагов:

— Запуск сигнала в систему из 105 кубитов. Это не просто набор операций, а их последовательное перемешивание, создающее сложную квантовую суперпозицию.

— Возмущение одного кубита. На одном из кубитов системы мы применяем фазовый сдвиг — своего рода источник ошибки, от которого мы хотим отслеживать, как информация будет распространяться.

— Обратная эволюция. После того как мы внесли возмущение, система выполняет те же операции, но в обратном порядке. Если бы возмущений не было, система вернулась бы в исходное состояние. Но квантовые вычисления — это хаос, и ошибка может заразить остальные кубиты.

— Измерение разницы. После обратной эволюции мы смотрим, как сильно изменилось состояние системы, и проверяем, насколько информация была сохранена.

✏️ Что нового в этом эксперименте?

Раньше такие эксперименты можно было провести только на очень маленьких системах (до 10 кубитов). Но теперь Google доказали, что можно работать с системой из 105 кубитов и сохранять информацию даже после серьезных возмущений. Это не просто доказательство принципа, а реальная работающая модель, что очень важно для дальнейшего прогресса квантовых вычислений.

Для традиционных суперкомпьютеров выполнение подобного расчета заняло бы 13,000 раз больше времени, что ещё раз подчеркивает, насколько квантовые вычисления могут изменить картину вычислительных возможностей.

🔴 Как это может быть полезно?

Ключевым моментом этого эксперимента является то, что результат стал воспроизводимым. А это, к сожалению, большая редкость для квантовых систем, которые, как правило, склонны к нестабильности.

Google уже провела первые эксперименты с моделированием молекул. Например, они использовали алгоритм Quantum Echoes для моделирования молекул с 15 и 28 атомами. Результаты оказались близки к тем, что получают с помощью традиционной НМР-спектроскопии, но добавили новую информацию, которая обычно недоступна классическим методам.

Это как квантовый микроскоп, который может открывать новые горизонты в материаловедении и поиске лекарств. Представьте, если эта технология продолжит развиваться, то она откроет совершенно новые возможности для ученых и исследователей в самых разных областях.

Data Science

🔥 Как DeepSeek переосмысляет OCR

В сфере обработки текста существует классическая проблема — как эффективно распознавать и хранить большие объемы информации. Обычно OCR-модели анализируют текст, превращая его в токены, что с каждым новым символом или словом требует всё больше вычислительных ресурсов. Но исследователи из DeepSeek нашли способ кардинально изменить этот процесс, предложив совершенно новую модель, которая работает с текстом как с изображением.

Идея проста, но мощная. Вместо того чтобы оперировать текстовыми токенами, DeepSeek-OCR обращается к визуальным представлениям страниц. Это позволяет значительно снизить затраты на обработку при сохранении высокой точности.

✔️ Как работает DeepSeek-OCR?

Традиционные OCR-системы распознают текст, разделяя его на символы и слова, что требует много вычислений. В отличие от них, DeepSeek-OCR превращает страницы в изображения, которые затем кодируются через собственный алгоритм DeepEncoder в компактные визуальные токены. Затем текст восстанавливается обратно. Это не только упрощает процесс, но и значительно снижает вычислительные затраты, особенно на длинных документах.

При этом точность системы не страдает. В экспериментах модель показала удивительные результаты: при десятикратном сжатии точность оставалась на уровне 97%, а при двадцатикратном сжатии — около 60%. Это означает, что теперь можно хранить длинные документы в несколько раз более компактно, не теряя значимую информацию.

📌 Как устроена модель? Архитектура DeepSeek-OCR работает по трёхступенчатому принципу:

• Локальное внимание — система захватывает мелкие детали, улучшая точность распознавания.
• Свёрточное сжатие — модель сжимает текст в 16 раз, делая его намного более компактным.
• Глобальное внимание — анализирует структуру страницы в целом, что позволяет лучше понимать контекст и логику документа.

Ещё одним интересным моментом является внедрение механизма забывания. В этом случае старый контекст постепенно теряет разрешение, чтобы освободить место для новой информации. Это позволяет системе работать с долгосрочной памятью, не перегружая её архивными данными.

DeepSeek-OCR обещает значительно упростить и ускорить обработку больших массивов данных. Теперь, чтобы работать с длинными статьями или документами, не нужно расходовать много вычислительных ресурсов, а можно эффективно хранить и передавать информацию в компактном виде.

Data Science

🤖 OpenAI запустили собственный ИИ-БРАУЗЕР — Atlas

ИИ-ассистент будет теперь доступен везде — так что ему можно будет поручать задачи или просить что-то объяснить. Плюс браузер будет подстраиваться под пользователя из-за встроенной памяти. Это новая эпоха поиска, официально.

Будет доступно бесплатно на macOS.

✖️ xCode Journal

🖥 Alibaba представила новые мультимодальные модели

Alibaba представила сразу две новые мультимодальные модели, которые уже привлекли внимание исследователей — Qwen3-VL-2B и Qwen3-VL-32B. И если первая модель привнесла значительные улучшения, то вторая сразу же побила рекорды по производительности и вывела на новый уровень задачи, связанные с визуальными вопросами, анализом видео и распознаванием текста.

✔️ Что отличает Qwen3-VL-32B?

Хотя модель обладает «всего» 32 миллиардами параметров, ее результаты впечатляют. Она не просто конкурирует с более мощными системами, которые могут иметь до 235 миллиардов параметров, но и превосходит их на ряде бенчмарков, включая OSWorld.

Главная причина такого успеха — новая архитектура с иерархическим вниманием, которая позволяет модели эффективно интегрировать текст, изображение и видео в едином контексте. Это делает Qwen3-VL-32B не просто инструментом для анализа изображений, но и мощной системой для решения сложных задач в области STEM (наука, технологии, инженерия и математика), видеовопросов (VQA), а также анализа видеопотоков и даже автономных агентов.

▶️ Что может эта модель?

Qwen3-VL-32B демонстрирует способность не просто распознавать кадры на видео, но и понимать сюжет и причинно-следственные связи. Это открывает возможности для более глубокого анализа видео, создания автономных агентов и разработки образовательных платформ, где важно не только понимать контент, но и делать логические выводы.

И, конечно, на этом Alibaba не остановилась. Оба продукта, Qwen3-VL-2B и Qwen3-VL-32B, доступны для тестирования и интеграции через Hugging Face и Qwen Studio, где можно опробовать их возможности и подключить к собственным проектам с помощью демо-версий и API.

Data Science

Мощные мультимодальные модели LLaVA-OneVision-1.5

Открытая платформа для обучения мультимодальных моделей, демонстрирующая выдающиеся результаты при низких затратах. Модели обучаются на высококачественных данных и обеспечивают отличную эффективность.

Особенности:

🔘Полностью открытый исходный код и обучающие данные
🔘Высокое качество и разнообразие обучающих данных
🔘Эффективная архитектура для экономичного обучения
🔘Поддержка современных технологий, таких как MoE и FP8
🔘Оптимизированный код для масштабируемости

Ссылка на GitHub проекта - тык

😭 Страшно, ведь слишком реально

💥 xCode Journal

Будущее Интернета: «Останется ли Интернет свободным?» 🤨

Тим Бернерс-Ли, создатель Всемирной паутины, поднял важнейший вопрос: «Останется ли Интернет свободным?» В своём последнем эссе он выразил обеспокоенность по поводу изменения курса, который изначально направлялся к открытой и доступной сети для всех.

На ранних этапах, благодаря инициативе Бернерса-Ли, такие технологии, как HTTP, стали бесплатными, чтобы гарантировать, что интернет будет доступен каждому, без необходимости платить за каждое действие в сети. Но теперь, по его словам, ситуация изменилась: крупнейшие платформы собирают и продают персональные данные, а алгоритмы, направленные на манипуляцию вниманием, наносят вред психическому здоровью.

Основной тревогой является тот факт, что Интернет уже не является тем открытым пространством для обмена знаниями и свободного общения, как задумывалось. Сегодня мы стали не пользователями, а товаром, который продается. И, возможно, самыми опасными являются не технологии, а управление ими. Бернерс-Ли утверждает, что в области искусственного интеллекта власть сосредоточена в руках нескольких крупных компаний, и без немедленных изменений мы можем столкнуться с ещё более жёсткой централизацией.

Тим предупреждает, что нам нужно не только создавать новые технологии, но и искать пути их регулирования. Чтобы вернуть Интернет в его «естественное» состояние — открытым и доступным, необходимо создать глобальные институты для разработки и управления ИИ, аналогичные тем, что возникли после Второй мировой войны для управления атомной энергией.

Что важнее: свобода пользователей или контроль?

❤️ — Свобода для пользователей
🐳 — Контроль важен

Data Science

Генеративный ИИ и малварь: как нейросети изменили киберугрозы 😂

В последние два года мир кибербезопасности столкнулся с новым феноменом: вредоносные программы, которые генерируются с помощью «разлоченных» LLM-моделей. Эти модели, лишенные стандартных мер безопасности, могут без труда создавать фишинг-атакующие сообщения, вирусы и даже инструкции по эксплуатации уязвимостей. Примеры таких систем, как WormGPT и FraudGPT, ставят на первый план вопрос: насколько безопасны технологии, которым мы доверяем свою информацию?

Тем временем, уже известные киберпреступные группировки используют легальные LLM-модели для разработки вредоносных скриптов, обфускации кода и автоматизации атак. Но самые опасные угрозы связаны с интеграцией ИИ в сам процесс атаки — когда модель начинает работать не как простой инструмент, а как активный участник атаки. Она генерирует код, анализирует уязвимости и подстраивает действия в зависимости от ситуации.

Новые типы атак: GenAI и полиморфные вирусы

Примером такого подхода стала BlackMamba — вирус, который использует API ChatGPT для динамической генерации вредоносных кодов. Каждый запуск вируса создает новый уникальный вариант, что значительно затрудняет его обнаружение. Этот вирус не сохраняет вредоносные файлы на диске, а генерирует их «на лету», что делает его полиморфным и трудным для обнаружения традиционными антивирусами.

Также стоит отметить инцидент с программой Skynet, где злоумышленники использовали промпт-атаку для обмана систем безопасности, заставляя их игнорировать вредоносный код. Однако настоящим прорывом в этой области стали атаки с использованием LLM для создания «вымогателей» — систем, которые могут самостоятельно проводить весь цикл кибератаки, от анализа цели до шифрования данных.

Инцидент PromptLock: когда ИИ становится вымогателем

Одним из самых опасных примеров стал инцидент с вирусом PromptLock, когда LLM-модели сами генерируют вредоносные скрипты на лету. В отличие от традиционных вирусов, которые имеют заранее запрограммированные действия, PromptLock может адаптировать свои атаки под конкретную ситуацию, делая их гораздо более эффективными и трудными для обнаружения.

Сейчас самые эффективные способы защиты — это системы, которые могут распознавать необычные паттерны поведения, даже если сами вредоносные программы не используют привычные сигнатуры. Генеративный ИИ создаёт новые угрозы, но и открывает возможности для инновационных методов защиты, которые будут важны в борьбе с киберугрозами. Когда ИИ уже не просто инструмент, а полноценный участник атак?

Data Science

GPT-5 и «тест Гёделя»: шаг к открытиям? 🗒

Недавний эксперимент стал важным шагом в исследовании возможностей больших языковых моделей. В отличие от традиционных тестов на решение стандартных задач, «тест Гёделя» ставит задачу: может ли модель самостоятельно генерировать новые математические гипотезы и их доказательства? Это попытка выявить способность моделей к настоящим научным открытиям.

Что такое «тест Гёделя»?
Название теста связано с именем Курта Гёделя, одного из самых известных математиков и логиков 20-го века, который стал символом строгих и фундаментальных доказательств. В этом тесте модели не просто решают заранее известные задачи, а пытаются сгенерировать новое знание — например, доказать гипотезы, которые ранее не были исследованы.

Эксперимент был проведен профессором Мораном Фельдманом из Университета Хайфы и Амином Карбаси из Cisco Foundation AI. В качестве задачи выбрали пять свежих гипотез в области комбинаторной оптимизации и предложили GPT-5 несколько научных статей, не раскрывая сути гипотез. Модель должна была либо предложить доказательство, либо опровергнуть гипотезу, либо найти контрпример.

Результаты эксперимента
Результаты теста оказались неоднозначными. В трех из пяти случаев GPT-5 предложила решения, которые исследователи оценили как близкие к правильным — ключевая идея была правильной, но доказательства не были до конца сформированы. В одном случае модель даже смогла опровергнуть гипотезу и предложить альтернативное решение. Однако две задачи GPT-5 не смогла решить, не справившись с анализом и «склейкой» идей из различных статей.

Хотя GPT-5 не прошла «тест Гёделя» в полном объеме, результаты эксперимента показывают важный шаг вперед. Если модель может сгенерировать математические идеи, даже если она не всегда может полностью доказать их, это открывает возможности для создания систем, способных на более глубокие научные открытия.

Таким образом, GPT-5 — это не просто инструмент для обработки информации, а зачатки модели, которая в будущем может участвовать в процессе создания новых гипотез и их верификации.

Достижения GPT-5 в области научных исследований ещё ограничены, но уже дают представление о том, как языковые модели могут помогать в создании новых знаний. Возможно, в будущем такие системы смогут не только решать задачи, но и инициировать научные открытия.

Data Science

Anthropic показал «LLM‑операционку» — приложение, которое кодит само себя 🍑

Anthropic выпустил research‑preview: идея простая и впечатляющая — большая модель генерирует софт на лету. Клик — и приложение поднимается из пустоты; открываешь файл — его содержимое тут же создаётся по запросу. Это не готовый продакшн‑фреймворк, а демонстрация возможностей Sonnet 4.5 и сценариев, где LLM выступает как «живой» разработчик/редактор.

Ключевые фишки:

• Генерация интерфейсов и кода в реальном времени по интерактивным жестам
• Мгновенное наполнение файлов и компонентов под ваш промпт
• Демонстрационный сценарий — прототипирование без заготовок

Почему стоит попробовать? Во-первых, это отличный способ показать, как быстро можно прототипировать идеи: вам не нужен boilerplate — модель сама создаёт структуру проекта, страницы, CRUD‑эндоинты и даже простую логику. Во‑вторых — это ещё один шаг к тому, чтобы LLM не просто писал куски кода, а управлял жизненным циклом приложения: от интерфейса до связки с бэкендом.

Текущая версия инструмента представляет собой превью, где вопросы вызывают безопасность, качество кода, необходимость тестирования и масштабируемость. Доступ ограничен: воспользоваться может только пользователь тарифа Max, и то в течение пяти дней, поэтому инструмент пока скорее служит маркетинговым демо для Sonnet 4.5, тем не менее, попробовать что-то новое всегда интересно.

Data Science

🤥 Разработчики врут на собеседованиях больше всех

Такую статистику показало новое исследование. Больше половины работодателей в России сталкивались с приукрашенным резюме у кандидатов. При этом чаще всего врут разработчики ПО, за ними идут тестировщики и руководители проектов.

А вот меньше всего обманывают эйчаров датасаентисты, аналитики, сетевые инженеры и специалисты технической поддержки.

✖️ xCode Journal

GPT-5 выигрывает в «необычном» бенчмарке среди ИИ 😐

В мире искусственного интеллекта появляется всё больше необычных бенчмарков, и Among AIs — один из самых нестандартных. В этом тесте ИИ соревнуются в игре, вдохновленной популярной «Мафией» — Among Us. На космическом корабле пять мирных агентов выполняют задания, а один — самозванец, который саботирует и пытается уничтожить остальных. Главная цель игры — либо выжить как мирный, либо выиграть, сыграв роль самозванца.

Как проходил тест?
В Among AIs участвовали 6 ИИ, которые сыграли 60 партий. Очки начислялись за победу в разных ролях: 10 очков за выживание мирным и 50 — за победу самозванцем, что делает роль саботажника особенно сложной. GPT-5 стал абсолютным лидером, одержав 6 побед в роли самозванца и 45 побед среди мирных. Этот ИИ продемонстрировал высокие социальные навыки, уверенно лидируя в обсуждениях и точно определяя "козлов отпущения". Особо отметили его способность адаптироваться: играя за самозванца, GPT-5 менял свою стратегию и умело врал, чтобы сбить с толку других игроков.

Как выступили другие ИИ?

• Claude Sonnet 4 — занял второе место, выиграв 3 игры как самозванец и 42 как мирный. Этот ИИ показывал хорошие результаты, но не всегда мог выиграть в критических моментах.

• Kimi K2 — ещё один интересный участник. Этот ИИ не пытался быть лидером, а наоборот, играл роль поддерживающего игрока, что в некоторых случаях приносило успех.

• GPT-OSS, Qwen3 и Gemini 2.5 Pro — не смогли победить в роли самозванцев, но взяли по 39 побед за мирных. Их напористость и слабая аргументация приводили к тому, что их часто ошибочно принимали за самозванцев.

Бенчмарк Among AIs показал, как важно для ИИ не только выполнять технические задачи, но и успешно взаимодействовать в социальных ситуациях. Такие тесты открывают новые горизонты в понимании того, как ИИ могут работать в условиях сложных агентных взаимодействий, где нужно учитывать психологию, манипуляции и лжесвидетельства.

Data Science

SWE-MERA: Новый стандарт для тестирования кодовых моделей 🤨

В мире ИИ динамичные условия гонки требуют не только инноваций в моделях, но и актуальных инструментов для их тестирования. Именно поэтому AI Alliance, вместе с Sber и ITMO, представили новый бенчмарк для оценки моделей программирования — SWE-MERA. Это не просто обновление: это подход, который решает проблемы устаревших статичных бенчмарков.

Что нового в SWE-MERA?
Главное отличие этого бенчмарка — его динамичность. Он основан на задачах и pull-запросах с GitHub, но каждый месяц обновляется на 250 новых задач, что обеспечивает его актуальность. Это означает, что вы можете использовать его для тестирования моделей без риска столкнуться с устаревшими данными. Более того, встроенная защита от утечек данных позволяет отслеживать, насколько результаты не искажены данными, которые могли попасть в тренировочный набор.

Почему это важно?
С статичными бенчмарками модели тестируются на тех же задачах, что и во время обучения, что снижает объективность. В условиях быстро развивающегося ИИ-сектора, где каждый день появляются новые подходы и технологии, static benchmarks теряют актуальность. SWE-MERA же обеспечивает непрерывную проверку моделей на «неизвестных» задачах, создавая объективную картину их реальной эффективности.

Сейчас в базе SWE-MERA уже около 700 задач, и продолжает добавляться новый контент, благодаря чему бенчмарк всегда остается актуальным и «живым».

SWE-MERA устанавливает новый стандарт для тестирования ИИ моделей. Это не просто очередной инструмент, а необходимый элемент для точной и актуальной оценки в постоянно меняющемся мире. А вы что думаете? В чем важность динамичного тестирования моделей?

Data Science

🤖 Мы с ChatGPT действительно близки

Генерал армии США в Южной Корее рассказал, что стал активным юзером чат-бота. Все дело в том, что ИИ помогает «принять решение в нужный момент», ускоряя цикл НОРД — наблюдение, ориентация, решение, действие.

Привет Скайнет....

✖️ xCode Journal

Как ИИ «думают»: разбираем рассуждения моделей через эпизоды 😐

Искусственный интеллект уже давно не ограничивается простыми ответами. Сегодняшние большие модели рассуждений (LRM) могут разворачивать целые цепочки размышлений, что позволяет им решать более сложные задачи. Но как понять структуру этих рассуждений? Как близко ИИ приближается к человеческому мышлению? Одна из идей для анализа рассуждений — это использование теории эпизодов Шёнфельда, которая помогает понять, как люди решают нестандартные задачи.

Эпизодичность рассуждений: от человека к машине
Шёнфельд, создав свою теорию для анализа решения математических задач, заметил, что опытный решатель двигается по определённым этапам. Он читает задачу, анализирует, планирует шаги, выполняет действия, проверяет результаты и иногда возвращается к предыдущим этапам для уточнений. Современные LRM, такие как DeepSeek‑R1 или GPT‑o1, также демонстрируют аналогичное поведение, переходя от чтения к анализу, а затем к выполнению. Эти модели даже делают паузы для размышлений, что делает их решения удобными для разметки по эпизодам.

Как это исследовалось?
Для анализа исследователи использовали задачу SAT по математике и генерировали решения с помощью LRM DeepSeek‑R1. Далее проводилась двухуровневая разметка: абзацы разделялись на категории (например, General, Explore, Verify), а каждое предложение помечалось одной из меток эпизодов. Это дало возможность собрать первый открытый корпус данных, который можно использовать для анализа машинных рассуждений.

Что показал анализ?
Переходы между эпизодами в решениях моделей выглядят логично. Чаще всего модели идут от чтения к анализу, от планирования к выполнению, а этап Explore часто возвращается к анализу для уточнений. Эти паттерны напоминают поведение человеческих экспертов, что позволяет говорить о развитии управляемой структуры решения у ИИ.

Могут ли ИИ автоматически размечать такие эпизоды?
Когда исследователи сравнили модели GPT‑4.1, GPT‑4o и Gemini‑2.0‑flash в разных режимах разметки, результаты показали, что точность размечающих систем значительно улучшалась при добавлении инструкции. Например, для GPT‑4.1 точность на уровне абзацев выросла с 0.444 до 0.740, а для предложений — до 0.681. Это подтверждает важность детальных инструкций для точной аннотации.

Зачем это нужно?
Работа с эпизодами не ограничивается просто анализом решений. Это открывает новые возможности для интерпретации ИИ, контроля его действий и обучения. Например, можно усиливать важные эпизоды, как проверки, и наказывать модели за бессмысленные циклы размышлений. Также это помогает сделать системы рассуждений более управляемыми и интерпретируемыми.

Методика эпизодичной разметки может стать важным инструментом для улучшения интерпретируемости и управления рассуждениями ИИ. Это открывает новые горизонты для анализа решений, от понимания, где модель ошибается, до создания более стабильных и предсказуемых систем. ИИ уже приближается к человеческому рассуждению?

Data Science

⚠️ Как ИИ-агенты заменяют дата-аналитиков

Если вы хоть раз пытались перевести запрос на человеческом языке в график, то знаете, насколько это может быть непростой задачей. Данные разрозненные, код не всегда стабилен, а сам график часто требует нескольких правок. Но вот что интересно — Google предложила решение, которое позволяет взглянуть на этот процесс с другой стороны. Вместо того, чтобы просто генерировать код, Google применяет подход, где задействованы мультиагентные системы.

✔️ Создание графика больше не сводится к прямому переводу текста в код. Вместо этого, CoDA работает с метаданными и включает в себя несколько агентов, каждый из которых выполняет свою роль в процессе:

• Понимание задачи: Агент анализирует запрос и собирает информацию о данных — схемы таблиц, статистику, возможные проблемы.

• Планирование: Следующий агент выбирает тип диаграммы, соответствующий запросу, подбирает цветовую палитру и формат.

• Генерация: Пишется Python-код, который запускается и отлаживается автоматически.

• Саморефлексия: Последний агент проверяет созданный график, оценивает его соответствие запросу и вносит правки.

📊 Такой подход позволяет создавать более точные и качественные графики, избегая частых ошибок и упрощений, которые были характерны для старых систем.

— Гибкость и точность: CoDA не зацикливается на одном типе данных и умеет работать с разными форматами и задачами. Каждый этап проверяется отдельно, что исключает типичные ошибки.

— Высокие показатели качества: Эксперименты показали, что CoDA обходит конкурентов по ключевым метрикам — точность графиков и время работы на реальных задачах.

— Саморефлексия: Способность системы оценивать свои ошибки и возвращаться к предыдущим этапам — это настоящая революция в подходах к автоматизации визуализаций.

В результате, такой подход позволяет создавать графики, которые гораздо лучше отражают данные, при этом процесс становится более проверяемым и адаптивным.

Сегодняшние ИИ-агенты, такие как CoDA, способны значительно улучшить создание визуализаций, превращая процесс в многоэтапную кооперацию агентов, которые на каждом шаге «контролируют» и корректируют результат. Мы приближаемся к моменту, когда ИИ будет не только автоматически генерировать данные, но и критически оценивать свои собственные результаты — что по сути делает систему более близкой к живым аналитикам.

Data Science

🤖 MIT представили ИИ, который подстраивается под ваш мозг

NeuroChat считывает сигналы мозга с помощью датчика, встроенного в повязку Наруто, и тут же решает: стоит ли упростить объяснение, добавить деталей или сменить темп. Короче, меняет стиль ответов в зависимости от твоего уровня внимания и вовлечённости.

Скажем привет рекламе...

✖️ xCode Journal

🔔 Новая архитектура нейросетей от польского стартапа Pathway: Biological Dragon Hatchling

Недавно польский стартап Pathway представил свою новую архитектуру нейросетей под названием Biological Dragon Hatchling (BDH). Чем же она так интересна и чем отличается от привычных нам трансформеров? Давайте разберемся!

Идея у BDH довольно амбициозна — объединить два подхода в искусственном интеллекте: мощные трансформеры и нейроподобные модели мозга. Ведь не секрет, что между трансформерами и мозгом есть определенная связь (например, в статье от DeepMind об этом тоже шла речь). Но пока трансформеры и нейросети далеко от наших мозгов, и им не хватает нескольких ключевых свойств, которые присутствуют у нас.

📌 И вот тут появляется BDH. Это модель, которая сочетает в себе трансформеры и механизмы, схожие с теми, что работают в нашем мозге. В этой архитектуре нейроны — это вершины графа, а синапсы — рёбра с весами. Модель представляет собой распределённую систему, где нейроны общаются исключительно с соседями, что делает взаимодействие между ними более гибким и адаптивным.

❓ Как работает обучение в BDH?
На удивление, оно похоже на то, как учится наш мозг. В основе лежит принцип Хебба: нейроны, которые активируются вместе, усиливают свои связи. Таким образом, если два нейрона часто активируются одновременно, вес их синапса увеличивается. Это что-то похожее на механизм внимания, который мы видим в трансформерах.

Еще одна интересная особенность — деление весов на фиксированные и динамические. Это аналог долговременной и кратковременной памяти. Фиксированные веса — это как базовые знания, которые обновляются только во время обучения, а динамические — для рассуждений и локальных обновлений.

✏️ Но как это все работает на практике?
BDH имеет тензорную версию — BDH-GPU, которая эквивалентна оригинальной архитектуре, но выражена в виде обычных матриц и векторов. Это позволяет обучать её, как классический трансформер, с использованием знакомых блоков MLP и активаций.

Эта система уже продемонстрировала несколько приятных характеристик:

• Интерпретируемость. Каждый синапс между нейронами можно наблюдать и отслеживать. Плюс, активации моносемантичны — каждый нейрон отвечает за отдельное понятие. Это даёт большую прозрачность модели.

• Масштабируемость. BDH легко интегрирует две модели через конкатенацию, что открывает широкие возможности для масштабирования. Вполне возможно, что мы увидим на этой архитектуре мощные и гибкие системы.

• Соотношение точности и размера. BDH демонстрирует те же закономерности масштабирования, что и GPT-2. При одинаковом числе параметров модель достигает аналогичной точности на разных задачах. Это означает, что основные преимущества трансформеров сохранены.

В общем, архитектура получилась очень интересной, и если в будущем на её основе будут созданы практичные приложения, то она может по-настоящему изменить игру.

Data Science