Neurohive

RRSI: метод рекурсивного самоулучшения обвязки ИИ-агентов от Google улучшил результаты Claude Opus 4.8 на всех бенчмарках

Исследователи из Google Cloud AI Research представили метод RRSI (Regularized Recursive Self-Improvement), который автоматически улучшает обвязку ИИ-агентов так, чтобы прирост сохранялся и на новых задачах. Обвязка - это всё, что окружает замороженную LLM: промпты, логика управления, инструменты, память и работа с контекстом. Метод полезен командам, которые строят агентов на закрытых моделях через API: веса таких моделей недоступны, поэтому качество агента поднимают через обвязку. Ещё он нужен тем, кто уже оптимизирует промпты и инструменты автоматически и видит, что прирост не переносится на новые задачи.

Обвязка ИИ-агента решает, какой файл прочитать перед правкой, как восстановиться после упавшей команды и что оставить в контексте. Регуляризация во время обучения мешает модели зазубривать обучающие данные, например, применяет штраф за слишком большие веса. RRSI применяет ту же идею к обвязке: менять можно всё, от промптов до субагентов, но избегает подгонки результатов под конкретный бенчмарк.

Существующие методы автоматической настройки обвязки почти не переносят прирост на новые задачи. С обвязкой RRSI агент на Claude Opus 4.8 стал лучше на всех восьми бенчмарках. На задачах, на которых настраивали обвязку, он прибавил от 1.1 до 6.0 пункта (на Terminal-Bench 2.1 с 74.2 до 80.2), а на пяти незнакомых бенчмарках от 1.8 до 4.7 пункта (на JobBench с 36.0 до 40.7). В офисных задачах средний результат на незнакомых бенчмарках вырос с 39.7 до 43.6 пункта, а на инженерном Frontier-Eng с 17.7 до 22.0, то есть на 24.3%. При этом обвязка RRSI экономнее: с ней агент тратит на одну задачу в среднем 2.42 млн токенов, а с обвязкой, настроенной без регуляризации, 3.80 млн.

Код опубликован на GitHub под лицензией Apache 2.0, журналы экспериментов выложены на странице проекта.

#Stateoftheart

Vidu S2: модель генерирует видео-аватары и редактирует стримы на лету в 720p при 25–42 FPS

Tsinghua University и Shengshu Technology представили две видеомодели, с помощью которых можно создать цифровой аватар и провести с ним видеозвонок или запустить стрим, а видеопоток редактировать в реальном времени. И все это в 720p при 25–42 FPS. Есть и режим без трансляции: загружаете фотографию и аудиодорожку, получаете готовый ролик, где аватар проговаривает текст по сценарию.

Vidu S2-Avatar на основе одной фотографии создает цифровой аватар: он произносит поданную аудиодорожку, меняет выражение лица, переводит взгляд, жестикулирует и выполняет текстовые или голосовые команды, вплоть до танца. Поток не ограничен по длине. Новую опорную картинку можно подать в любой момент прямо посреди трансляции: показали кружку – персонаж берёт её в руку, показали пиджак – надевает его, подали пляж – уходит из комнаты и оказывается на пляже.

Vidu S2-Editing редактирует видеопоток в реалтайме по текстовой инструкции и опорной картинке: перекрашивает ролик в другой стиль, переодевает человека в кадре, заменяет его другим персонажем или подменяет фон. Движение и тайминг исходника сохраняются кадр в кадр. Редактировать можно и то, что человек видит через камеру VR-шлема - результат обе модели отдают в том числе стереопарой для VR.

Разрешение выросло с 540p у предыдущей версии Vidu S1 до 720p при 25–42 FPS. На StreamAV-Bench модель показала лучший результат по всем девяти метриках. На тесте виртуальной примерки ViViD метрика VFID упала до 9.95 против 19.51 у прежнего лидера, а в слепых парных сравнениях оценщики предпочли Vidu S2-Avatar конкурентам в 85.7–100% случаев.

Модели доступны в веб-приложении и по API. Генерация Vidu S2-Avatar в реалтайме стоит примерно 45 центов за минуту или $27 за час непрерывной трансляции. Клонирование голоса обойдется в $4.5 за голос, первые 10 голосов бесплатно. Новым пользователям при регистрации начисляются пробные кредиты.

#Stateoftheart

WorldSculpt: модель собирает 3D-сцену с сотнями отдельных объектов из видео

Alaya Lab и Токийский университет представили открытую модель, которая строит 3D-копию комнаты или улицы, где каждый предмет остаётся самостоятельным мэшем. Стул можно выделить, отодвинуть, уронить в физическом движке. Существующие подходы либо склеивают сцену в один кусок геометрии, либо оставляют дыры там, где предмет закрыт другим. Код модели опубликован на Github, веса - на HuggingFace.

Из отснятого помещения получается сцена в Blender или Unity, где мебель существует по отдельности: диван можно убрать, стол подвинуть, лампу заменить другой моделью. Для игр так собирают уровни из реальных интерьеров. В AR приложение начинает понимать, что перед ним стол, а не безымянная поверхность. Дизайнеру интерьеров такая сцена даёт готовый набор ассетов вместо цельной болванки. Роботы могут отработать захват кружки в симуляторе, где кружка должна быть отдельным телом с массой и границами, а не выступом на общей стене.

WorldSculpt - это надстройка над Pixal3D. Веса исходного генератора одиночных объектов заморожены, обучены только LoRA-адаптеры и слои, которые позволяют смотреть на предмет сразу с нескольких ракурсов. То, что скрыто на одном кадре, берётся с другого, поэтому модель не выдумывает закрытые части, а собирает их из реальных наблюдений.

Модель должна знать, откуда и под каким углом снят каждый кадр, а ещё получить маски объектов и грубые 3D-боксы. Для этого нужно построить пайплайн: траекторию камеры восстановит COLMAP или VGGT, маски даст SAM3, и только после этих шагов запускается WorldSculpt.

Авторы собрали свой набор тестовых сцен UE-MeshyScene, в самой плотной из них 701 объект. Качество меряют метрикой CD-ℓ2: она показывает, насколько сильно построенная поверхность расходится с настоящей, поэтому чем меньше число, тем точнее результат. У ближайшего конкурента ShapeR средняя ошибка составляет 7.42, у WorldSculpt 2.48. Медианная ошибка по объектам упала сильнее: с 2.47 до 0.25. Раз медиана улучшилась заметнее среднего, выигрыш дают не отдельные удачные предметы, а типичный объект в сцене. Доля правильно восстановленной поверхности (F-Score) выросла с 0.813 до 0.951.

#Stateoftheart #Benchmark

🗣 VoiceMem: фреймворк памяти для голосовых ассистентов поднимает факты из всех прошлых диалогов за 134 мс

Команда из Nanyang Technological University, NUS, Tsinghua и CUHK выпустила VoiceMem - быструю память для голосовых ассистентов, работающих в реальном времени. VoiceMem держит в двух параллельных графах всё, что ассистент узнал о пользователе: быт, здоровье, работу, отношения, цели и знания в одном, характер и эмоции в другом. К моменту, когда пользователь заканчивает фразу, нужный факт уже найден.

Речевая модель не может держать в контексте всю историю общения, поэтому после каждого диалога отдельная LLM вытаскивает из него короткие утверждения и складывает их в базу по одной записи на утверждение: «я вегетарианец», «у меня аллергия на орехи», «сестру зовут Аня». Когда пользователь задаёт новый вопрос, из базы достаются несколько подходящих записей и дописываются в промпт обычным текстом, перед самим вопросом.

Эти два графа авторы называют полушариями по аналогии с мозгом, где за факты и за эмоции отвечают разные зоны. Никакой нейробиологии внутри нет, это просто две отдельные структуры данных, которые наполняются и обновляются параллельно.

Левое полушарие отвечает за факты и раскладывает их по темам: работа, здоровье, быт. Часть тем прописана в настройках до первого разговора, остальные VoiceMem заводит сам, когда замечает, что какие-то записи постоянно нужны вместе. Правое отвечает за характер и настроение пользователя и держит их в узлах двух типов. Одни описывают устойчивые черты, например «часто чувствует себя одиноко». Другие привязаны к конкретному человеку или событию, например «не любит еженедельные планёрки с Бобом». Полушария связаны, поэтому отношение к человеку или событию подтягивается вместе с фактами о нём. Без правого точность ответов падает на 6.3 пункта на LoCoMo.

На бенчмарке долгосрочной памяти LoCoMo модель с VoiceMem отвечает правильно в 91.2% случаев, доставая пять записей общей длиной 430 токенов. Mem0, который работает у неё под капотом в роли хранилища, на тех же вопросах выдаёт 61.68% и тратит 6956 токенов, EverMemOS 83.13% при 1899 токенах. Эти записи подставляются в промпт на каждой реплике, поэтому их суммарная длина определяет и цену запроса, и то, сколько места в контексте остаётся под сам разговор. Поиск занимает 134 мс против 1440 мс у Mem0 и целиком помещается в паузу, которую и так выжидает детектор голосовой активности.

Проект открыт под Apache 2.0: код, дообучение и скрипты оценки лежат на GitHub, веса и датасет - на Hugging Face.

#Stateoftheart

4DAnyone: 4D-модель человека из видео, снятого одной камерой

Исследователи из Zhejiang University, Robbyant, Ant Group и HKUST представили 4DAnyone - открытый фреймворк, который строит 4D-модель человека на основе видео, снятого с одной камеры. 4DAnyone генерирует 16 согласованных между собой ракурсов, а по ним уже собирается объёмная сцена в формате 4D Gaussian Splatting. Раньше для такого требовалась студия с десятками синхронных камер. Готовую модель человека можно смотреть с любой точки в VR-шлеме, вставлять в игру или AR-сцену, использовать как данные для обучения роботов движению. Наилучшие результаты достигаются при одном человеке в кадре, спокойном движении камеры и облегающей одежде.

3D-модель - это объект, который можно осмотреть со всех сторон, но застывший в одной позе. 4D-модель добавляет четвёртую ось - время. Cцена меняется от кадра к кадру, объект двигается, и при этом на каждый момент времени существует его полное объёмное представление.

В основе фреймворка лежит видеодиффузионный трансформер Wan2.2-TI2V-5B, который дообучили генерировать новые ракурсы человека по 3D-скелету, сохраняя внешность из исходного видео. В скелете оставили 40 ключевых точек: 17 на теле, 6 на стопах, 10 на уровне ладоней и 7 вспомогательных. Детальную разметку лица и суставов пальцев отбросили: такие точки определяются неточно, и метод, следуя за ошибочным положением, выдаёт артефакты. Мимику и форму кистей он вместо этого берёт из исходного видео.

По качеству реконструкции 4DAnyone обходит все сравниваемые методы: 24.15 PSNR против 20.55 у ближайшего конкурента на DNA-Rendering и 23.28 против 19.86 на DyMVHumans.

Проект открытый: код опубликован на GitHub, веса - на Hugging Face.

#Stateoftheart

JoyAI-Video-Edit: 16B-модель редактирует видео в реальном времени при 30 FPS в 720p на одной B200

Команда Joy Future Academy представила JoyAI-Video-Edit — открытую авторегрессионную диффузионную модель на 16B параметров для редактирования видео в реальном времени. Модель обрабатывает кадры по текстовому промпту по мере их поступления, без доступа к будущим кадрам и не зная длину ролика. Полный сквозной пайплайн выдаёт 30.19 FPS в разрешении 720×1280 на одной Nvidia B200.

JoyAI-Video-Edit умеет менять фон, стиль (акварель, масло, мультфильм), добавлять, удалять и заменять объекты и людей в кадре, менять одежду и внешность, изменять движения персонажей и объектов. Отдельно поддерживается редактирование по референсной картинке, когда одежда или предмет с фотографии переносится на человека в видео. Всё это работает поверх исходного ролика, оставляя без изменений движения, композицию и те области видеопотока, которые менять не просили.

Архитектура модели состоит из энкодера условий на базе MLLM, каузального видео-VAE и мультимодального диффузионного трансформера. Итеративный денойзинг сжат до двух шагов методом Source-Anchored DMD, который привязывает учителя к синхронному фрагменту исходного видео и не даёт картинке отходить от оригинала на длинных потоках.

Результаты: на бенчмарке OpenVE-Bench модель набирает 3.60 балла против 2.62 у SANA-Streaming и 1.87 у XMax-X2.0, что сопоставимо по качеству с офлайн-редакторами Kling-3.0 Omni (3.64) и Bernini-R (3.72). На минутных видео из LongV2VBench — 3.30 против 1.71 у ближайшего конкурента. В попарной человеческой оценке JoyAI-Video-Edit выигрывает у потоковых редакторов в 81–90% случаев.

Код инференса выложен на GitHub, веса - на Hugging Face под лицензией Apache 2.0.

#Stateoftheart

TurboVLA: робот получает команды в разы быстрее при 97% успешных выполнений благодаря замене LLM на BERT

Исследователи из Хуачжунского университета науки и технологий и Huawei опубликовали TurboVLA - компактную vision-language-action модель, которая выдаёт действия для робота за 31.2 мс на RTX 4090 и набирает 97.7% на бенчмарке для роботов LIBERO. Главное отличие от других VLA в том, что внутри нет LLM. Вместо неё лёгкий текстовый энкодер BERT, а картинка и инструкция обмениваются информацией напрямую через модуль кросс-внимания. Отсюда 0.2B параметров вместо миллиардов и меньше 1 ГБ видеопамяти на инференсе.

Обычно VLA-модели устроены так: робот получает картинку с камеры и текстовую инструкцию по типу «сложи три миски друг на друга». Визуальные признаки сначала проецируются в пространство токенов языковой модели, склеиваются с токенами инструкции, прогоняются через модель, и уже из её скрытых состояний декодируются действия. Этот путь обозначается как V → L → A: сначала зрение, затем язык, потом действие. Ключевое наблюдение исследователей простое: если в инструкции уже написано, что делать, то от текста нужно только подсказать, на какие визуальные детали смотреть. Вместо V → L → A авторы предлагают прямое отображение V + L → A. Картинки и инструкция кодируются независимо, потом обмениваются информацией напрямую, минуя большую языковую модель. За один прямой проход модель выдаёт сразу чанк из 12 шагов управления.

Результаты на бенчмарке для роботов LIBERO: TurboVLA набирает 97.7% в среднем при 0.2B параметров, 0.9 ГБ видеопамяти и 31.2 мс задержки. Для сравнения, модель π0.5 выдаёт 96.9% при 3.4B параметров, 12.8 ГБ и 93.6 мс. VLA-JEPA набирает 97.2% при 2.8B и 108.7 мс, CogVLA 97.4% при 8.3B и 115.5 мс. Среди лёгких моделей Evo-1 даёт 94.8% при 0.8B, VLA-Adapter 97.3% при 1.5B. На реальном роботе AgileX Piper модель проверили на четырёх задачах (взять валик, отодвинуть карту, нажать степлер, сложить три миски) и получила от 80% до 92.5% success rate, в каждой из них обойдя π0.5.

Симуляционную часть можно воспроизвести целиком: обучение и тесты шли на открытых датасетах LIBERO и RoboTwin 2.0 (для версии под RoboTwin брали визуальный энкодер побольше, там 0.4B параметров). Собственные данные использовали только для дообучения под реального робота. TurboVLA рассчитана на конкретные инструкции. Если попросить робота «приготовить завтрак», разбивать это на шаги будет нечем.

Код модели доступен на GitHub под лицензией Apache-2.0, веса выложены на Hugging Face.

#Stateoftheart

🗜Bonsai: 1-bit версия Qwen 27B работает на iPhone c сохранением 90% качества ответов

Стартап PrismML выпустил Bonsai 27B — бинарную и тернарную версии Qwen3.6-27B, которые сохраняют 90–95% качества исходной модели при сжатии весов в 9.4–14.2 раза. Тернарная версия занимает 5.9 ГБ и работает на ноутбуке (M5 Pro) со скоростью около 26 токенов в секунду, а 1-битная умещается в 3.9 ГБ и генерирует около 11 токенов в секунду на iPhone 17 Pro Max, или около 30 слов в секунду. Это первый случай, когда модель такого класса запускается на телефоне.

Обычное квантование ниже 4–5 бит ломает модели резко, а не постепенно. Текст остаётся гладким и уверенным, но рассуждения начинают противоречить сами себе, вызовы инструментов перестают парситься. До сих пор это обходили только обучением с нуля сразу в низкобитном виде (подход BitNet от Microsoft), но такие модели упёрлись в ~2B параметров. Bonsai конвертирует уже готовую предобученную модель, и главный результат именно в этом: считалось, что при сжатии ниже 4 бит модели ломаются сами по себе, но выяснилось, что дело в методах квантования.

Тернарный значит «троичный». Это способ хранения весов, при котором каждый вес принимает только одно из трёх значений: −1, 0 или +1. В обычной модели каждый вес — это число с плавающей точкой (FP16), например 0.0374, и на него уходит 16 бит. В бинарной модели вес может быть только −1 или +1, то есть хранится один бит, по сути только знак. Ноль здесь важен, потому что даёт модели возможность «выключить» связь между нейронами, то есть сказать «этот вход вообще не влияет на выход». Тернарная версия точнее, а бинарная компактнее.

Усредненные показатели по 15 бенчмаркам от математики и кода до вызова инструментов и работы с изображениями показывают, что деградация ответов по сравнению с исходной Qwen3.6-27B составляет 5.4% у Ternary Bonsai - 80,49 пртив 85.07 и 11.5% у 1-bit Bonsai, которая показала средний бал 76.11. Сравнение проводилось по единой методике на базе EvalScope с vLLM на NVIDIA H100 в режиме рассуждений, где деградация ниже 4 бит проявляется сильнее всего. Тернарная и бинарная версии теряют заметные баллы на агентных задачах и зрении относительно FP16.

Веса обеих версий выложены на Hugging Face, код на GitHub под лицензией Apache 2.0, а попробовать модель можно в браузере.

#Stateoftheart

🎮 MIRA: нейросеть полностью симулирует Rocket League для четырёх игроков в 20 FPS, не требуя установки игры

General Intuition, Kyutai и Epic Games представили MIRA — мировую модель, которая полностью симулирует игровую среду Rocket League сразу для четырёх игроков и рисует каждому свою картинку в реальном времени.
Движка игры внутри нет вообще. Ни физического движка, который считает столкновения мяча и машин, ни рендерера, который рисует арену. Всё это заменяет одна нейросеть, которая по нажатиям кнопок сама дорисовывает следующий кадр. Игра целиком «живёт» внутри весов модели, поэтому запустить её можно локально, без установки оригинальной Rocket League.

Под капотом диффузионный трансформер на 5B параметров. Он предсказывает не пиксели напрямую, а сжатое скрытое представление кадра поверх замороженного экстрактора признаков DINOv3-L: кадры сначала сжимает видео-кодек, модель предсказывает следующий скрытый кадр, а декодер разворачивает его обратно в картинку. Работает в реальном времени: 20 FPS на одной Nvidia B200. Обучена на 10 000 часов матчей 2 на 2, полностью сыгранных ботами.

Четыре картинки согласованы благодаря тому, что ракурсы игроков складывают в одну сетку и предсказывают вместе. Пространственное внимание охватывает четыре представления, и модель рисует общий мир, мяч и чужие машины одинаково со всех четырёх ракурсов за один проход. Физическое состояние игры (позиции, скорости, ориентации мяча и машин) логируется отдельно на 120 Гц. Мировая модель его не видит и учится только на пикселях и действиях. Это состояние нужно как эталонная разметка для проверки: по нему авторы смотрят, кодирует ли модель в своих признаках физически осмысленные величины.

Видео-кодек MIRA даёт заметный рост качества по сравнению с предсказанием прямо в пикселях. Метрики gFID и gFVD измеряют, насколько сгенерированное видео похоже на настоящее (чем меньше, тем лучше): с кодеком 10.7 и 163.1 против 104.9 и 1456.3 без него. Метрика ARR показывает, насколько точно модель отрисовывает нажатые кнопки (1.0 = идеал): с кодеком 0.91 против 0.61. На практике без кодека картинка сваливается в искажённую текстуру уже через секунду.

Авторы опубликовали код обучения и инференса на Github, а также датасет на Hugging Face. Поиграть самостоятельно можно в демо-режиме на сайте проекта.

#Stateoftheart

⚡Выбирать железо для обучения и инференса моделей больше не нужно

Qwen, Whisper, Deepseek и другие нейросети уже готовы к работе на приватной инфраструктуре. Просто выбираете нужную модель и получаете готовый инференс-сервис в пару кликов в Selectel.

Каталог ИИ-моделей Selectel — удобный инструмент для работы с нейросетями, когда нужны безопасность и производительность.

Что вы получаете в пару кликов:

⚡Большой выбор моделей для ваших задач: для генерации текстов и кода, распознавания речи, создания контента и других.
⚡Производительность и гибкое масштабирование. Инференс-сервис развернут на современном железе с актуальными видеокартами и автоматически адаптируется при росте или снижении нагрузки.
⚡Прогнозируемая стоимость: платите за фактическое время потребления вычислительных ресурсов.

Начните работать с ИИ-моделями на выделенной инфраструктуре: https://slc.tl/ibq7g

Реклама, АО «Селектел», erid: 2VtzqwFqJdw

Claude Sonnet 5: сильный агентный апгрейд, но не очевидная замена Opus

Anthropic представила Claude Sonnet 5 — новую модель из линейки Claude, доступную в том числе пользователям бесплатного тарифа. Она ориентирована на агентные задачи, программирование, работу с инструментами и корпоративную автоматизацию. По данным Artificial Analysis, Sonnet 5 набрала 53 балла в Intelligence Index и стала моделью №5 в рейтинге по общему интеллекту модели. Она отстает от GPT-5.5 и Claude Opus 4.8 всего на 2–3 балла, от Fable — на 7 баллов, а по сравнению с Sonnet 4.6 прибавила 6 баллов на максимальном уровне рассуждений.

В кодинге прирост тоже заметен. Cursor сообщил, что на CursorBench — тесте реальных многофайловых задач из Cursor — Sonnet 5 набрала 57% против 49% у Sonnet 4.6.

Но главный нюанс — стоимость. В тестах Artificial Analysis одна задача на Sonnet 5 при стандартной цене API стоила примерно в 2 раза дороже Sonnet 4.6 и на 15% дороже Opus 4.8. Причина — повышенный расход: Sonnet 5 генерировала на 40% больше выходных токенов и делала примерно в 3 раза больше агентных шагов на выполнение рабочих задач: поиск информации, анализ документов и подготовку решений.

На стоимость влияет и новый токенизатор. Simon Willison проверил одни и те же тексты и получил рост числа токенов на входе: английский текст стал тратить примерно в 1.4 раза больше токенов, испанский — в 1.33 раза, Python-код — в 1.28 раза. Для упрощенного китайского текста разницы почти не было.

CodeRabbit тоже дает смешанную оценку. Для ревью кода Sonnet 5 стала точнее: precision вырос с 29% у Sonnet 4.6 до 38–40%. Но по нахождению багов результат хуже: Sonnet 5 нашла около 51% багов, а Sonnet 4.6 — около 63%. Усиление глубины рассуждений почти не улучшало результат, а стоимость при этом почти удвоилась.

Вывод: Claude Sonnet 5 стала сильнее Sonnet 4.6 в кодинге и агентных задачах, но это не делает ее новой флагманской моделью Anthropic. Opus 4.8 по-прежнему сильнее в сложных задачах на глубокие рассуждения, а Sonnet 5 обходит его только в двух бенчмарках из десятков. Зато Sonnet 5 доступна пользователям бесплатного тарифа Claude.

#AInews

LFM2.5-230M: ультракомпактная модель работает на Raspberry Pi и почти любом современном телефоне

Команда Liquid AI выпустила LFM2.5-230M — одну из самых маленьких языковых моделей на сегодня, всего на 230 миллионов параметров. Модели хватает 293 МБ памяти на Raspberry Pi 5 и 375 МБ на смартфоне. На Raspberry Pi 5 модель выдаёт 42 токена в секунду при декодировании, а на флагмане Galaxy S25 Ultra разгоняется до 213 т/с. Человек читает текст со скоростью примерно 5–7 т/с. На бенчмарках модель конкурирует с моделями вдвое больше и часто их обходит.

Модель поставили на человекоподобного робота Unitree G1, и она работала на встроенном чипе NVIDIA Jetson Orin. Модель выступила в качестве слоя выбора навыков: берёт одну команду на обычном языке вроде «постой 2 секунды, потом иди вперёд со скоростью 1 м/с на 3 метра» и раскладывает её на последовательность вызовов готовых низкоуровневых навыков. Получается, что модель на 230 миллионов параметров может служить языковым интерфейсом управления для робота.

Главное ограничение модели простое: ей нужно около 350MB RAM и более-менее современный процессор. Прямыми тестами авторов подтверждены запуск на одноплатнике Raspberry Pi 5. Заявлена поддержка чипов Apple, AMD, Qualcomm и Nvidia, ее потянет почти любой современный телефон или планшет, а на ноутбуках ресурсов с запасом. Часы тоже теоретически потянут, но на практике мешают нагрев и неемкая батарейка. Микроконтроллеры и простая бытовая электроника (чайники, лампочки, фитнес-браслеты, наушники) точно не потянут: там памяти килобайты, а не сотни мегабайт.

Несмотря на размер, на бенчмарках модель обходит соперников вдвое крупнее. На тесте следования инструкциям IFEval она набрала 71.71 против 63.49 у Gemma 3 1B и 59.94 у Qwen3.5-0.8B. Сильнее всего она в вызове инструментов и извлечении данных, а вот для математики, кода и сложных рассуждений авторы её брать не советуют — она заточена под другое.

Модель и веса можно скачать на Hugging Face, исходники и SDK лежат на Github.

#Stateoftheart

Выбираем железо для обучения и инференса моделей 🔝

Простая формула: чем больше у модели параметров, тем более мощное железо нужно для ее инференса. Найти решение для нейросетей разного масштаба можно в Selectel.

Более 15 моделей видеокарт — от RTX 4090 до B300 — доступны к аренде в облаке и на выделенных серверах. Облачные серверы подойдут для тех, кому нужна гибкость и быстрая масштабируемость, а выделенные — когда необходима физическая изоляция инфраструктуры, а нагрузки стабильные. Видеокарты в облаке можно арендовать даже на час, цена стартует от 5 рублей.

Выбирайте оптимальный сервер с видеокартой и арендуйте его от 5 рублей в час: https://slc.tl/rqf62

Реклама, АО «Селектел», erid: 2Vtzqwcao6q

DreamX-World-5B: открытая модель генерации мира с контролем камеры, текстовым управлением и запоминанием локаций

Команда AMAP-ML опубликовала DreamX-World 1.0 — интерактивную генеративную модель мира, которая превращает текст или изображение в управляемое видео с точным контролем камеры, памятью о ранее посещённых сценах и поддержкой добавления событий по текстовым промптам. Модель работает в фотореалистичных, игровых и стилизованных визуальных доменах.

Исследователи дообучили базовую модель Wan2.2-TI2V поэтапно: сначала для управления камерой, затем для долгосрочной памяти о сцене, событийного управления и авторегрессивной генерации длинных видео. На восьми GPU RTX 5090 модель работает в реальном времени со скоростью до 16 FPS.

DreamX-World 1.0 — единственная публично доступная модель, поддерживающая все пять уровней управления действиями: реакцию на текстовые промпты, события на уровне отдельных объектов, привязку событий к области кадра, комбинирование нескольких сущностей в одной инструкции и взаимодействие между объектами. Конкуренты частично покрывают первые два-три уровня, но не дают полноценного управления несколькими взаимодействующими объектами одновременно.

DreamX-World с 5B параметров обгоняет модели большего размера по ключевым метрикам и при этом работает в реальном времени. В слепом исследовании предпочтений людей DreamX-World выигрывает у конкурентов: HY-WorldPlay (8B) в 57.5% случаев и у LingBot-World (14B) в 61.9% по общему впечатлению.

Моделирование мира — это комплексная задача: подготовка данных, поэтапное обучение, оценка и оптимизация инференса должны проектироваться вместе, а не отдельно друг от друга. Если решить только архитектурную часть и оставить медленный инференс, модель останется лабораторным прототипом, не пригодным для интерактивного использования. Если сосредоточиться только на скорости и забыть про память сцены, пользователь будет видеть, как окружение меняется при каждом повторном проходе, и ощущение «настоящего мира» пропадёт.

Веса модели доступны на Hugging Face, код на GitHub.

#Stateoftheart

🤔 VibeThinker: 3B-модель рассуждает и кодит на уровне DeepSeek V3.2, GLM-5 и Gemini 3 Pro

Команда Sina Weibo AI опубликовала VibeThinker-3B — компактную языковую модель, которая на задачах математики и программирования показывает результаты уровня флагманских моделей DeepSeek V3.2, GLM-5 и Gemini 3 Pro, при этом уступая им в размере в 200+ раз. Код и веса модели опубликованы на Github и HuggingFace.

Авторы сформулировали гипотезу о параметрическом сжатии: одни способности моделей сжимаемы, другие нет. Верифицируемые рассуждения относятся к первым — алгоритм решения универсален и повторяем, его можно плотно уложить в небольшое число параметров. Энциклопедические знания относятся ко вторым: каждый факт, понятие и редкий сценарий требует отдельного места, поэтому здесь масштаб по-прежнему важен. Оказалось, что 3B параметров достаточно, чтобы войти в топ на специализированных задачах рассуждения.

VibeThinker-3B обучена поверх Qwen2.5-Coder-3B в четыре этапа. SFT в две ступени: сначала широкое покрытие доменов, затем фокус на длинных и сложных примерах. Многодоменный RL последовательно по математике, коду и STEM. Офлайн self-distillation лучших траекторий обратно в модель и финальный Instruct RL для следования инструкциям. На этапе RL используется MGPO — модификация GRPO, которая назначает высокие веса запросам, где модель отвечает правильно примерно в 50% случаев. Такие запросы находятся на текущей границе возможностей модели и дают наиболее полезный градиентный сигнал.

Результаты на бенчмарках с рассуждениями впечатляют. На AIME 2026 модель набирает 94.3 — столько же, сколько DeepSeek V3.2 (671B) и Kimi K2.5 (1T), с CLR (техникой проверки ключевых утверждений на этапе инференса) результат растёт до 97.1. На LiveCodeBench v6 — 80.2 Pass@1, на LeetCode соревнованиях апреля-мая 2026 решает 96.1% задач с первой попытки, выше GPT-5.2 (95.3%) и всей линейки Claude 4.6. На IFBench 74.5 — выше Claude Opus 4.5 (58.0) и Gemini 3 Pro (70.4). На вопросно-ответном GPQA-Diamond заметно отставание: 70.2 против 90+ у крупных моделей, что авторы считают подтверждением гипотезы.

#Stateoftheart

ESM Cambrian: модель для предсказания и дизайна белков превзошла AlphaFold3 от Google и построила крупнейший атлас белкового мира

Команда исследователей из Biohub представила ESM Cambrian (ESMC) — открытую языковую модель для предсказания и дизайна белков, которая обошла AlphaFold3 от Google по точности предсказания структур белка. Модель построила атлас из 6,8 миллиарда белковых последовательностей — готовую базу для поиска новых лекарств, ферментов и материалов без дорогостоящих лабораторных экспериментов.

ESMC спроектировала молекулы с аффинностью до 0,068 нМ к мишеням CTLA-4 и EGFR — это уровень лучших клинически одобренных антител для лечения рака. Классический лабораторный цикл для получения молекулы такого качества занимает месяцы. Авторы показали, что вычислительный скрининг через ESMC даёт сопоставимый результат за дни.

ESMC обучена по принципу предсказания замаскированных токенов: часть аминокислот в последовательности скрывается, и модель учится их восстанавливать. Тот же подход используется в языковых моделях для текстов: модели вроде BERT научились понимать значение слов и их связи, просто восстанавливая пропуски - без словарей, учебников или разметки. Авторы показали через разреженные автоэнкодеры (SAE), что ESMC действительно выучила иерархию биологических концепций: от отдельных аминокислот до эволюционных тем, общих для бактерий, архей и эукариот. Это чистый пример эмерджентности: паттерн возник сам по себе в процессе обучения без разметки.

На бенчмарке FoldBench модель достигла DockQ pass rate 50% на задаче предсказания комплекса антитело-антиген из одной последовательности, превзойдя AlphaFold3 с показателем 47%, при том что AlphaFold3 для этого использует MSA (multiple sequence alignment) - выравнивание сотен эволюционно родственных последовательностей, которое требует дорогостоящего поиска по миллиардам записей.

Веса и код доступны на GitHub и HuggingFace, интерактивная среда запущена на biohub.ai.

#Stateoftheart

LLaVA-OneVision-2-8B: мультимодальная модель анализирует видеопоток через кодек вместо нарезки кадров

Исследователи из Glint Lab, AIM for Health Lab и MVP Lab опубликовали LLaVA-OneVision-2 — мультимодальную модель нового поколения, которая переосмысливает то, как нейросеть «смотрит» видео. Вместо того чтобы нарезать видео на равномерные кадры, модель анализирует сжатый видеопоток через кодек.

Большинство моделей просто нарезают видео на 8–32 равномерных кадра и выбрасывают остальное. Если что-то важное происходит между двумя отобранными кадрами, модель это просто пропустит. Видеокодеки вроде H.264 уже содержат информацию о том, где в видео происходят изменения, LLaVA-OV-2 использует именно её. Модель отбирает фрагменты с высоким битрейтом, где происходит движение или смена сцены. В итоге токены концентрируются там, где в видео действительно что-то происходит, а не размазываются равномерно по всему клипу

Авторы создали бенчмарк JumpScore, в нем модели нужно найти конкретный момент среди множества визуально почти одинаковых циклов. В нём 189 видео с прыжками на скакалке, задача - указать время начала каждого прыжка с точностью до 0,1–0,3 секунды.

LLaVA-OV-2-8B сравнивали с четырьмя моделями того же класса: Qwen3-VL-8B, Keye-VL-1.5-8B, InternVL-3.5-8B и LLaVA-OV-1.5-8B. Наибольший отрыв — на JumpScore (+44,8 пункта над Qwen3-VL) и на задачах локализации событий во времени и пространственного рассуждения. На большинстве остальных бенчмарков модель лидирует или держится в топ-2.

Код доступен на GitHub, датасеты - на Hugging Face, где также доступны веса модели.

#Stateoftheart #Benchmark

LongLive-2.0 — 5B-модель генерирует минутное видео в 720p в реальном времени

Исследователи из NVIDIA опубликовали LongLive-2.0 — инфраструктуру для обучения и запуска моделей генерации длинных видео с использованием 4-битного квантования NVFP4. NVFP4 — собственный формат NVIDIA, нативно поддерживаемый на GPU архитектуры Blackwell (GB200), так что полное ускорение доступно только на этом железе. В исследовании сравнивается квантование BF16 и NVFP4. BF16 хранит каждое число в 16 битах, NVFP4 сжимает их до 4 бит, поэтому модель занимает меньше памяти и быстрее считает. Теоретически это должно снижать качество генерации, но авторы показывают, что на практике результаты почти не отличаются от BF16: 85.06 против 84.51 балла на VBench.

Wan2.2-TI2V-5B, дообученная с помощью LongLive-2.0, генерирует 720p-видео со скоростью 45.7 FPS. Предыдущие методы выдавали 20-25 FPS при разрешении 480p. Обучение ускорилось в 2.15 раза, инференс — в 1.84 раза, потребление видеопамяти упало с 35.4 до 19.4 ГБ по сравнению с BF16-версией. На бенчмарке VBench-Long модель заняла первое место по согласованности персонажей и фона на 60-секундных видео.

Три ключевых компонента делают это возможным. Balanced SP — каждый GPU обрабатывает свой временной фрагмент видео, балансируя нагрузку и убирая дублирование VAE-энкодинга. Это позволяет обучать модель на 64-секундных видео без выхода за пределы памяти. KV-кэш квантуется в NVFP4 прямо во время генерации, сжимаясь в 3.6 раза. Асинхронное декодирование запускает VAE на отдельном GPU параллельно с основной моделью, так что декодирование не замедляет общую генерацию.

Код, веса и датасеты доступны на GitHub и Hugging Face.

#Stateoftheart

SenseNova-U1: новая мультимодальная архитектура NEO-unify работает напрямую с пикселями без VAE

Команда SenseNova представила мультимодальную архитектуру SenseNova-U1, которая объединяет понимание изображений, генерацию и редактирование внутри единого трансформера без VAE или визуального энкодера. Архитектура NEO-unify не только упрощает модель, но и делает мультимодальное обучение заметно эффективнее: 8B-модель превосходит OmniGen и FLUX.1-Kontext на задачах генерации изображений, инфографики и сложных макетов.

Модель умеет генерировать и редактировать изображения, распознавать текст и разбирать документы, работать в мультимодальном чате, выполнять смешанную генерацию текста и изображений, решать задачи визуального рассуждения и создавать инфографику со сложными макетами.

SenseNova-U1 изначально обучается как единая мультимодальная фундаментальная модель, а не как набор соединённых компонентов. Авторы отдельно подчёркивают, что модель работает напрямую с пикселями и текстом без отдельного латентного пространства. Вместо визуального энкодера используется лёгкое разбиение изображения на патчи. Изображение делится на блоки размером 32×32 пикселя, после чего они напрямую отправляются в трансформер. Для этого используются всего два сверточных слоя с функцией активации GELU.

Компактная 8B версия показывает результаты выше BAGEL, FLUX.1-Kontext и OmniGen на задачах редактирования изображений, а 30B MoE-модель показывает уровень Qwen2.5-VL и InternVL на бенчмарках для мультимодального понимания, OCR и визуального рассуждения.

Код, веса моделей, пайплайн инференса и демо доступны на Hugging Face и на Github под лицензией Apache 2.0.

#StateOfTheArt