Machinelearning

🗣 Qwen3-TTS - мощный open-source релиз (voice design + клонирование голоса)

Qwen официально выпустили Qwen3-TTS и полностью открыли всю линейку моделей - Base / CustomVoice / VoiceDesign.

Что внутри:
- 5 моделей (0.6B и 1.8B классы)
- Free-form Voice Design - генерация/редаквтирование голоса по описанию
- Voice Cloning - клонирование голоса
- 10 языков
- 12Hz tokenizer - сильная компрессия аудио без сильной потери качества
- полная поддержка fine-tuning
- заявляют SOTA качество на ряде метрик

Раньше лучшие генераторы были в закрытых API, а теперь появляется полноценный open-source стек TTS, где можно:
- обучать под домен,
- делать кастомные голоса,
- и не зависеть от провайдера.


▪GitHub: https://github.com/QwenLM/Qwen3-TTS
▪Hugging Face: https://huggingface.co/collections/Qwen/qwen3-tts
▪Демо (HF): https://huggingface.co/spaces/Qwen/Qwen3-TTS
▪Блог: https://qwen.ai/blog?id=qwen3tts-0115
▪Paper: https://github.com/QwenLM/Qwen3-TTS/blob/main/assets/Qwen3_TTS.pdf

@ai_machinelearning_big_data

#AI #TTS #Qwen #OpenSource #SpeechAI

✔️ Стартап ветеранов индустрии Humans& привлек $480 млн не выпустив ни одного продукта.

Инвесторы продолжают вкладывать деньги в команды с громкими именами, даже если у тех пока нет ничего, кроме планов. Humans&, основанный выходцами из OpenAI, DeepMind и xAI, закрыл раунд финансирования, в результате которого оценка компании достигла $4,48 млрд. В сделке участвовали Nvidia, Джефф Безос и венчурное подразделение Alphabet.

Столь высокий кредит доверия объясняется звездным составом команды. Гендиректор Эрик Зеликман ранее занимался обучением модели Grok-2 в xAI, а сооснователь Жорж Харик был одним из первых сотрудников Google, стоявшим у истоков Gmail и Android. Стартап заявляет, что строит "человекоцентричный ИИ", который будет координировать действия людей, а не просто генерировать текст. Релиз первого продукта обещают уже в начале этого года.
reuters.com

✔️ Выходцы из Stability AI опенсорснули real-time модель мира Waypoint-1.

Модель от стартапа Overworld создает интерактивное 3D-окружение прямо в процессе игры: система реагирует на ввод с клавиатуры и мыши, позволяя свободно исследовать генерируемое пространство.

Waypoint-1 построена на видео-диффузионном трансформере на 2,3 млрд. параметров, который обучали на 10 тыс. часах записей геймплея. Для сохранения логической связности мира при длительных сессиях используется метод стабилизации self-forcing via DMD.

Создатели утверждают, что на RTX 5090 Waypoint-1 выдает стабильные 30 FPS. Модель можно скачать на Hugging Face.
over.world

✔️ Ollama получила возможность генерации изображений.

Утилита для запуска локальных LLM получила экспериментальную поддержку генерации картинок. На старте пользователям доступны две модели: Z-Image Turbo (6 млрд. параметров) и сверхбыстрая FLUX.2 Klein (4 и 9 млрд.).

Одной из самых удобных функций стала нативная интеграция с терминалами: в Ghostty и iTerm2 можно просматривать результаты генерации прямо в окне консоли. Инструмент позволяет гибко настраивать параметры через командную строку: разрешение, количество шагов и негативные промпты.

В данный момент функционал доступен только на macOS, поддержка Windows и Linux - coming soon.
ollama.com

✔️ OpenAI пообещала, что Stargate не взвинтит тарифы для населения.

Компания анонсировала программу «Stargate Community», адресованную жителям регионов, где строятся ее дата-центры. Чтобы избежать перегрузки муниципальных сетей и роста цен на электричество, OpenAI планирует самостоятельно инвестировать в создание новых источников энергии, аккумуляторных станций и модернизацию сетевой инфраструктуры.

Помимо энергетической безопасности, OpenAI также обязалась внедрять технологии защиты водных ресурсов в зонах строительства.

Согласно плану проекта Stargate, к 2029 году компания намерена развернуть мощности на 10 гигаватт. Первый объект уже запущен и используется для обучения моделей, а проектирование следующих площадок ведется в Нью-Мексико, Висконсине и Мичигане.
openai.com

✔️ В коде DeepSeek обнаружили следы секретной модели MODEL1 с новой архитектурой.

DeepSeek, похоже, случайно раскрыла карты перед релизом следующего поколения своих моделей. В сети нашли в обновленном репозитории FlashMLA на GitHub множественные упоминания проекта под кодовым именем MODEL1. Ссылки на него встречаются в нескольких файлах параллельно с версией V3.2, что указывает на разработку отдельной, самостоятельной линейки.

Анализ исходников намекает на инженерные изменения: новая модель использует отличные от предшественников подходы к организации KV-кэша, обработке разреженности и оптимизации памяти для FP8-декодирования.

Утечка косвенно подтверждает инсайды о том, что DeepSeek планирует представить новый флагманский продукт уже в середине февраля.
technode.com

@ai_machinelearning_big_data

#news #ai #ml

📜 Anthropic опубликовали “новую конституцию” Claude - самое интересное (и зачем это нужно)

Anthropic выложила обновлённую “конституцию” Claude - документ, который задаёт ценности и поведение модели. Это не просто PR: такие принципы реально используются при обучении, чтобы Claude действовал предсказуемо в сложных ситуациях.

Вот самое важное:

1) Это больше не список запретов, а логика мышления
Раньше конституция больше походила на набор правил.
Теперь идея другая: модель должна понимать “почему так”, а не просто следовать инструкциям. Иначе она будет ломаться в нестандартных кейсах.

2) Жёстко прописан порядок приоритетов
Anthropic прямо фиксирует, что важнее всего для Claude (по убыванию):
- безопасность
- этичность
- следование политике Anthropic
- полезность

“Быть полезным” для модели - важно, но никогда не ценой безопасности.

3) Есть неснимаемые запреты (hard constraints)
Один из ключевых моментов: одних принципов недостаточно.
В самых рискованных темах у модели есть жёсткие линии - например, она не должна усиливать опасные направления вроде создания биологического оружия.

4) Самый обсуждаемый блок: “природа Claude”
В документе есть отдельный раздел, где Anthropic честно говорит: что разработчики Клода не уверены, может ли ИИ когда-то иметь форму сознания или морального статуса.

И важная мысль: даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли, идентичности и границах - чтобы быть безопасной и устойчивой.

5) Документ написан не для людей, а для модели
Конституция сделана так, чтобы Claude мог использовать её как “внутреннюю систему координат”: принимать решения, балансировать честность и сочувствие, избегать манипуляций и вреда.

6) Конституцию отдали в public domain (CC0)
То есть её можно свободно копировать, переиспользовать и адаптировать - хоть для своих моделей, хоть для исследований.

Anthropic позиционируют Клода не как “бота с фильтрами”, а как модель, у которой есть понятная система ценностей и объяснённые принципы поведения - и всё это максимально прозрачно.

https://www.anthropic.com/news/claude-new-constitution

@ai_machinelearning_big_data

🚀 Вышла Chroma 1.0 - полностью открытая speech-to-speech модель с клонированием голоса

Команда FlashLabs выпустила Chroma 1.0 - первую open-source модель, которая умеет переводить диалог “голос → голос” в реальном времени, причём с клонированием голоса.

Главное:
это не “распознавание + текст + озвучка”.
Это end-to-end система, где разговор идёт напрямую голосом.

Что обещают по характеристикам:
- ⚡️ <150 мс задержка end-to-end (почти как живой звонок)
- 🧬 качественный voice cloning по нескольким секундам аудио
- 📈 схожесть голоса SIM = 0.817 (практически идентичный)
- 🧠 reasoning всего на 4B параметров
- 🔓 полностью открытые веса + код

И приятный бонус: модель уже оптимизирована под SGLang (LMSYS), чтобы работала быстрее и дешевле в инференсе.

Если это действительно так, то Chroma может стать реальной open-source альтернативой закрытым голосовым системам.

Paper: https://modelscope.cn/papers/2601.11141
Model: https://modelscope.cn/models/FlashLabs/Chroma-4B
Code: https://huggingface.co/FlashLabs/Chroma-4B

@data_analysis_ml

🎥 Тот самый ролик, где нейросеть пыталась сгенерировать Уилла Смитта со спагетти.

Если хочется понять темп прогресса в AI-видео - достаточно вспомнить, что было 2,5 года назад.

@ai_machinelearning_big_data

📉 Давос: CEO Anthropic и CEO DeepMind - о том, как ИИ изменит рынок труда

На Давосском форуме Дарио Амодеи (CEO Anthropic, компании-разработчика Claude) дал жёсткий прогноз: мы можем прийти к необычной ситуации, когда экономика и ВВП быстро растут, но безработица растёт почти так же быстро.

По его оценке, сильнее всего пострадают позиции для начинающих: в течение 5 лет безработица среди junior / entry-level вакансий может доходить до 50%.

Демис Хассабис (CEO Google DeepMind) ответил осторожнее.
По его мнению, до этого сценария ещё далеко - у текущих моделей остаются ключевые ограничения:

- Consistency - ИИ работает нестабильно: сегодня отлично, завтра с ошибками
- Jagged intelligence - “рваный интеллект”: в одной задаче модель сильная, в другой внезапно проваливается

Главная мысль Хассабиса: ИИ, который делает 95% работы, ещё не заменяет человека.
Чтобы замена произошла система должна закрывать почти 100% задач - надёжно и без постоянного контроля.

Амодеи ждёт сильный удар по джунам уже в ближайшие годы, а Хассабис считает, что до массовой замены людей технологии пока не доросли и не дорастут в ближайшее время.

@ai_machinelearning_big_data

🌟 GenRobot RealOmni-OpenData: апдейт датасета для Embodied AI

RealOmni - это не просто каталог видео, где роборука хватает кубик на белом столе. Это мультимодальный подарок с траекториями, аннотациями и движениями суставов.

🟡Сенсоры
Картинка с Fisheye-камер, данные IMU (инерциалка), энкодеры и данные с тактильных датчиков с разрешением 1 мм.

🟡Сценарии
Снимали в 3000 реальных домах, никаких стерильных лабораторий: складывание одежды, завязывание шнурков, разбор посуды и сортировка всякого хлама.

🟡Bimanual manipulation
Почти все таски двурукие.

🟡Long-horizon
Медианная длина клипа ~ 210 секунд. То есть это не "схватил-положил", а полноценные процессы "достать, сложить, убрать в ящик".

В свежем обновлении добавили 35 тыс. клипов с фокусом на разгребание куч разнородных предметов. Это именно та задача, на которой сыпется большинство моделей.

Немного цифр о всем датасете

🟢Объем (заявленный): 95 ТБ (об этом ниже).
🟢Количество клипов: 1M+ (в планах).
🟢Разрешение: 1600x1296 @ 30fps.
🟢Формат: .mcap (стандарт для ROS, внутри сжатый H.264).

Весть проект запланирован объемом 95 ТБ и хронометражем 10,000 часов. Но если посчитать, то что уже залито (Stage 1 + Stage 2), то суммарно около 5.4 ТБ и ~1600 часов. Остальное обещают догрузить as soon as possible.

🟡Важно знать

Данные собраны специфическим гриппером GenDAS, так что если у вас другой сенсорный массив (или его нет), transfer learning может стать болью. Ассеты заточены под железку GenRobot.

Это все еще телеоперация. То есть мы учим робота копировать движения человека-оператора и если он тупил или руки дрожали сетка это тоже выучит.

Тем не менее, это очень крутой релиз для тех, кто пилит домашних роботов. Данные по завязыванию шнурков и разбору предметов в open-source редкость.



📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Robotics #Dataset #RealOmni #GenRoborAI

✔️ Nvidia запрашивала у пиратов доступ к массиву книг для обучения ИИ.

В обновленном коллективном иске против Nvidia всплыли неожиданные подробности: техногигант напрямую контактировал с крупнейшей теневой библиотеки Anna’s Archive. Согласно судебным документам, инженеры компании искали способ получить приоритетный доступ к массиву данных книг, чтобы ускорить обучение своих языковых моделей.

Ситуация выглядит парадоксально: авторы иска утверждают, что Anna’s Archive предупреждал Nvidia о нелегальном характере контента. Однако менеджмент Nvidia, ссылаясь на конкурентное давление и острую нехватку качественных текстов, дал добро на скачивание.

Речь шла о передаче 500 Тб информации, включающие материалы из LibGen и Sci-Hub, которые Nvidia планировала использовать для тренировки своих моделей.
torrentfreak.com

✔️ OpenAI научила ChatGPT вычислять возраст пользователей по их поведению.

OpenAI внедряет предиктивный анализ системы защитных фильтров для подростков. Алгоритм оценивает не только данные, указанные при регистрации, но и косвенные признаки: время активности в чате, историю аккаунта и поведенческие паттерны.

Если нейросеть решит, что перед ней несовершеннолетний, ChatGPT ограничит генерацию взрослого контента, а в случае ошибочного срабатывания - придется подтверждать возраст через сервис Persona с помощью селфи.

Это часть новой стратегии по ослаблении цензуры для взрослой аудитории, которая откроет доступ к материалам, ранее заблокированным для всех. Первыми новую механику опробуют пользователи из ЕС уже в ближайшие недели.
openai.com

✔️ Anthropic: страхи о тотальной замене людей пока преувеличены.

В свежем Economic Index Repot Anthropic выяснила, что ИИ берет на себя около четверти задач в половине всех профессий, но полное замещение сотрудников происходит менее чем в 10% компаний. Основной паттерн использования сместился от автоматизации к сотрудничеству.

В топе сценариев по-прежнему лидирует кодинг, однако характер работы изменился. Разработчики все чаще используют Claude не для генерации кода с нуля, а для обучения, получения фидбека и доработки решений.

Главный риск касается новичков. ИИ забрал на себя всю рутину, на которой традиционно набивали руку джуны и это создает проблему: продуктивность сеньоров растет, но у молодых специалистов исчезает полигон для получения первичного опыта.
anthropic.com

✔️ Manus автоматизировал сборку и доставку приложений в сторы.

Платформа представила функцию паблишинга, которая берет на себя техническую рутину по развертыванию приложений. Инструмент не только компилирует код, но и полностью автоматизирует подготовку тестовых окружений для iOS и Android.

Для Android система генерирует готовый AAB-файл, который остается лишь загрузить в Google Play Console. С Apple интеграция еще глубже: Manus самостоятельно создает запись приложения в аккаунте разработчика, упаковывает сборку и отправляет ее в App Store Connect на ревью в TestFlight. Функция уже открыта для всех пользователей с доступом к Develop Apps.
manus.im

✔️ Microsoft представила компактную модель для перевода бизнес-задач на язык математики.

OptiMind — MoE-модель с 20B/3.6A параметров, которая умеет преобразовывать текстовые описания задач (планирование логистики, производство или цепочки поставок) в готовые математические формулировки, понятные профессиональному софту.

Несмотря на скромный размер, OptiMind не уступает крупным аналогам. Инженеры Microsoft вручную чистили датасеты от некорректных решений и задействовали систему экспертных подсказок, которая корректирует логику модели в процессе генерации. Модель доступна на Hugging Face под лицензией MIT.
microsoft.com


@ai_machinelearning_big_data

#news #ai #ml

🌟 GLM-4.7 Flash: лайт-версия флагмана GLM-4.7.

В полку моделей, тех, что можно запустить локально, не продавая почку, прибыло.

ZAI выкатили GLM-4.7 Flash - облегченную версию GLM-4.7 на 30 млрд. параметров, с контекстным окном в 128К на архитектуре MoE.

Со слов создателей, модель должна занять нишу между сегментом SLM и проприетарными мастодонтами, предлагая SOTA-уровень в кодинге.

🟡MoE
Всего 30B, но активных параметров на токен гораздо меньше, официальной инфы нет, но в сообществе пишут, что 3 млрд.

🟡Interleaved Thinking
Киллер-фича для агентов, которая досталась в наследство от старшей GLM-4.7. Обычно модели выплевывают весь свой CoT в начале, а вот эта техника дает возможность модели думать перед каждым вызовом инструмента.

🟡Файнтюн на эстетику и DevOps
Опять-таки, со слов Zai, они натаскали GLM-4.7 Flash не просто писать валидный HTML/CSS, а использовать актуальные паттерны, нормальные отступы и цветовые схемы.

Плюс, подтянули работу с CLI и девопс-задачами (понимает права доступа, навигацию по файловой системе).

🟡Цифры тестов выглядят как конфетка.

В SWE-bench Verified модель выбивает 59.2%. Для сравнения: Qwen3-30B-A3B: 22.0%, GPT-OSS-20B: 34.0%.

В математическом AIME 25 тоже обходит конкурентов - 91.6%. А вот на BrowseComp она лучше GPT-OSS-20B почти в 1.5 раза.

Вобщем, Flash-версия выглядит как идеальный кандидат для локальных кодинг-агентов. Если есть пара свободных видеокарт (или есть стойкость терпеть квантование на одной), это, возможно, лучшая рабочая лошадка на сегодня.



📌Лицензирование: MIT License.


🟡Модель
🟡Квантованные варианты под все
🟡Demo1
🟡Demo2

@ai_machinelearning_big_data

#AI #ML #LLM #GLM #ZAI

✔️ Годовая выручка OpenAI пробила отметку в $20 млрд. на фоне 10х роста компьюта.

Финдир OpenAI Сара Фрайер раскрыла свежую статистику: объем продаж за год превысил $20 млрд. Для сравнения, в 2023 году этот показатель составлял всего $2 млрд.

За тот же период вычислительные мощности OpenAI выросли с 0,2 ГВт до почти 1,9 ГВт. По словам Фрайер, выручка фактически ограничена только доступностью железа: если бы мощностей было больше, монетизация шла бы еще быстрее.

Чтобы поддерживать темп, OpenAI отказалась от стратегии единственного провайдера вычислений и теперь работает с диверсифицированной экосистемой партнеров. 2026 год в компании уже объявили годом "практического внедрения", делая ставку на то, что инвестиции в дата-центры начнут окупаться за счет реального применения ИИ в бизнесе и науке.
openai.com

✔️ Sequoia Capital впервые вложится в Anthropic.

Легендарный венчурный фонд готовится к своей первой инвестиции в разработчика Claude. Решение принято после недавней смены руководства фонда: новые управляющие партнеры отказались от консервативной тактики избегания концентрации капитала в нескольких сверхдорогих компаниях.

Sequoia уже владеет долями в конкурентах Anthropic: OpenAI и xAI. Традиционно венчурные фирмы не финансируют соперничающие стартапы, однако масштабы ИИ-индустрии заставляют переписывать правила игры.

Инвестиция станет частью гигантского раунда финансирования с целью в $25 млрд. Оценка Anthropic при этом достигнет $350 млрд, удвоившись всего за 4 месяца. Сама компания уже начала юридическую подготовку к IPO.
ft.com

✔️ Южнокорейцы тратят на ИИ больше, чем на Netflix.

По данным аналитиков из Aicel Technologies, ежемесячный объем платежей за подписки на ИИ достиг $55–60 млн. Это больше, чем средняя месячная выручка Netflix в стране, которая в 2024 году составляла около $50–55 млн.

Безоговорочным лидером остается ChatGPT с долей 71,5%, за ним с большим отрывом следуют Gemini (11%) и Claude (10,7%). Средний чек у физлиц составляет $24, в то время как бизнес тратит около $74 в месяц.

Эксперты отмечают, что генеративный ИИ стремительно превращается в базовую услугу. При текущей годовой выручке в $654 млн. рынок ИИ-подписок в Южной Корее уже в этом году может обогнать Coupang — крупнейший маркетплейс страны.
kedglobal.com

✔️ Raspberry Pi представила плату расширения AI HAT+2.

Новый модуль для Raspberry Pi 5 превращает одноплатник в станцию для работы с генеративным ИИ. Устройство подключается через PCIe и базируется на нейропроцессоре Hailo-10H, который выдает до 40 TOPS в вычислениях INT4.

На борту AI HAT+2 8 ГБ собственной памяти LPDDR4X в которую загружаются языковые и визуально-языковые модели, не отнимая ресурсы у основного процессора.

Новинка уже доступна по цене $130. Первые тесты подтверждают разгрузку CPU, однако бета-тестеры говорят, что программная экосистема для генеративных задач все еще находится в стадии активного развития.
raspberrypi.com

✔️ В Columbia Engineering обучили робота реалистичной мимике с помощью YouTube.

Команда Creative Machines Lab показала робота с гибким силиконовым лицом и 26 приводами, который самостоятельно освоил липсинк. Результаты работы, опубликованные в Science Robotics, демонстрируют новый подход к преодолению эффекта "зловещей долины" в робототехнике.

Вместо традиционных политик, инженеры применили метод наблюдательного обучения. Процесс проходил в 2 этапа: сначала робот кривлялся перед зеркалом, сопоставляя работу своих моторов с визуальным результатом, а затем анализировал тысячи видеороликов с людьми на YouTube, обучаясь связывать звуки речи с движениями губ.

Система показала способность адаптироваться к разным языкам без специальной перенастройки, хотя пока испытывает трудности со сложными звуками. Авторы уверены, что сочетание этой адаптивной мимики с разговорными моделями уровня ChatGPT или Gemini станет следующим шагом к созданию эмпатичных роботов-компаньонов.
columbia.edu


@ai_machinelearning_big_data

#news #ai #ml

📌 Библиотека алгоритмов робототехники на Python.

PythonRobotics - открытая коллекция кода на Python и учебник по алгоритмам робототехники, которую собрал Ацуши Сакаи.

🟡В проекте есть все:

🟢Локализация (EKF, фильтры частиц, гистограммные фильтры);
🟢SLAM (FastSLAM, ICP-сопоставление);
🟢Планирование пути (A, RRT, Дейкстра, D*, потенциальные поля, решетка состояний);
🟢Отслеживание траекторий (контроллер Стэнли, LQR, MPC);
🟢Навигация для манипуляторов;
🟢БПЛА;
🟢Проектирование движения для двуногих роботов.

К каждой теме есть визуальные анимации, математические объяснения и рабочий код.

Библиотека не перегружена, ее легко читать и понимать, она содержит практические алгоритмы. которые реально используются в индустрии.

Это отличный образовательный ресурс с 2 212 коммитами, вкладом 138 разработчиков и активной поддержкой.

Если вы изучаете робототехнику, создаете автономные системы или преподаете алгоритмы — этот ресурс для вас.

У проекта лицензия MIT, так что можно свободно использовать его в личных или коммерческих проектах.

А еще, это отличный пример, как выглядит хороший опен-сорс: образовательный, практичный, хорошо документированный и развиваемый сообществом.


@ai_machinelearning_big_data

#AI #ML #Robotics #Github

🙂 Как Cursor вайбкодил браузер - наглядно.

Гендир Cursor, Майкл Труэлл, запостил в Х крутую тайм-лапс визуализацию процесса создания браузера роем агентов, о котором мы рассказывали на днях.

Сколько раз пересмотрели?

@ai_machinelearning_big_data

✔️ Sakana AI придумали, как LLM самим сортировать контекст по важности

Обычные языковые модели читают текст как одну длинную ленту.

Что ближе к началу внимания - то “важнее”.
Что дальше - то модель видит хуже.

И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать.

Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном.

Sakana AI предложили решение - RePo (Context Re-Positioning).

Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст.

Примерно как человек:
ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её, а лишнее игнорируешь.

Что делает RePo
- подтягивает важные куски информации ближе
- отодвигает шум и лишний текст
- помогает вниманию модели фокусироваться на нужном

В модели есть обучаемый модуль, который **переназначает позиции токенов по смыслу**, а не по порядку

✅ важно = то, что помогает уменьшать ошибку модели и правильно решать задачу
❌ второстепенно = то, что не помогает (шум), поэтому “отодвигается” по позициям

В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают:
- когда контекст длинный
- когда много шума
- когда важные детали раскиданы далеко друг от друга
- когда данные структурированные (таблички, списки, правила)

Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество.

▶️ Устойчивость к шуму (Noisy Context)
Средний результат по 8 noisy-бенчмаркам:

- Обычный RoPE: 21.07
- RePo: 28.31

🟡 Прирост: +7.24 пункта (сильно)

Авторы отдельно фиксируют ключевую цифру:
на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта.

🔥 Примеры прироста на конкретных задачах
(везде RePo > RoPE)

- TriviaQA: 61.47 → 73.02 (+11.55)
- GovReport: 6.23 → 16.80 (+10.57)
- 2WikiMultihopQA: 23.32 → 30.86 (+7.54)
- MuSiQue: 7.24 → 13.45 (+6.21)

Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память.

🟡Подробности: pub.sakana.ai/repo/
🟡Статья: arxiv.org/abs/2512.14391

@ai_machinelearning_big_data

#RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention