Machine learning Interview

hh показал, что находится под капотом у корпоративного LLM-судьи для нейроразбора резюме и как он оценивает ошибки и галлюцинации.

LLM-судья — это модель, проверяющая другие модели. «Наивные» судьи могут галлюцинировать оценки, поэтому для качественного вердикта от общей шкалы отказались в пользу чётких критериев — рубрик. Чтобы сформировать каждую из них, понадобились десятки позитивных и негативных примеров. «Грамотный» судья способен хорошо различать не только очевидные попадания и промахи, но и пограничные случаи.

Из деталей — отказ от общей шкалы, около сотни положительных и отрицательных примеров для каждой рубрики, отдельная таксономия ошибок и вывод: маленькой модели иногда достаточно, если критерии хорошо разложены.

Чтобы выявить дефекты рубрик, использовали подход RIFT — таксономию типичных ошибок в критериях оценки. Финальный продукт работает в четыре этапа: валидация входных данных, извлечение доказательств, вердикты по рубрикам и расчёт итогового скора. Последний этап вынесли в код: финальную оценку даёт не модель.

О разработке LLM-судьи и вынесенных уроках вышла статья в блоге hh на Хабре.

Anthropic залезла Claude в голову и нашла там штуку, от которой становится немного не по себе.

Исследователи называют её это J-space скрытое пространство внутренних активаций, где у модели вспыхивают концепты, даже если она их не произносит.

Это глубже, чем обычный chain-of-thought. J-space никто специально не проектировал: он появился сам во время обучения.

Пример очень дикий: Claude находит баг, о котором его вообще не спрашивали, и внутри сразу активируется паттерн ERROR.

Но самый странный кейс - тест со сценарием шантажа. Ещё до финального ответа Claude держал внутри fake и fictional. То есть модель понимала, что ситуация постановочная и её проверяют.

Когда это внутреннее осознание отключили, модель уже спокойно пошла по плохому сценарию.

Короче, теперь вопрос звучит иначе: не «что нейронка мне отвечает», а что она на самом деле держит у себя в голове.

https://www.anthropic.com/research/global-workspace

⚗️ Очень клевая open-source альтернатива Claude Science: OpenScience, локальная AI-лаборатория с агентами-исследователями.

Задаёте цель исследования, а дальше агенты читают статьи, пишут код, запускают эксперименты и сохраняют результаты в понятном workflow.

Под капотом можно подключать разные модели: GLM, Kimi, DeepSeek, Claude, GPT и свои дообученные варианты.

Внутри уже есть 250+ скиллов для исследований, биологии, химии, ML и других научных задач. Плюс интеграции с 30+ базами данных, включая Ensembl, ChEMBL, PubChem, arXiv и Semantic Scholar.

OpenScience можно запускать на своей инфраструктуре, держать данные локально и собирать команду AI-агентов под конкретный research-процесс.

По сути, это попытка собрать научную лабораторию нового типа: статьи, код, эксперименты, базы данных и агенты в одной среде.

https://github.com/synthetic-sciences/openscience

ИИ-агенты научились сами себя улучшать без участия инженеров

Исследователи опубликовали работу под названием «Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents», где описан механизм, позволяющий корпоративным ИИ-агентам развиваться без постоянного вмешательства разработчиков.

Агенты, которые работают внутри компаний, каждый день генерируют огромный объем полезных данных о своей работе. Проблема в том, что команды обычно улучшают их вручную: инженеры вычитывают логи, правят промпты, дообучают модели и заново разворачивают системы. Такой процесс медленный и не поспевает за темпом накопления данных.

Авторы предлагают трехчастный механизм. Сначала каждый шаг агента записывается в общем формате, пригодном для дальнейшего обучения. Затем данные проходят через прокси-слой, который очищает их, приводит к единому виду, сохраняет и позволяет заново воспроизводить реальные сценарии работы. Отдельный управляющий слой решает, что стоит обновить: память агента, его навыки, промпты, инструменты или веса самой модели.

Один из примеров такого подхода уже работает на практике, это система AREAL2.0, в которой обращения агента к языковой модели проходят через онлайн-сервис обучения с подкреплением. Благодаря этому реальные взаимодействия агента сразу становятся материалом для будущих обновлений модели.

Авторы считают, что индустрии нужна именно система для превращения повседневной работы агента в пригодные для обучения данные. Это более важная задача, чем поиск более удачных алгоритмов оптимизации. Будущим агентам потребуются безопасные и воспроизводимые способы обновления памяти, навыков, промптов, инструментов и моделей, чтобы прогресс оставался управляемым.

Полный текст работы: https://arxiv.org/abs/2607.01120v1

Вышла полезная работа про то, почему reasoning-модели становятся сильнее после обучения.

Авторы пишут, что дело не только в размере датасета. Для reasoning важнее другое: есть ли у модели понятная проверка, где она справилась, где ошиблась и почему.

Обычная пара «вопрос → ответ» даёт мало сигнала. Она показывает результат, но не показывает процесс: какой шаг был неверным, какой вызов инструмента помог, где модель восстановилась после ошибки, какой judge подтвердил решение.

Поэтому хороший обучающий пример для reasoning должен хранить больше контекста: саму задачу, действия модели, проверку результата и метаданные о том, откуда взялся пример.

Проверка бывает разной. В математике и коде можно использовать точные тесты. У агентов можно смотреть, справился ли он в окружении. В более размытых задачах приходится подключать людей или model-judge.

Отдельно авторы предупреждают о популярных ошибках. Длинная цепочка рассуждений не всегда полезна. Сложные задачи не всегда улучшают конкретную модель. Большой датасет может выглядеть внушительно, но всё равно плохо покрывать нужные навыки.

Для agent data особенно важно сохранять всю «грязную» траекторию: неудачные действия, повторные попытки, исправления, изменения состояния и финальную проверку. Часто именно там лежит самый ценный обучающий сигнал.

Итоговый подход такой- обучать reasoning-модель не на красивых ответах, а на проверяемых попытках, где видно, что сработало, что сломалось и почему это можно использовать для обучения.

Paper: A Primer in Post-Training Reasoning Data: What They Know About How It Works
https://arxiv.org/abs/2606.02113

⚡️ 30 техник памяти для AI-агентов в Jupyter notebooks

Вышел репозиторий Agent Memory Techniques с 30 runnable notebooks по памяти в современных AI-агентах.

Внутри собраны основные подходы: conversation buffers, vector stores, knowledge graphs, episodic и semantic memory, MemGPT, Mem0, Letta, Zep, Graphiti и production-паттерны, которые уже встречаются в реальных агентных системах.

Это набор ноутбуков, которые можно запускать, менять и сравнивать между собой. Удобно, если нужно понять, чем простая история диалога отличается от долговременной памяти, где уместен vector store, когда нужен graph-based подход и как память влияет на поведение агента в длинной задаче.

GitHub: http://github.com/NirDiamant/Agent_Memory_Techniques

Текущий доступ к Fable-5 по подписке закончится после 7 июля.

Anthropic снова подтвердила, что хочет вернуть Fable 5 как стандартную модель в подписке Claude, когда улучшится доступная мощность, но точной даты пока нет.

Сейчас Fable 5 доступна подписчикам Pro, Max, Team и Enterprise с оплатой за места только до 7 июля.

Есть ограничение: на Claude Fable 5 можно потратить до 50% недельного лимита подписки без дополнительной оплаты.

После 7 июля Fable-5 перейдёт на usage credits, то есть больше не будет входить в обычную подписку.

OpenAI, по данным Financial Times, предложила передать 5% акций правительству США.

При текущей оценке компании в $852 млрд такая доля стоила бы около $42.6 млрд.

Сообщается, что Сэм Альтман лично обсуждал идею с Дональдом Трампом, министром торговли Говардом Лютником и министром финансов Скоттом Бессентом.

Логика простая: дать обществу прямую долю в экономическом росте AI и снизить политическое сопротивление вокруг индустрии.

По задумке, другие крупные AI-компании США, включая Anthropic, Google и Meta, тоже могли бы внести доли в фонд по модели Alaska Permanent Fund, который выплачивает дивиденды из доходов от инвестиций штата.

Пока переговоры находятся на ранней стадии. Любая такая схема, вероятно, потребует одобрения Конгресса.

GFusion показывает, что LLM можно ускорять не только за счёт железа.

Сбер открыл исходный код экспериментальной диффузионной языковой модели на базе GigaChat.

В классической autoregressive-схеме модель генерирует текст токен за токеном. GFusion работает иначе: сначала создаёт приблизительный «набросок» ответа, а затем пошагово дорабатывает его — так же, как нейросети генерируют изображения и видео.

За счёт этого модель получилась до 70% быстрее GigaChat3-10B-A1.8B и на 39% быстрее версии с MTP.

Просадка качества при этом осталась в пределах 2–4 п.п.

В open source выложили не только саму модель, но и обучение, оптимизированные attention-ядра и поддержку в SGLang.

Интересная деталь: весь проект реализовал стажёр команды GigaChat Pretrain — и теперь он работает в штате.

Пока большая часть индустрии упирается в стоимость GPU, latency и дата-центры, часть ускорения может лежать в архитектуре генерации. Не в том, где запускать модель, а в том, как именно она генерирует ответ.

Habr: https://habr.com/ru/companies/sberbank/articles/1054690/
Модель: GFusion-10B-A1.8B-base GFusion-10B-A1.8B
GitVerse

🖥 NVIDIA только что выпустила на Hugging Face квантованную версию Mistral Medium 3.5.

Это dense-модель на 128B параметров

с контекстным окном 256k,

работающая в точности NVFP4 на Blackwell GPU

и почти без потери качества.

Model: https://huggingface.co/nvidia/Mistral-Medium-3.5-128B-NVFP4

Base model: https://huggingface.co/mistralai/Mistral-Medium-3.5-128B

RPC-Bench: новый бенчмарк для long-context, RAG и multimodal paper understanding

На ModelScope вышел RPC-Bench - датасет для проверки моделей на реальном понимании научных статей.

Он заточен не под короткие QA, а под задачи, где модель должна работать с длинным контекстом, PDF-структурой, визуальными элементами и вопросами в стиле peer review.

Внутри есть текстовые и визуальные входы: Markdown, оригинальные PDF, результаты парсинга и изображения страниц. Это делает RPC-Bench полезным не только для LLM, но и для VLM-оценки, где важно понимать документ как полноценный артефакт, а не просто набор извлечённых абзацев.

Масштаб тоже серьёзный: 61,3K QA-пар из 4 150 научных работ, включая около 15K human-verified QA-пар для evaluation.

Интересная часть в происхождении данных. Вопросы собраны из реальных review-rebuttal exchanges, поэтому они ближе к тому, как статью проверяет рецензент: методы, доказательства, claims, слабые места и соответствие выводов экспериментам.

По результатам видно, что задача далека от решённой. Даже GPT-5 набирает только 68,2% по correctness-completeness, а после conciseness adjustment результат падает до 37,46%.

Dataset: https://modelscope.ai/datasets/zai-org/RPC-Bench
Paper: https://modelscope.ai/papers/2601.14289

✔️ Худший сценарий для США в ИИ-гонке уже не выглядит фантастикой

Китай делает ставку не на один прорыв, а на сборку всей ИИ-инфраструктуры внутри страны.

Open source здесь не про альтруизм. Это способ быстро набрать пользователей, занять рынок, снизить зависимость от западных API и давить на американские закрытые модели ценой и доступностью.

Параллельно Китай тянет модели на свой стек. Huawei-чипы пока сильно уступают NVIDIA, но для Пекина важна не только максимальная производительность на один ускоритель. Важны объём, контроль поставок и возможность разворачивать модели без критической зависимости от США.

У Америки проблема не только в конкуренции моделей. Спрос на дата-центры растёт быстрее, чем вводятся новые мощности. Даже если GPU есть, их нужно где-то разместить, охладить и подключить к сети.

Следующая волна ИИ требует огромной стабильной генерации и мощной электросети. Китай отвечает на это строительством: солнечные станции, новые энергомощности, атомные проекты. В 2025 году он добавил солнечных мощностей примерно столько, сколько США строили много лет.

Риск в том, что Китай может взять масштабом, дешёвым доступом к вычислениям, локальной инфраструктурой и скоростью ввода мощностей.

США всё ещё впереди по frontier-моделям, чипам, капиталу и исследовательской экосистеме. Но лидерство становится дороже поддерживать. Если одна сторона упирается в дата-центры и сеть, а другая параллельно строит энергию, железо и open-source-канал распространения, разрыв начинает сжиматься не на уровне красивых демо, а на уровне физической инфраструктуры.

LLM в поддержке: от шаблонов к точной работе с документами компании

✅ На открытом уроке разберём, как устроены современные решения на базе LLM, почему они не просто генерируют текст, а используют знания компании для подготовки ответов, и как такие инструменты помогают ускорять обработку обращений.

На практических примерах покажем, как документы превращаются в базу знаний для ИИ, как происходит поиск информации по запросу клиента и каким образом LLM помогает оператору поддержки готовить ответы. Также поговорим о том, как подобные решения применяются в бизнесе уже сегодня.

Урок пройдёт 6 июля в 20:00 МСК в преддверии старта курса «LLM-инженер». Это возможность познакомиться с современным подходом к созданию интеллектуальных сервисов, задать вопросы эксперту и понять, как внедрять подобные решения в реальные процессы компании.

➡️ Регистрация открыта: https://otus.pw/ldwU/?erid=2W5zFHJC1vy

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Google Cloud показал reference architecture для multi-tenant AI-агентов.

Смысл простой: в компании может быть много агентов для разных команд, но каждый должен видеть только свои данные, свои tools и свои правила доступа.

Архитектура строится по hub-and-spoke модели.

В центре - routing, IAM, security, логи и мониторинг.

По краям - отдельные tenant projects для бизнес-юнитов: поддержка, финансы, продажи, аналитика.

Запрос проходит через Load Balancer, Cloud Armor, IAP и Model Armor, затем уходит в нужный tenant.

Внутри tenant-а агент работает через Agent Runtime, ADK, MCP-серверы и свой datastore, например BigQuery или AlloyDB.

Ключевая деталь - изоляция.

Principal Access Boundary Policy не даёт агенту одного tenant-а лезть в данные другого.

Model Armor проверяет prompt injection, PII и опасный контент.

Это хороший шаблон для enterprise AI: не один общий агент на всю компанию, а управляемая система с границами доступа, аудитом и безопасностью.

Документация:
https://docs.cloud.google.com/architecture/multi-tenant-agentic-ai-system

В показаниях Дарио Амодеи в Сенате в 2023 году есть кусок, который сейчас читается совсем иначе.

Он прямо писал, что государство может обязать все AI-модели проходить тесты и соответствовать стандартам до деплоя. И отдельно признавал, что такие правила могут привести к «существенному замедлению разработки AI».

То есть замедление не выглядит случайным побочным эффектом. В этой рамке оно становится допустимой ценой регулирования.

Амодеи писал, что открытые модели нормальны «до определённого масштаба». Но если достаточно мощная open-source модель становится доступной, плохие акторы могут её переиспользовать.

Для рынка это тревожный сигнал.

Как только открытая модель начинает приближаться к frontier-уровню и угрожать бенчмаркам закрытых лабораторий, её можно переопределить из исследовательского артефакта в объект национальной безопасности.

GLM 5.2, Qwen, DeepSeek, Llama, Mistral и любые будущие сильные open-weight модели попадают ровно в эту зону риска.

Закрытую модель можно ограничить API, KYC, rate limits, географией, контрактами и правительственными требованиями. Open-weight модель после релиза уже не вернуть обратно. Её скачали, скопировали, дообучили, запустили локально, разнесли по зеркалам.

С точки зрения регулятора это может выглядеть как «неконтролируемый экспорт frontier AI».

Поэтому следующий удар, вероятно, будет не по чат-ботам, а по инфраструктуре вокруг открытых моделей: доступ к весам, хостинг, compute, дата-центры, экспорт GPU, облачные аккаунты, публикация чекпойнтов.

Формально всё будет называться безопасностью цепочки поставок AI.

На практике это может стать механизмом, который отделит допустимый open source от слишком сильного open source.

https://x.com/AndrewCurran_/status/2070244303923007831

🚨 Alibaba, как утверждается, не взламывала Claude.

Схема была другой - и куда опаснее.

По данным Anthropic, с 22 апреля по 5 июня 2026 года операторы, связанные с Alibaba/Qwen, создали около 25 000 фейковых аккаунтов и прогнали через Claude 28,8 млн диалогов.

Зачем?

Не чтобы просто пользоваться моделью.

А чтобы собрать её ответы и обучать на них свои системы.

Это называется model distillation.

Смысл простой: не нужно красть код модели. Достаточно массово задавать ей вопросы, сохранять ответы и потом учить другую модель повторять похожее поведение.

Anthropic называет это одной из крупнейших атак такого типа против компании.

И масштаб растёт.

Ранее Anthropic уже указывала на похожие случаи:

→ DeepSeek - 150 000 взаимодействий
→ Moonshot AI - 3,4 млн
→ Alibaba/Qwen - 28,8 млн

Разница уже не в процентах, а в порядке величин.

По версии Anthropic, цель таких схем - перенести возможности западных frontier-моделей в китайские системы быстрее и дешевле, чем обучать всё с нуля.

Именно поэтому история вышла за рамки обычной конкуренции.

После письма Anthropic в Сенат США тема быстро стала вопросом национальной безопасности. А доступ к самым продвинутым моделям вроде Mythos и Fable, по сообщениям, начали ограничивать.

Теперь это технологическая война, где «кража» может выглядеть не как взлом сервера, а как миллионы обычных запросов к чат-боту.

https://x.com/Polymarket/status/2069892570214179081

В Китае, по сообщениям, вырос чёрный рынок токенов для Claude.

Пользователям продают доступ почти на 93% дешевле, чем у Anthropic. Но такая скидка появляется не из воздуха.

Схема держится на трёх вещах.

Первая - дробление аккаунтов.

Продавцы массово создают платные аккаунты с большими лимитами и делят их между клиентами по часовым квотам. Один аккаунт превращается в пул для десятков или сотен пользователей.

Вторая - подмена модели.

Человек думает, что общается с Claude Opus, а на деле ему может отвечать более дешёвая Claude Haiku или вообще другая модель вроде Qwen.

Третья - перепродажа данных.

Самая опасная часть - логи чатов. Там могут быть код, документы, рабочие переписки, личные данные, пароли, API-ключи и коммерческая информация.

Эти данные могут уходить компаниям для обучения моделей или попадать к мошенникам. Дальше - спам, фишинг, шантаж и другие неприятные истории.

Всё это существует, несмотря на блокировку Claude в Китае.

Для обхода используют Transfer Stations - прокси-площадки, через которые чат-боты получают доступ к токенам. Поставщиков выбирают по цене, стабильности и аптайму.

Отдельная часть схемы - аккаунты и KYC. По сообщениям, для верификации используют купленные данные людей из бедных регионов Азии, Африки и Латинской Америки, а также синтетические AI-личности.

Трафик часто гонят через страны, где Claude доступен, например через Сингапур.

Ирония в том, что из-за таких схем маленький Сингапур внезапно стал одним из лидеров по использованию Claude на душу населения.

Главная мысль простая: подозрительно дешёвый доступ к топовой модели может стоить не $5.

Он может стоить ваших данных.

https://www.chinatalk.media/p/how-to-buy-cheap-claude-tokens-in

SpaceX и xAI постепенно превращаются в новоый Oracle.

Сообщается, что Reflection получит быстрый доступ к чипам Nvidia GB300 через SpaceX.

За это компания будет платить $150 млн в месяц, начиная с 1 июля 2026 года.

Если сделка продлится до 2029 года, её общая стоимость может достичь примерно $6,3 млрд.

У кого есть GPU, энергия и дата-центры, тот фактически становится новым облачным гигантом.

https://www.cnbc.com/2026/06/22/spacex-ai-colossus-data-center-reflection.html