ML&|Sec Feed

просто очень красиво

Маленькие локальные модели под узкие задачи

AVB выложил тред и 45-минутное видео про практичный пайплайн для маленьких локальных языковых моделей: сначала генерируем синтетический датасет под узкий класс задач, затем обучаем модель примерно на 100M параметров и проверяем её через отдельный harness.

Сильная часть треда в том, что автор не оставил это как абстрактную идею. В комментариях он приложил рабочие артефакты: WIP-репозиторий, библиотеку для генерации датасетов, harness neural-txt и локально сгенерированный датасет.

В комментариях быстро всплыли нормальные прикладные вопросы. Один пользователь спросил, применим ли подход к нескольким тысячам страниц нормативных документов и судебной практики; AVB ответил, что да, если учить модель конкретным задачам внутри домена через техники генерации датасета. Другой участник принёс похожий опыт с DotLM-165M. Ещё один задал более фундаментальный вопрос: если вся информация уже содержится в seed data, что именно добавляет синтетическая генерация?

Ответ на практике упирается не в число параметров. Маленькая модель может быть быстрой, дешёвой и локальной, но пайплайн разваливается там, где синтетические примеры плохо покрывают реальные запросы, а eval проверяет не то поведение. Поэтому самая полезная мысль из ветки: при обучении узких моделей сначала проектируются данные и проверка, а уже потом выбирается размер модели. Для внутренних инструментов, юридических корпусов, классификаторов, извлечения полей и однотипных ассистентов такой подход может быть рациональнее, чем постоянный вызов большого универсального LLM.

этот перевод сделан нейронкой, У МЕНЯ ЭТО ЗАНЯЛО ДОЛБАННЫЕ 3-4 ЧАСА НОЧЬЮ, чтобы дать вам крутой контент, поэтому если вам такое нравится, то ставьте много реакций и поддерживайте мою работу в комментах. В комментах я скину 60 секундные семплы оригинального английско-индуского видео и перевод от меня

🌚 @poxek_ai / Чат канала

AIRQ Framework – очень классное исследование и подход оценки безопасности использования ИИ-агентов в корпоративной среде: в рамках работы изучили сотню агентов, которые предварительно разбили на десять классов (по специфике работы), на предмет выявления рисков, связанных с предоставлением доступа к данным и выполнению критичных операций.
В итоге все агенты разнесли на четыре профиля риска, основываясь на определенной поверхности атаки, эффективности защитных мер и размере возможного ущерба (в случае компрометации агента):
🟠Exposed Giants – широкие возможности, но слабая защита.
🟠Fortified Leaders – мощные возможности с пропорциональными мерами защиты.
🟠Humble Providers – ограниченные права доступа и слабая защита.
🟠Tight Operators – узкая специализация и сильная защита.

На сайте сделали удобную визуализацию результатов сравнения, а для каждого (из сотни!) агентов есть подробное описание профиля риска, советы по харденингу и ссылки на документацию/связанные исследования/уязвимости.
Помимо точечных выводов по каждому агенту, есть аналитика по каждому классу агентов и рекомендации по выбору решений и организационным мерам защиты.

#ai #framework #airq #risk #controls #research #vulnerability #agent #hardening

Концепция Gotham от Palantir (использует технику онтологий, средствами которых разнородные данные из множества источников оснащаются смысловой информацией и унифицируются для совместного анализа. Онтологии в продуктах Palantir могут быть одного из трёх типов:

сущности — cубъекты или объекты реального мира
события — действия над сущностями, происходящие в определённый момент времени и в определённой точке пространства)
документы — подтверждения сведений о реальном мире, сведённые в унифицированный формат (используется HTML)

src: https://t.me/neuraldeep/2170

AI SWAT от IBM 🔫

Продолжаем рубрику трансформации компаний в AI-native. Сейчас, мы уже понимаем, что недостаточно только использовать ИИ-инструменты в деятельности каждого сотрудника. Нужно менять комплексно: инфру, хранение и передачу информации, найм, обучение, мотивацию и конечно же процессы.

Но помимо этого, теперь нужно иначе сетапить команды. И вот IBM делится своим видением команды будущего, для них правда уже настоящего. 🤙

🧐 Проблема: почему большинство ИИ-проектов не доходят до результата???  
Действительно, почему. Мы находимся в переломном моменте: инвестиции в ИИ огромны, компаниям не хватает видения или технологий, а скорость внедрения остается критическим вызовом. Корень проблемы - устаревшая операционная модель, ориентированная на рабочую силу и не способная эффективно координировать работу ИИ-агентов.

Многие видят решение в найме так называемых Forward Deployed Engineers (FDE) - универсальных специалистов, сочетающих инженерные и бизнес-компетенции. Однако ставка на отдельных звезд не решает системных проблем: фрагментированных данных, сложной архитектуры и требований к управлению. Кстати, такие же проблемы решали переход от дружин к регулярной армии, фаланга Македонского против войска Персов, черепаха римлян вс гальские племена. 💪

💡 Решение: подразделения Forward Deployed Units 🪖

IBM предлагает модель, где AI становится фактором масштабирования, а не просто помощником. Единицей работы становится FDU "передовое развернутое подразделение" - гибридная команда из людей и ИИ.

Традиционная модель разделяет мышление и исполнение, из-за чего теряется контекст. FDUs объединяют разработку решения и его непрерывную поддержку в едином цикле.

Состав FDU:

По краям – люди (6 человек): бизнес-аналитики (перепроектируют процессы), архитекторы (связывают стратегию с исполнением), инженеры (строят и масштабируют решения).
В центре – цифровая рабочая сила: специализированные AI-агенты, которые под руководством человека занимаются кодом, тестированием и документацией.

Прям вспомнил тут про клин или свинью у тевтонцев 🏰, вижу как строем пойдут и потонут на Чудском озере.

Эффективность: один FDU из 6 человек выполняет объем работы, ранее посильный для команды из 30 человек, с лучшей экономикой. 📈

🚀 Как это работает на практике

Платформа IBM Consulting Advantage. Все FDUs работают на этой AI-платформе, те объединяя инструменты, контекст компании/проекта и агентов поверх для быстрого масштабирования.

Постоянная работа, а не проектный подход. FDUs интегрируются в команду клиента, наращивая его внутренние компетенции для самостоятельной работы с ИИ в будущем.

Примеры: Подразделения FDUs IBM уже работают с Riyadh Air, Nestlé, Heineken и Pearson.

💎 Значение для бизнеса

IBM намерена развернуть FDUs по всему миру (Азиатско-Тихоокеанский регион, Европа, США). По словам руководителя IBM Consulting, следующая глава развития ИИ будет определяться не моделями, а способностью превращать их в устойчивую бизнес-ценность.

Чем отличается это от уже привычных нам data swat, DS-swat и тп в компаниях?

SWAT‑команды в привычном понимании работают по принципу "выстрелил и забыл" - они приходят, решают проблему и уходят. Тем самым зрелость не растёт, а порой даже копится техдолг у run команд, которым передаются такие adhoc решения. Нет системности, нет нормальной передачи компетенции, только закрытие дыр.

Модель FDU предполагает постоянную работу на непрерывный цикл: стратегия → разработка → внедрение → поддержка, но с агентами 🧠

Да, ещё пока эта структура команд используется на внешних проектах, посмотрим что это даст как альтернатива старым swat подходами внутри. 👍

Про TinyLM

репозиторий MCUNet - ссылки по TinyLM на микроконтроллерах
пост позитивов про Эдж вычисления и немного про лекговесный  ML
от Гарварда по TinyLM курс , учебник

source: https://t.me/okmlai/138

«Сбер» совместно с рядом партнеров протестировал на A2A-платформе GigaNetwork сделки между ИИ-агентами

Каждый из них привязан к конкретной компании, проходит верификацию и действует в рамках выданных полномочий.

Ключевые события взаимодействия фиксируются в блокчейне. Безопасность взаимодействий обеспечивается за счет банковской идентификации пользователей платформы и встроенных механизмов проверки контрагентов.

В дальнейшем в среду взаимодействия планируется встроить дополнительную финансовую инфраструктуру: эскроу и смарт-контракты.

🔗 Источник: https://www.sberbank.ru/ru/sberpress/all/article?newsID=9c80800f-1dfb-409b-b7ed-bce9536a027c&blockID=1303&regionID=77&lang=ru&type=NEWS

***
📎 В мае «Яндекс» завершил бета-тестирование Yandex Commerce Protocol — протокола для интеграции ИИ-агентов с интернет-магазинами.

Claude помогает создавать следующего Claude. К чему это нас приведет?

Anthropic выпустили большой текст о recursive self-improvement, то есть о концепции, в которой модель самоулучшается и обучает сама себя.

По данным стартапа, на май 2026 года больше 80% кода, который попадает в их продовую кодовую базу, написан Claude. А во втором квартале 2026 типичный инженер мержил в 8 раз больше кода в день, чем в 2024 году.

У людей все еще есть преимущество преимущество в большом контексте, постановке целей и выборе направления (в общем, в research taste). НО Claude уже автоматизирует большую часть работы, из которой состоит разработка следующего Claude.

Чем вам не начало полного цикла self-improvement?

Плюс, агенты уже хорошо справляются даже с рисерчем, особенно если есть заданная метрика. Антропики пишут, что проводили эксперимент, в котором дали агентам и людям одинаковую задачу по AI-safety, и в итоге два человека за неделю улучшили решение примерно на 23%, а агенты (внимание) – на 97%.

Так что количество делегируемых агентам задач в сфере обучения моделей и исследованиях увеличивается и будет увеличиваться.

Anthropic пишут, что процесс развивается быстрее, чем они думали, и что миру нужны механизмы координации, вплоть до возможности замедления или паузы frontier-разработки.

Сингулярность, ты ли это?

Anthropic presentó Attack Navigator, una herramienta que adapta el marco MITRE ATT&CK al análisis de amenazas potenciadas por IA tras estudiar 832 cuentas bloqueadas por actividades ciberofensivas entre marzo de 2025 y marzo de 2026. El análisis muestra un cambio relevante: los actores maliciosos ya no utilizan modelos principalmente para phishing o generación de malware básico, sino cada vez más para etapas avanzadas de las operaciones, como movimiento lateral, descubrimiento de cuentas y otras actividades posteriores al compromiso. Según Anthropic, la autonomía creciente de los sistemas de IA está reduciendo la importancia del nivel técnico del atacante como indicador principal de riesgo.

El informe también concluye que los marcos tradicionales de clasificación de amenazas no reflejan completamente los riesgos introducidos por agentes de IA capaces de encadenar múltiples acciones de forma autónoma. Anthropic sostiene que la combinación de razonamiento, uso de herramientas y automatización permite que actores menos sofisticados ejecuten operaciones que antes requerían capacidades avanzadas, dificultando distinguir entre amenazas de bajo y alto nivel únicamente por su complejidad técnica.

https://red.anthropic.com/2026/attack-navigator/

MCP анонсировали крупнейшее обновление протокола

Стоило мне в прошлом посте написать, что интерес к MCP-инструментам постепенно снижается, а к агентным навыкам — растет, как разработчики MCP анонсировали крупнейшее обновление протокола с момента его релиза.

Ключевым изменением стал уход от хранения сессий на уровне протокола в сторону stateless-архитектуры. Вместе с этим исчезают отдельный запрос initialize и заголовок Mcp-Session-Id, который раньше использовался для привязки последующих запросов к конкретной сессии.

Теперь каждый запрос содержит поле _meta с информацией о клиенте и версии протокола. Подробный разбор принципов работы текущей версии MCP можно посмотреть в одном из моих первых постов.

При этом MCP позволяет работать со stateful-приложениями, но состояние теперь должно передаваться явно. В примере из блога показан процесс создания и использования корзины, где в запросах используются идентификаторы basket_id.

Первая мысль при прочтении: появляется новая поверхность, где разработчик может оставить очередной IDOR. С точки зрения безопасности теперь нужно добавлять дополнительные меры управления доступом непосредственно в бизнес-логику приложения: проверять владельца объекта и корректность использования идентификаторов.

Изменения также частично касаются авторизации. Теперь спецификация ближе к классическому OIDC-процессу:

▸ Клиенты должны валидировать параметр iss в authorization response. В будущем ответы без iss планируется отклонять, поэтому инфраструктуру стоит готовить уже сейчас.

▸ Учетные данные клиента теперь должны быть привязаны к конкретному issuer, чтобы снизить риск путаницы между разными MCP-серверами, когда токен отправляется не на тот сервер.

Но это все еще не полноценная модель разграничения доступа в MCP: проверка того, какой пользователь может вызвать конкретный инструмент и с какими параметрами, остается задачей MCP-сервера или отдельного policy engine.

Из других изменений: обязательные заголовки Mcp-Method и Mcp-Name для более удобной балансировки трафика и кэширования, например запросов tools/list, а также новый механизм Extensions. С его помощью новые возможности MCP можно добавлять как отдельные расширения, не меняя базовую часть протокола.

Это лишь предложения по изменениям, и к релизу ситуация может измениться. Может, рано я все-таки списал их со счетов?..

Alexa, купи 200 кг корма для кота

Представьте: вы сидите на созвоне в Zoom, а на фоне тихо играет нейтральная музыка. Ничего подозрительного, правда? Но в этот самый момент ваш корпоративный ИИ-транскрибатор может получать скрытые команды на поиск секретных файлов и их отправку злоумышленникам.

Исследователи из нескольких азиатских университетов представили новую технику атаки под названием AudioHijack. Она позволяет прятать вредоносные инструкции для ИИ-моделей прямо в аудио: подкастах, песнях, видеороликах или голосовых сообщениях на YouTube и других платформах.

Хакеры слегка изменяют звуковые волны — для человеческого уха это звучит просто как легкое эхо в комнате. Но ИИ-ассистенты считывают эти микроскопические изменения как прямые команды к действию.

Для такой атаки не нужны вирусы, вредоносное ПО или физический доступ к устройству. Атака идет напрямую через звук. Во время тестов 13 популярных аудиомоделей ИИ успешно выполняли скрытые команды в 79-96% случаев.

Небольшой портал со статистикой и аналитикой по уязвимостям, обнаруженным с помощью автономных ИИ-агентов.

Ключевые выводы:
➡️В 2026 году наблюдается резкое сокращение (–68%) количества обнаруженных агентами классических веб-уязвимостей, таких как XSS, SQLi и CSRF, по сравнению с 2025 годом.
➡️Уязвимости, найденные ИИ, чаще (по сравнению с остальными) получают высокие или критические оценки по CVSS, однако, вероятность эксплуатации (по EPSS) почти всегда околонулевая. Например, EPSS > 80% зафиксирован только у трех уязвимостей.
➡️Чаще всего ИИ-агенты успешно находят уязвимости XSS, Code Injection и Path Traversal. Совсем плохи дела с Resource Management Errors, PHP File Inclusion, Embedded Malware и Protection Failure.
➡️Разные компании (разработчики ИИ-агентов) доминируют в различных метриках. Например, Anthropic лидирует по количеству найденных критических уязвимостей (40), в то время как Hacktron AI находит наиболее опасные с точки зрения эксплуатации уязвимости (самый высокий средний показатель EPSS — 12,77%). Организация AISLE Research Team лидирует по общему объему и разнообразию найденных типов уязвимостей.

#ai #vulnerability #cve #epss #cwe

Помните кейс LiteLLM?

Мы дропаем OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода:
- 3 языка: Python, JavaScript, TypeScript
- 400 вредоносных пакетов, 400 чистых из pypi/npm
- пофайловая LLM разметка, о которой говорили на OFFZONE прошлым летом
- Открытая лицензия, BSD-2

Открытые решения на нем набирают не больше 75% F1, выдавая ~50% False Positive результатов...

Те, кто уже нажал звездочку на гитхабе, могли заметить, что в таблице мы также анонсим MOLOT - нашу модель для решения этого класса задач. Ловите блогпост, а на подходе arxiv статья с подробностями про анализ графов вызовов бертами, LLM разметку и выкатку в prod!

Ждите дроп статьи в канале, stay tuned!

Positive Technologies научила ИИ замечать подозрительные сценарии в коде

Positive Technologies сообщила о разработке нейросети MOLOT, предназначенной для поиска вредоносного кода в проектах на Python, JavaScript и TypeScript. Технология уже используется в составе анализатора исходного кода PT Application Inspector версии 6.0.

🔥 AM Live

PewDiePie выпустил бесплатный open-source ИИ-агент, который работает локально и не сливает ваши данные корпорациям

За первый день проект собрал почти 20 000 звёзд.

Человек, который больше десяти лет был лицом YouTube-летсплеев и развлекательного контента, теперь собирает железо под LLM, дообучает модели и выкатывает open-source инструменты для локальных агентов.

Сначала он показал домашнюю машину примерно за $20 000, собранную под запуск ИИ-моделей без облачных сервисов. Аргумент у него простой: не отправлять личные данные в чужие API, не зависеть от подписок и держать весь стек у себя.

Потом он начал экспериментировать с дообучением моделей и заявлял, что его вариант на отдельном бенчмарке обгоняет даже топовые закрытые решения.

Теперь появился Odysseus - open-source оболочка для self-hosted AI-среды.

Это уже не просто «запусти модель через терминал». Идея ближе к локальному ChatGPT для своих задач:

- удобный интерфейс
- память
- работа с инструментами
- хранение данных у себя
- поддержка агентов
- подключение моделей через Ollama, llama.cpp и vLLM
- гибкая настройка доступов

Видео: https://youtu.be/rAzT5lcezPs

GitHub: github.com/pewdiepie-archdaemon/odysseus