ML&|Sec Feed

Hyundai смогли запустить конвейерное производство гуманоидных роботов Boston Dynamics.

Это создает потенциал для развития этой индустрии, и появлению в 2030-2035 нового бума - массового распространения роботов.
Соответственно, для кибербезопасности ИИ - новый объект защиты, вызов, задачи и конечно решения.
Какими будут гардрейлы для роботов?.. Как предотвратить бунт роботов на dark factory?
Я в предвкушении)

https://www.youtube.com/watch?v=Bo0PcuqjNhE

Почему модели тяготеют к правде?

Модель, это по факту большой компрессор, который в сохраняет информацию в своих весах при обучении. А какие данные хорошо компрессятся? Правильно, согласованные данные. Эзотерика, теории заговора и тупо ошибки плохо согласуются с общей картиной мира, поэтому, даже когда в обучающем датасете полно мусора (вплоть до 90%), модель все равно выучивает правду

Подробнее об этом написал мой коллега, Костя Крестников, в своем исследовании

П.С. Важный вывод, который делает Костя — "Координированная дезинформация для компрессора неотличима от правды"

Зарелизилось еще одна прикольная серта по AI Sec

Будем посмотреть, детали потом постараюсь накинуть

А пока просто ссылка https://academy.hackthebox.com/preview/certifications/htb-certified-offensive-ai-expert

И не забываем что есть такой AI Sec Certs Landscape.

PS еще бы время на это дело найти)

DARPA запускает программу роевого ИИ

DARPA выпустило приглашение на «День для потенциальных подрядчиков» перед планируемым запуском программы MATHBAC — «Математика усиления агентной коммуникации».

Суть программы — создать для нужд обороны новое поколение платформ агентного искусственного интеллекта: систем из множества ИИ-агентов, которые самостоятельно общаются между собой, распределяют задачи и совместно находят решения.

MATHBAC — это попытка научить рои ИИ-агентов думать, общаться и принимать решения быстрее любого человека, используя математику, теорию информации и теорию систем.

Один из ключевых пунктов программы — ИИ-агенты должны не просто решать задачи, но и понимать принципы собственного функционирования. Американцы хотят создать ИИ, который сам себя «чинит» и «переучивает» в полевых условиях.

DARPA ищет компактные, быстрые и специализированные ИИ-системы, а не громоздкие языковые модели вроде ChatGPT. Такие системы можно разместить на боевом корабле, самолёте или спутнике — они будут работать без подключения к облаку.

🔒DARPA&CIA

«Авито» заплатит за уязвимости в ИИ-сервисах

Компания расширила действие программы Bug Bounty и повысила максимальную выплату за критические проблемы безопасности до 1 млн рублей. Независимые исследователи теперь смогут тестировать ИИ-решения платформы, включая будущих ассистентов «Ави» и «Ави Pro». В программу включили и новые продукты компании — HR Messenger, HRMOST, «Автохаб» и Haraba.

➡️Подробнее читайте на портале «Киберболоид».

#киберболоид #новости

ИИ-агент под охраной.

Итак, относительно недавняя новость: исследователи предложили концепцию, в которой агентного ИИ-работника, умеющего что-то делать с последствиями в реальном мире, для безопасности стоит заключить в виртуальную камеру-песочницу.

И поставить на периметре ИИ-охранника, чтобы бил первого по рукам, когда тот попытается натворить что-то не то, в соответствии с политикой безопасности.

Инструкции для неё, то есть “конституцию безопасности”, можно писать на обычном языке, в данном случае английском.

Не специалист по соответствующим технологиям, по существу могут прокомментировать “настоящие сварщики”, например, Влад. Не могу сказать, взлетит ли, может и разумно звучит, время покажет.

Может быть, кривая развития так называемого ИИ приведёт к разнообразному разделению труда внутри наших устройств. Будет полная коробочка сущностей, первая пишет код, вторая созванивается, третья детали на складе заказывает, а четвёртая первых трёх стережёт, чтобы чего не удумали.

Ну а может быть, будет монолитный, шибко умный ИИ — и швец, и жнец, и на дуде игрец.

Тема немного рифмуется, например, с ломанием копий вокруг архитектуры ОС. Ну и мы тоже поучаствовали, и конечно же, для построения конструктивно безопасных ИТ-систем нужна полная изоляция компонентов!

Хочу напомнить, что, конечно, и “охранник”, и “агент-работник”, и прочие “сущности” – это не настоящие персонажи, не носители интеллекта, а алгоритмы, да, тяжёлые, сложные, требующие огромных вычислительных мощностей, просто непредставимых лет 30 назад.

Это не личности, а средства автоматизации самых разных задач, которые раньше не получалось автоматизировать, а теперь — получается. Участвовать в этой технологической волне, конечно, очень интересно.

⭐ Архитектура Безопасных AI-Агентов

Приветик, мои дорогие коллеги и самые талантливые друзья!

Весьма интересное и хорошо структурированное руководство по безопасной архитектуре ИИ-агентов, полностью доступное онлайн и бесплатно. Рекомендую к изучению (хотя бы сделайте беглый обзор). Подобный работ я еще не встречал, тем более тема горячая (да все только и делают, что говорят про ИИ-агентов))), поэтому важно находить крупицы времени и продолжать изучение этого направления.

Ссылка: https://agent-axiom.github.io/agent-arch/

Архитектор MLSecOps и AI Governance
Николай Павлов

Ну и сама презентация.

#презентация #ии

В последнее время у меня много выступлений на тему ИИ (удивительно, да). В четверг выступал на форуме DATA + AI 2026 с рассказом о безопасности ИИ-агентов. Выделено было всего 20 минут, так что успел только пройтись по верхам. Но зато хоть вышел за рамки привычных рассказов о безопасности чатботов LLM.

#ии #стратегия #презентация #мероприятие

MLE-agent — ваш интеллектуальный помощник в разработке и исследованиях в области искусственного интеллекта.

Интеграция с arxiv и статьями с кодом для улучшения планов по разработке и исследованиям.

Поддерживаются OpenAI, Anthropic, Gemini, Ollama и другие.

🐱 GitHub

Paper2All — превратите вашу работу в веб продукт

Интегрирует другие рабочие пакеты на протяжении всего процесса "paper2present".

Сайты научных проектов могут более эффективно распространять информацию об исследованиях, если на них четко представлен основной контент, а навигация и взаимодействие интуитивно понятны.

Однако существующие подходы, такие как прямая генерация, использование шаблонов или прямое преобразование в HTML, не позволяют создавать интерактивные сайты с продуманной версткой, а комплексного набора инструментов для решения этой задачи не существует.

PAPER2WEB — это автономный конвейер, который преобразует научные статьи в интерактивные академические веб-страницы. Агент итеративно дорабатывает контент и макет, чтобы создавать увлекательные интерактивные веб-сайты, оживляющие научные статьи.

🐱 GitHub

Дай человеку MCP для заказа и он перевернёт мир покупок.

Сегодня уже виден тренд на AI native трансформацию бизнеса: найм, обучение, инфра и adoption инструментов. Но кругом, мы видим, пока, AI inspired отдельных людей, чем компаний. Т.е. эффективнее стали единицы, а не общность. Но всеравно приятно, как эти энтузиасты осваивают наши решения и идут дальше. Вот пример, как MCP от ВкусВилл стал отправной точкой для создания такого решения заказов в Додо.

А почитать про наше решение, можно тут. Ещё примеры агентиков/ботиков с нашим MCP тут и тут. Хабр тут.

Присоединяйтесь и Вы. 👍

Agentic SOC в 2026: как ИИ-агенты меняют центр мониторинга безопасности и где им нельзя доверять

Agentic SOC — это не «ещё один модный модуль с ИИ», а переход от ручной обработки инцидентов и цепочек автоматизации к более самостоятельной модели, где агенты собирают контекст, обогащают инциденты, предлагают действия и иногда запускают безопасные реакции под контролем человека.

Проблема в том, что вместе с ускорением появляются новые риски: слишком широкие полномочия, ошибки сопоставления, внедрение вредоносных подсказок, неверные решения по изоляции и ложная уверенность в «умной автоматизации». Читать далее

#soc #information_security #ai_security #security_operation_center | @habr_ai

Русский учёный в 2002 году описал то, что мы сейчас называем ИИ-агентами 😳

По наводке Артема Остапенко познакомилась с книгой Валерия Тарасова «От многоагентных систем к интеллектуальным организациям».

Забавно. Еще в 2002 году, когда у меня и компьютера-то не было (свой первый запрос в Яндексе я напечатаю только через год), русский ученый написал 352 страницы про наше настоящее, причем такое, которое наступает прямо вот-вот, а не то что бы уже развернулось в полную мощь.

Таким образом, кое-что полезное на ближайшее будущее оттуда также можно почерпнуть.

Например, Валерий Тарасов описал, как ИИ-агенты кооперируются и распределяют задачи между собой.

К слову, именно это обнаружили в функции swarm mode внутри Claude Code.

Он также предугадал, что ИИ-агенты смогут общаться через особенные протоколы (привет, MCP!).

Ученый предвидел, что из набора простых агентов возникнут «интеллектуальные организации». Чем не прообраз современных AI-native компаний?

Валерий Тарасов даже вывел формулу:

Многоагентные системы (МАС) = агенты + среда + отношения + организация + действия + коммуникация + эволюция.

Замените «МАС» на «ИИ-агентная система 2026 года», и ничего не изменится 🤷‍♀️

Интересно, почему книга оказалась пророческой.

Тарасов не пытался угадать будущие технологии. Хотя, может, и пытался, но не методом тыка, а опираясь на фундамент: психологию деятельности Леонтьева, семиотику Лотмана (ох как хорошо филологи знают эту фамилию!!), теорию организаций.

То есть на то, как вообще устроены мышление, коммуникация и совместная работа — причём, неважно, у людей или у машин.

А мы сейчас переоткрываем эти же принципы.

Каждый раз, когда я настраиваю связку вроде «Claude + MCP + Google Sheets + Calendar» для клиента, я по сути собираю ту самую многоагентную систему из книги 2002 года. Агент, среда, действия, коммуникация. Всё по формуле ученого из Бауманки!

Фундаментальные принципы не устаревают. Нейросети, трансформеры, LLM — это новые инструменты. Но архитектура (взаимодействие, самоорганизация, общение через знаки) осталась той же.

Мы прямо сейчас собираем будущее из деталей, которые были описаны задолго до нас.

Просто теперь у нас наконец-то появились инструменты для его реализации.

@gruboprostiite

ИИ-агент взломал корпоративный чатбот McKinsey за два часа и получил доступ к 46 миллионам сообщений

ИИ-агент CodeWall взломал корпоративный чатбот McKinsey за два часа — без единого человека в петле. Агент сам выбрал цель, нашёл SQL-инъекцию через открытое API и получил доступ к 46,5 млн сообщений, 728 тыс. файлов клиентских данных и системным промптам, которые можно было перезаписать одним HTTP-запросом.

Самое опасное здесь не сам взлом, а то, что классические сканеры эту уязвимость не нашли бы. Агент распознал паттерн по сообщениям об ошибках. McKinsey залатал дыры за день, но вектор «ИИ атакует ИИ» никуда не делся.

🔗 Читать: https://mltimes.ai/ii-agent-vzlomal-korporativnyy-chatbot-mckinsey-za-dva-chasa/

Ян Лекун резко шагнул вперед в изобретении универсальной архитектуры для world models

Очень многие точно слышали про JEPA. Расшифровывается JEPA как Joint Embedding Predictive Architecture – Self-Supervised архитектура, предназначенная для понимания внешнего физического мира.

Идея там красивая: вместо предсказания следующего токена или генерации пикселей JEPA пытается предсказывать смысл наблюдаемого фрагмента на основе контекста (по факту это предсказание эмбеддингов).

Лекун считает, что это идеалогическая альтернатива привычному ИИ, потому что предсказание пикселей или токенов – это лишь имитация понимания структуры мира, а тут модель действительно учится понимать физику и логические связи.

Все это здорово, но основная проблема в том, что JEPA очень плохо обучается: лосс почти всегда схлопывается в тривиальное решение и реальной world model не получается.

Но кажется, теперь это препятствие разрушено. Лекун с соавторами выпустили статью, в которой представлена первая end-to-end JEPA, которая обучается из сырых изображений без эвристик, сложных лоссов и прочих танцев с бубном.

Модель красиво называется LeWorldModel (LeWM), и в ней всего 15М параметров. От коллапсов при обучении она защищается очень простым способом: кроме лосса на предсказание следующего latent-state, добавляется регуляризатор, который заставляет латенты быть похожими на изотропное гауссово распределение. Это и есть главный технический ход статьи.

На практике это значит, что рецепт, который раньше был капризным и дорогим в настройке, упростился настолько, что world models наконец-то можно скейлить во что-то рабочее.

Эксперименты, кстати, показывают, что LeWM действительно учит не ерунду, а нечто похожее на физическую структуру мира. Так что идея, кажется, работает.

www.alphaxiv.org/abs/2603.19312v1

Scanner - AI model safety scanner built on NVIDIA - https://github.com/0din-ai/ai-scanner

An open-source web application for AI model security assessments, built with Ruby on Rails and NVIDIA garak. Scanner helps organizations test their AI systems for vulnerabilities before deployment, similar to penetration testing for traditional software.

1️⃣ 179 community probes across 35 vulnerability families, aligned with the OWASP LLM Top 10
2️⃣ Multi-target scanning — test API-based LLMs and browser-based chat UIs
3️⃣ Scheduled and on-demand scans with configurable recurrence
4️⃣ Attack Success Rate (ASR) scoring with trend tracking across scan runs
5️⃣ PDF report export with per-probe, per-attempt drill-down
6️⃣ SIEM integration — forward results to Splunk or Rsyslog
7️⃣ Multi-tenant — multiple organizations on a single deployment, data encrypted at rest
8️⃣ No artificial limits — all features unlocked, unlimited scans and users