TGViewer
Channel Public Channel
The Engine Room

The Engine Room

@theengineroom

#незаметки в режиме write-to-learn
канал о #ai #cybersecurity #aisecurity #datacenter #energy

web: https://theengineroom.page/
web3: https://theengineroom.ton.run/
chat: https://t.me/TheEngineRoom_chat
Subscribers
506
Photos
6
Videos
0
Links
99
Recent Posts 20 shown
Post #143 403
Летний выпуск от OWASP, который прошел так же незаметно, как агенты выходят из песочницы.

Незаметка

#ai #cybersecurity #owasp #aisecurity #незаметки

The Engine Room👾
The Engine Room State of Agentic AI Security and Governance 2.01 Agentic AI Security перестал быть набором теоретических страшилок - есть реальные инциденты
Post #142 464
Post #141 771
GAS (Genetic Algorithm-Based Suffix) Leak LLM - black-box атака на LLM, где подбор суффиксов происходит автоматически

Незаметка

#ai #cybersecurity #gas #aisecurity #незаметки

The Engine Room👾
The Engine Room GAS-Leak-LLM: Алгоритм для black-box jailbreak атак Автоматическая оптимизация подбора суффиксов как способ проверки устойчивости LLM
Post #140 957
Документ “AI Cybersecurity Careers 2026” от SANS. Рассказывают о том, какие AI Security роли уже востребованы, как ИИ меняет кибербезопасность и почему ближайшие 2–3 года станут ключевыми для специалистов в области AI Security.

Незаметка


#ai #cybersecurity #sans #aisecurity #незаметки

The Engine Room👾
The Engine Room AI Cybersecurity Careers 2026 Карьерный обзор рынка AI Security на 2026 год
Post #139 515
Flipper One - возможно один из самых интересных хардварных проектов. Текущая версия направлена на сетевую безопасность и всё вокруг.

Команда открыто говорит не только о промоушене и как все гладко, но и о том какие финансовые и инженерные сложности приходится преодолевать. Очень крутые ребята!

https://habr.com/ru/amp/publications/1033162/

The Engine Room👾
Post #138 544
Хакатон от Google и Kaggle 15-19 июня. Бесплатный 5-дневный интенсив по AI-агентам и вайб кодингу.
По дням:
* день 1 — архитектура AI-агентов и multi-agent workflows
* день 2 — tools, MCP и интеграция с внешними сервисами
* день 3 — память, сессии и контекст инжиниринг
* день 4 — наблюдаемость, оценка, секурность и дебаг агентов
* день 5 — деплой, замеры и прод ИИ систем

The Engine Room👾
Kaggle 5-Day AI Agents: Intensive Vibe Coding Course With Google June 15 - 19, 2026
Post #137 514

Forwarded from Machine head - Александр О.

ИИ в больших инженерных командах

Давно собирался расписать.

В разговорах с тимлидами и CTO постоянно одна и та же картина: дали кодерам ИИ (тот же Cursor), надеялись на буст продуктивности, а бустанули число инцидентов или просто замедлились в тех или иных местах.

Непопулярное мнение, которое я транслирую в кулуарных обсуждениях: синьоры, которые саботируют ваше внедрение, в большинстве случаев правы. Если на них забить и продавить через KPI «процент кода от ИИ», получите ровно то, что получают все.

Поначалу я думал, дело в инструментах. Потом в зрелости команд. Потом в моделях. Оказалось, нет. Подход. Административная инициатива "сверху-вниз" без ясного понимания как это будет работать на местах, не работает с разработчиками высоких грейдов, и чем сильнее команда, тем хуже она работает.

Расписал, как с этим жить. Большой гайд для тимлида: почему решение спущенное сверху-вниз проваливается, что такое «подчинённая проактивная позиция» агента и три фазы развёртывания агентского кодинга, на которых скептики через пару месяцев становятся евангелистами.

Если у вас сейчас ровно эта боль на работе, должно зайти.

PS: Там же обещанные скилы для агентов и расписанный воркфлоу как кодить в кодовой базе любого масштаба, которыми я давно хотел поделиться. Наконец-то всё запаковал и постарался расписать во всех деталях.

Подписывайтесь на MachineHead и делитесь с друзьями! Stay tuned! ✌️

https://habr.com/ru/articles/1030314
Post #136 404
Отличный гайд как надо и как НЕ надо
Post #135 591
OpenAI выкатили System Card GPT-5.5 и, если коротко, то это уже не просто “модель”, а полноценный агент для реальной работы 🤖

1) Модель прокачали в практико-ориентированных задачах, теперь она сама лучше понимает задачу, требует меньше инструкций, умеет пользоваться инструментами и доводить задачи до конца без постоянного контроля
2) По этике - уровень примерно как у GPT-5.4, без резких деградаций, однако есть мелкие просадки в отдельных категориях (hate/extremism), но статистически незначимые
3) Галлюцинации снизились и фактические ошибки встречаются реже, примерно около 3%. При этом модель делает больше утверждений, а значит выглядит “умнее”, но риски всё равно присутствуют
4) В reasoning сделали упор на RL + длинное внутреннее рассуждение, то есть модель лучше следует политикам, а значит и сложнее ломается джейлбрейками.
5) Устойчивость к jailbreak и prompt injection высокая, но не идеальная - при сложных многошаговых атаках защита постепенно проседает
6) Агентное поведение сильно улучшилось, теперь модель лучше сохраняет пользовательские изменения, реже ломает окружение и аккуратнее работает с файлами
7) По выравниванию интересный момент - чуть выросло количество мелких выравнивающих-косяков, например, игнор инструкций или излишняя самостоятельность, но в целом без серьёзных инцидентов
8) В мониторинге цепочек рассуждения reasoning остаётся наблюдаемым, а способность скрывать мысли даже снизилась
9) Модель попрежнему очень высокопроизводительная и может сильно помогать экспертам, но сама не тянет на автономное создание серьёзных атак и поиск zero-day
10) В медицинских задачах есть прогресс. Улучшения частично связаны с длиной ответов и это явно контролируют метриками
11) На внешних оценках модель показывает очень сильный навык научного рассуждения, но при этом в рискованных сценариях старается уходить в высокоуровневые ответы и отказы

Общий вывод - это полноценный “рабочий агент”, который усиливает эксперта во многих доменах, но при этом остаётся в категории опасный мультитул, а не автономный источник новых угроз. Главный тренд в том что растут не только возможности, но и сложность их контроля - и именно это сейчас становится узким местом.

#ai #cybersecurity #aisecurity #openai

The Engine Room👾
Post #134 595
Practical AI Security.pdf8.5 MB
Практическое руководство по безопасности ИИ от Harriet Farlow с фокусом не на теорию, а на реальные атаки и защиту современных AI-систем.

Охватывает весь стек AI Security:
* Основы ML и архитектуры моделей;
* Модели угроз и анализ атакующей поверхности AI-систем;
* Практические атаки - adversarial, data poisoning, prompt injection, model extraction и др.;
* Методы защиты от обучения до системного контроля и mitigation-стратегии;
* Red teaming AI и применение AI в offensive/defensive security;
* AI Safety, governance и риски будущих агентных систем.

Книга сочетает теорию, код и методические упражнения, включая симуляции атак, тестирование моделей и построение защищённых пайплайнов.

Отдельный акцент на том, что AI — это не просто софт, а вероятностная система с новыми классами уязвимостей и недетерминированным поведением.

Подходит как для инженеров и исследователей, так и для специалистов по безопасности, которые хотят разобраться в поверхностях угрозы AI и научиться защищать реальные системы.

#ai #aisecurity #cybersecurity

The Engine Room 👾
Post #133 418
Открытая база уязвимостей и отказов в системах с применением ИИ

Предназначена для анализа рисков, red teaming и оценки безопасности AI-систем на основе воспроизводимых кейсов.

В базе:
* Реальные инциденты и отчёты об уязвимостях в AI-системах
* Описания паттернов атак и типовых слабых мест моделей и пайплайнов
* Метаданные по влиянию - тип вреда, затронутые системы, уровень риска
* Связки с существующими стандартами и таксономиями (AVID, CVSS, MITRE ATLAS)
* Разделение на единичные кейсы и обобщённые уязвимости
* Примеры оценок и измерений

Плюсы и минусы:
* Открытый и расширяемый источник знаний по AI security
* Стандартизированное описание уязвимостей
* Подходит для обучения, threat modeling и red teaming
* Фокус на практических, воспроизводимых кейсах
* Ограниченное покрытие, так как база всё ещё развивается
* Не все кейсы глубоко проработаны или подтверждены
* Требует контекста и экспертизы для правильной интерпретации

#ai #aisecurity #blueteam #redteam #cybersecurity

The Engine Room👾
avidml.org Database Open database of failure modes in general-purpose AI systems.
Post #132 402
Прокси-инструмент для безопасной работы с LLM через анонимизацию чувствительных данных.
Предназначен для пентеста и работы с приватной инфраструктурой без утечек.

Умеет:
* Перехват и модификация запросов к LLM API с заменой чувствительных данных на суррогаты
* Деанонимизация ответов — возвращает оригинальные значения пользователю
* Детекция PII через комбинацию regex и LLM
* Поддержка IP, доменов, email, токенов, имён хостов и других сущностей
* Локальное хранилище соответствий (PII vault)

#github #ai #cybersecurity #aisecurity

https://github.com/zeroc00I/LLM-anonymization

The Engine Room👾
GitHub GitHub - zeroc00I/DontFeedTheAI: Transparent anonymization proxy for AI-assisted pentesting. Strips IPs, credentials, hostnames… Transparent anonymization proxy for AI-assisted pentesting. Strips IPs, credentials, hostnames and PII before they reach any LLM (Claude, OpenAI, OpenRouter). Local Ollama + regex detection. Per-en...
Post #129 382
Anthropic выкатили System Card Claude Mythos Preview и говорят что пора пристегнуться, так как мы взлетаем🚀

1) Модель мощнее мощного и всего, что они делали раньше, особенно в рассуждении, коде и кибербезопасности.
Причём настолько, что умеет находить и эксплуатировать уязвимости, а также может использоваться как для защиты, так и для атак (сделали вид как будто бы до этого так не было)
2) Её не выпустили в общий доступ, вместо этого дали ограниченному числу партнёров и используют строго для defensive cybersecurity
3) Катастрофические риски оцениваются как низкие, но уже выше, чем у прошлых моделей. Есть тревожные сигналы - редкие, но опасные misaligned-действия. Сами авторы признают, что текущих методов безопасности может не хватить для более мощных моделей
4) Модель может сильно ускорять работу (синтез знаний, генерация идей и т.д.), но не тянет на уровень создания принципиально новых угроз, то есть только усиливает эксперта
5) Это самая “выровненная” модель Anthropic на текущий момент, но чем она сильнее, тем опаснее редкие ошибки
6) Отдельный интересный блок - model welfare в котором исследуют “состояние” модели, анализируют её поведение, ответы и “эмоциональные” паттерны. В итоге признают высокую неопределённость, но считают тему важной
7) Модель уже упирается в потолок классических бенчмарков, следовательно дальше оценки становятся более субъективными (экспертные оценки, внутренние наблюдения)

Общий вывод такой - мы уже на стадии, где модели быстро приближаются к сверхчеловеческим системам, а индустрия всё ещё не имеет надёжных механизмов контроля.

#ai #cybersecurity #aisafety #mythos #anthropic

The Engine Room👾
Post #127 396
У Anthropic cитуация...
Вернее даже ситуёвина!
А если конкретно, то часть подкапотного пространства Claude Code оказалось в общем доступе - это первое, второе - оно написано на TypeScript.

Это случилось при релизе обновления. В пакет попал файл с source map, который раскрыл внутренний код. То есть это ошибка сборки🥸

Код в относится к инструменту, а не к AI-модели, где видно:
* архитектуру
* логику работы агента
* комментарии разрабов
* вспомогательные элементы
* косвенная информация об архитектуре памяти
* инструкции поведения

Чего нет:
* весов модели
* данных обучения
* перс. данных

Из интересного - в комментариях к коду разрабы пишут что не уверены в производительности😳
В общем дел конкурентам добавилось. Китацы, наверное, уже выучили весь код наизусть. Узнать бы что наши биг техи скажут на это...🤔

#ai #cybersecurity #aisecurity #claude #anthropic

Ссылка на слитый код

The Engine Room ⬅
Post #126 412
PoC для эксплуатации уязвимости CVE-2026-33017 в фрейморке Langflow.
Уязвимость позволяет выполнить RCE на сервере без авторизации.

#github #ai #cybersecurity #aisecurity #langflow

https://github.com/MaxMnMl/langflow-CVE-2026-33017-poc

The Engine Room ⬅️
GitHub GitHub - MaxMnMl/langflow-CVE-2026-33017-poc: CVE-2026-33017 - An unauthenticated remote code execution in Langflow <= 1.8.1 via… CVE-2026-33017 - An unauthenticated remote code execution in Langflow <= 1.8.1 via Public Flow Build Endpoint - MaxMnMl/langflow-CVE-2026-33017-poc
Post #125 390
Open-source фреймворк для исследования.
Как работает:
- самостоятельно ищет информацию в arXiv, Semantic Scholar, OpenAlex;
- формулирует гипотезу и планирует исследование;
- пишет код, запускает его в изолированной песочнице и анализирует результаты;
- ищет ошибки в методологии и логике своей работы встроенными агентами;
- запоминает неудачные решения и не повторяет их.

#github #ai #openсlaw

https://github.com/aiming-lab/AutoResearchClaw

The Engine Room ⬅
GitHub GitHub - aiming-lab/AutoResearchClaw: Fully autonomous & self-evolving research from idea to paper. Chat an Idea. Get a Paper. 🦞 Fully autonomous & self-evolving research from idea to paper. Chat an Idea. Get a Paper. 🦞 - aiming-lab/AutoResearchClaw
Post #122 386
Подробный roadmap по AI Red Teaming.
Содержит в себе:
1) Prerequisites: Требуемая база - основы безопасности, знание Python и понимание работы REST API и HTTP
2) Phase 1 — Foundations: Базовые концепции машинного обучения и ИИ. Ссылки на бесплатные курсы и материалы по устройству LLM
3) Phase 2 — AI/ML Security Concepts: Обзор поверхности атак, стандарты безопасности, MLOps и защита инфраструктуры
4) Phase 3 — Prompt Injection & LLM Attacks: Методы манипуляции моделями. Включает прямые и непрямые инъекции промптов, техники джейлбрейка и обход системных инструкций
5) Phase 4 — Hands-On Practice: Практические тренажеры, платформы для тренировок, намеренно уязвимые проекты и разборы CTF
6) Phase 5 — Advanced Exploitation Techniques: Сложные векторы атак, эксплуатация LLM-агентов с доступом к инструментам, скрытая эксфильтрация данных, XSS через чат-боты и атаки на RAG
7) Phase 6 — Real-World Research & Bug Bounty: Разбор реальных найденных уязвимостей и чек-листы для поиска багов в рабочих системах
8) Standards, Frameworks & References: Официальные стандарты и гайдлайны от NIST, ENISA и Google
9) Tools & Repositories: Инструменты для фаззинга и сканирования, а также защитные механизмы
10) Books, PDFs & E-Books: Специализированная литература и справочники
11) Video Resources: Записи докладов с конференций и обучающие плейлисты
12) CTF & Competitions: Ссылки на платформы и соревнования по практической безопасности ИИ
13) Bug Bounty Programs: Ссылки на программы вознаграждения за найденные уязвимости от OpenAI, Google, Meta и Huntr.
14) Community & News: Ресурсы для отслежвания актуальных трендов и общения с исследователями.

#github #ai #cybersecurity #aisecurity #roadmap

https://github.com/anmolksachan/AI-ML-Free-Resources-for-Security-and-Prompt-Injection

The Engine Room ⬅
GitHub GitHub - anmolksachan/AI-ML-Free-Resources-for-Security-and-Prompt-Injection: AI/ML Pentesting Roadmap for Beginners AI/ML Pentesting Roadmap for Beginners. Contribute to anmolksachan/AI-ML-Free-Resources-for-Security-and-Prompt-Injection development by creating an account on GitHub.
Older posts →

About this channel

How can I read @theengineroom without a Telegram account?
TGViewer shows the public web preview Telegram publishes for The Engine Room: recent posts, photos, videos and the subscriber count, with no app, login or account.
How many subscribers does The Engine Room have?
The Engine Room (@theengineroom) has 506 subscribers on Telegram, refreshed roughly every 30 minutes.
Does The Engine Room know I viewed it here?
No. Public channel previews carry no viewer identity, and TGViewer has no accounts or tracking of what you look up.
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →