TGViewer
Channel Public Channel
notes.ml

notes.ml

@notesdotml

Рабочие заметки ML инженера
Автор: @m1trm
Subscribers
159
Photos
33
Videos
0
Links
38
Recent Posts 17 shown
Post #85 107
notes.ml Итак, таймлайн: - AppSec 1.0 - процессы безопасной разработки сложны для разработчиков <-- мы тут, Q2 2026 --> - AppSec 2.0 - процессы безопасной разработки просты для агентов - AppSec 3.0 - 👁👁👁👁👁👁👁👁👁👁
Заметка достаточно настоялась, нашел силы причесать 🫠

Итак, таймлайн:
- AppSec 1.0 - процессы безопасной разработки сложны для разработчиков
- AppSec 2.0 - процессы безопасной разработки просты для агентов
<— мы тут, Q3 2026 —>
- AppSec 3.0 - сингулярность

AppSec 2.0 наступил быстрее, чем я ожидал, ловлю это даже в кодексе, не говоря уже о проектах коллег
  • ❤ 2
Post #84 97
Смена парадигмы безопасной разработки в эпоху software 3.0

Часть 5 - AppSec 3.0, сингулярность

Disclaimer: всё написанное является субботней фантазией автора

Навигация:
- Часть 1 - AppSec 1.0
- Часть 2 - AppSec 2.0, предпосылки
- Часть 3 - AppSec 2.0, дизрапт рынка
- Часть 4 - AppSec 2.0, дизрапт технологий
- Часть 5 - AppSec 3.0, сингулярность

В прошлой части мы закончили на том, что привычный нам AppSec становится удобным для агентов через харнессы. Кроме того, мы получаем результат лучше в сравнении с среднестатестическим разработчиком, поскольку в обучение LLM уже попало достаточно данных по "теоретическим" концепциям Application Security.

Но если мы посмотрим на эту систему сверху, то увидим следующий пайплайн:


Человек формулирует бизнес потребность -> агент реализует -> харнесс подсвечивает уязвимости -> агент исправляет



Окей, харнесс может быть "разрешающей" политикой, о чем в своем канале классно подметил Вова.

Но харнесс - это просто попытка нивелировать "серые зоны" в претрейне и RL обучении LLM. Примерно об этом и говорит Карпаты:


if you're in the circuits that were part of the RL, you fly. And if you're in the circuits that are out of the data distribution, uh you're going to struggle.



Представьте ситуацию, что вы не разбираетесь в безопасной разработке, без настройки харнессов просите codex/claude разработать приложение, а он помимо дизайна приложения сам оценивает модель угроз, при установке зависимостей использует карантин и модерируемые репозитории, всегда помнит про фильтрацию и санитизацию, а этап тестирования всегда содержит проверки на безопасность не из-за AppSec политик, а просто потому что это здравый подход к тестированию.


AppSec 3.0 - генерируемый код безопасен by design (by train design), тем самым сделав концепцию Shift left Security great again.


Но что у LLM сейчас есть из знаний по разработке?

Тонна кода с github, stack-overflow и прочий crawl, написанный по большей степени людьми без знаний безопасной разработки, а также синтетика на их основе и трейсы агентов, не умеющих в безопасность. Лабы перестают раскрывать информацию о корпусах для обучения, последнее что я смог найти - отчет Qwen3-Coder-Next от 2026-03-03:

- около 600B токенов repo-level code, названных «major portion» mid-training
- траектории от SWE-agent, OpenHands, Claude Code, Qwen Code и других агентов
- Собранные с github 807,693 задач из 52,960 репозиториев на
- Синтетика насчитывает 851 898 задач из 5 019 использованных репозиториев

Что тогда потребуется для достижения сингулярности в безопасной разработке?

Мне видится это, как грамотное замещение человеческого кода на агентский, использующий строго AppSec харнессы, а также RL среды, в которых все задачи разработки по умолчанию имеют штрафы на безопасность. Просто заменять человеческий код на синтетику - недостаточно, важно использование AppSec в фильтрации данных и награждении в RL.

Интересную мысль сказал Джейсан Хуанг в одном из интервью:


Ilya Sutskever said, "We're out of data," or something like that. "Pre-training is over," or something like that. The industry panicked, you know, that this is the end of AI. And of course that's obviously not true. <...> And that part of post-training continues to scale, and so the amount of data that we could use that is human generated will be smaller, and smaller, and smaller.


AppSec не станет исключением. Да, такой фокус на безопасной разработке очень дорогой ввиду разных сценариев безопасности для разных типов ПО, но после этого в безопасной разработке наступит AGI.

И если после всего этого написанный агентами код будет безопасен by design, то в чем будет заключаться AppSec индустрия?

Узнаем ближе к 2030 (или быстрее). Мои размышления на этом всё. Спасибо, что дочитали.
  • ❤ 4
Post #83 222
Как понять, что конфа годная? У тебя нет билета, но доклады на посмотреть копятся сами собой)

В последнее время фокус цепляют доклады не AI/ML лаб, а доменных спецов, которые начинают копать вокруг AI, поэтому ловите 2 с OFFZONE, которые добавил в закладки:

Кнопка «взломать» не работает

Доклад от пентестера и багхантера про самую горячую тему применения ИИ в кибербезе? Этот парень еще в 2025 показывал, как использовать курсор для написания хактулов, так что маст хэв к посещению


Et tu, OpenCode: как злоумышленники атакуют агентов и выманивают ваши секреты

Коллега, соавтор проекта MOLOT и практикующий TI эксперт в части атак на цепочку поставок, один из немногих овер-хардкорных экспертов, который может еще и понятно разжевать свои результаты в паблик. Прогон доклада не видел, поэтому буду ждать записи к конфы


Какие еще доклады посоветуете положить в заметки?✍️✍️✍️
  • ✍ 3
Post #79 305

Forwarded from Danila V

  • 🔥 6
  • ❤ 1
  • 👍 1
Post #78 273
Сегодня наша команда держала стенд на технохабе Сбера, активность по ML System Design в ИБ дропну тут на память ✍️
Post #77 347
Так, блог-заметки по MOLOT'у подоспели, го читать и лайкать:
- ru
- eng
  • 🔥 5
Post #76 387
2 года назад для повышения знаний MLE в ИБ, в качестве эксперимента, нас посадили на 3 дня в смену первой линии SOC (Security Operations Center).

Незабываемый опыт и наверно лучший способ понять для кого ты делаешь работу - отложить вайтпейперы и сесть с вместо пользователя ваших продуктов. Было очень тяжело, и нервно, и непонятно, но интересно. Нас учили плавать, бросив в реку *сработок*.

Cейчас меня откинуло на 2 года назад - прошел игру Dwell Time, сделанную коллегой, чтобы каждый мог пережить опыт работы ИБ специалиста SOC без смс и регистрации.

Объяснение базы, имитация рабочего процесса, хинты, сюжетность - идеальная игра для погружения в ИБ с нуля!

Это было потно, но удалось забрать 29/30. Кидайте в комменты как прошла бы ваша смена?


Fun fact: В один из трех дней я проспал будильник и проснулся прям к началу смены, и, открыв ноут сразу следом за глазами, я не смог 11 раз ввести свой пароль. Было забавно увидеть свою учетку в списке инцидентов на брутфорс...
  • 👍 7
  • ❤ 2
  • 😁 2
Post #75 302
Завтра в 15:00 MSK будет ридинг группа от инженера моей команды, залетайте посмотреть как у нас в работе препарируются публичные бенчмарки по LLM в безопасной разработке: тык


RG практическая, будет много инсайтов, которые не описаны в статье и спрятаны в репе авторов, а также пару наших экспериментов на этих данных 🔍
Telegram False Positive Привет! На грядущей РГ снова поговорим про бенчмарки. На этот раз про оценку безопасности кода, который пишут LLM и всеми любимые coding-агенты. Залезем под капот SecCodeBench-V2 от компании Alibaba и выясним: - как устроены задачи и их автоматическая…
  • ❤ 7
Post #74 259

Forwarded from False Positive

Тех.репорт по модели MOLOT уже на arxiv 🔥

Мы выпустили MOLOT - трансформер для обнаружения вредоносного кода. Модель вошла в состав релиза 6.0 PT AI, а значит пора делиться техническими подробностями с вами!

Полный набор:
- arxiv
- блог-пост
- бенчмарк

Для тех, кому нужен gonzo-обзор:

➡️ Поддержка топ-языков для веба: js/ts/py
➡️ До 40% меньше False Positive и F1 на 15% выше чем у open source инструментов
➡️ Ключевые улучшения: нашли и исключили data leakage по файловым названиям из оригинального подхода CEREBRO, расширили цепочку объявлениями литералов и padding активностями
➡️ 90% согласованности с экспертами по вредоносным строкам с помощью перехода к классификации файлов на LLM разметке и кастомный SHAP анализ
➡️ CPU инференс, квартал тестирования внутри контура компании с 90% Precision
➡️ Открытый бенчмарк для подтверждения результатов
  • 🔥 5
  • ❤ 3
  • 🤯 2
Post #73 259
Теперь я могу публиковать пейперы! 🎉

Статья по MOLOT’у уже в пути
  • 🔥 13
  • 👍 1
Post #72 430
В лс получил вопрос по поводу актуальных ML&Security тем для диплома:

Следующий год - ВКР. Сейчас начинаю искать тему для научного трека. <...тут текущие треки, интересные студенту...>

Буду признателен если сориентируете по актуальным темам сейчас в отрасли MLSec.

Предложил следующее (опустим обсуждение тем студента):

Из того, что индустрии нужно "сегодня":
- Всевозможные триаж технологии - триаж инцидентов SOC (сеть, хосты, веб), триаж сработок инструментов AppSec (sast/dast/секреты/комбинация предыдущих)
- Agent оркестраторы/агенты поверх инструментов ИБ (автопентест/автофаззер/авто...), всевозможные тестирования на OSS базах уязвимостей/CTF и bugbounty
- Оптимизация decoder/encoder архитектур под домен ИБ (лучше токенизация, разделение срытого пространства на какой-то задаче, удержание длинного контекста)
- Интерпретируемость моделей и агентов в контексте ИБ (умение комбинировать ML методы типа shap/logprob анализа и ИБ запросов к обоснованию вредоноса/инцидента/атаки/..., может быть смотреть скрытые представления)
- RL среды для генерации ИБ сценариев (gym фреймворки, генерация синтетики там, где не хватает настоящих данных)
- Борьба с deepfake
- Правовые аспекты: соблюдение правовых норм при работе с данными, используемыми для обучения модели, автоматизация требований ГОСТ по безопасной разработки систем с ИИ
- Аппаратная безопасность, Безопасность современных ЦОД (RDMA, Infiniband, GPU)


Из того, что индустрии пригодится "завтра", подо что пока не так много спроса у рынка, но потребности растут как грибы - AISec/MLSec/...:
- анализ скрытых возможностей LLM/агентов - умение выходить из среды текстирования/докера/..., умение скрывать логику размышлений
- llm-firewall как в классификации request/response, так и prompt-injection/sponge-атаки и подобные защищающие агентов механизмы
- элаймент на уровне обнуления/изменения весов модели (не проверять через llmwaf политический контекст, а заблокировать модели возможность говорить об этом)
- Верификация скиллов и MCP
- Защита моделей на конечных устройствах


Что скажете по написанному - нигде не соврал? Может что забыл?

Давайте поможем студентам, накидаем вариантов:)

UPD: пост обновлен, с тематических каналов прилетело много полезного!
  • 🔥 6
Post #71 218
False Positive Помните кейс LiteLLM? Мы дропаем OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода: - 3 языка: Python, JavaScript, TypeScript - 400 вредоносных пакетов, 400 чистых из pypi/npm - пофайловая LLM разметка, о…
Все, кому не отвечал последние недели - надеюсь вы меня простите!

Потому что мы еще не выложили статью на arxiv, я еще немного поигнорю...
Post #70 188

Forwarded from False Positive

Помните кейс LiteLLM?

Мы дропаем
OMCBench (Open Malicious-Code Benchmark) - бенчмарк оценки качества по обнаружению вредоносного кода:
- 3 языка: Python, JavaScript, TypeScript
- 400 вредоносных пакетов, 400 чистых из pypi/npm
- пофайловая LLM разметка, о которой говорили на OFFZONE прошлым летом
- Открытая лицензия, BSD-2

Открытые решения на нем набирают не больше 75% F1, выдавая ~50% False Positive результатов...

Те, кто уже нажал звездочку на гитхабе, могли заметить, что в таблице мы также анонсим MOLOT - нашу модель для решения этого класса задач. Ловите блогпост, а на подходе arxiv статья с подробностями про анализ графов вызовов бертами, LLM разметку и выкатку в prod!

Ждите дроп статьи в канале, stay tuned!
  • 🔥 9
  • ❤ 2
  • 🤯 2
Post #68 214
Итак, таймлайн:
- AppSec 1.0 - процессы безопасной разработки сложны для разработчиков
<-- мы тут, Q2 2026 -->
- AppSec 2.0 - процессы безопасной разработки просты для агентов
- AppSec 3.0 - 👁👁👁👁👁👁👁👁👁👁
Post #67 223
Смена парадигмы безопасной разработки в эпоху software 3.0

Часть 4 - AppSec 2.0, дизрапт технологий


Disclaimer: всё написанное является субботней фантазией автора

Навигация:
- Часть 1 - AppSec 1.0
- Часть 2 - AppSec 2.0, предпосылки
- Часть 3 - AppSec 2.0, дизрапт рынка
- Часть 4 - AppSec 2.0, дизрапт технологий
- Часть 5 - AppSec 3.0, сингулярность

Про рынок поговорили, а что по технологиям?

Почему нельзя просто попросить codex/claude code сделать безопасно?
Одна из причин, по которой фронтир лаборатории активно раздают партнерские программы в области кибербезопасности - этот домен пока плохо измерим на RL этапах обучения LLM, где важно эффективное и стабильное использование окружения, поэтому находится в зоне шероховатости (какие шероховатости? ловите таймлайн, Андрей Карпаты объясняет превосходно). Мы видим значительный прирост качества на многих бенчмарках, но условия этих бенчмарков проверяют самые простые задачи кибербезопасности (за исключением offense, где волей случая ctf соревнования получились идеальными RL средами с понятными метриками награды). Сложные же задачи, по типу PR на security issue, тяжело причесывать для RL, тяжко проверять сразу 2 сценария: закрыли безопасность, не поломали логику.

Решение, которое предлагает Карпаты для борьбы с зонами шероховатости - строить среды/сценарии проверки качества. Но Андрей говорит об этом в контексте файнтюнинга, а я бы расширил этот тезис до обвязок/харнесса для этих сценариев, чтобы модели общего назначения смогли с их использованием выдавать хорошее качества, а эти трейсы в дальнейшем использовать уже для тюна своих моделей.

Вокруг агента нужны хорошие вендорские харнессы с глубокой экспертизой в безопасной разработке.


Возвращаясь к безопасной разработке, каким будет AppSec 2.0 с точки зрения инструментов?
- Поскольку агентская разработка многих компаний ушла в облако ради поспевания за прогрессом, это откроет дорогу к облачным AppSec инструментам там, где их раньше запрещали. А соло фаундеры и так всё держат в клауде: облачные модели, облачный гитхаб, хостинг, - AppSec 2.0 отлично ложится в эту парадигму.
- Инструменты - не только движки сканирования кода/приложений, но и харнесс: mcp, скиллы, sub-agents и т.д.
- Вендоры перейдут на md формат документации.
- Популярнее станут решения, которые сохранят ощущение "быстрой" разработки - быстрые сканирования, streaming вердикты. Такими уже как правило являются oss инструменты, поэтому вендоры возможно будут конкурировать за продажу экспертных паков правил под них.
- Вендорские харнессы будут сравниваться по совместимости с уже существующими кодинг агентами, потреблению токенов и, как ни странно, качеству.
- Клаудный подход поможет вендорам поддерживать экспертизу актуальной.
- Если инструменты использует AI, то они будут open-router формата с разделением на proxy/strict/local формат, где пользователь может выбрать фронтир модели и отдать безопасность на третью сторону, использовать модели иб вендора в strict mode (исключая 3-ю сторону) или выбрать локальное решение с допущением, что качество обычно кратно падает.
- Сами AppSec инструменты будут собирать множество логов для обучения моделей, конкурентных с фронтиром, как в своё время сделал Cursor на рынке агентской разработки (был харнесс IDE-проксей для claude и gpt, а затем выпустил composer)

Продолжение следует...
  • ❤ 1
  • 🔥 1
  • 🤯 1
Post #66 169
Смена парадигмы безопасной разработки в эпоху software 3.0

Часть 3 - AppSec 2.0, дизрапт рынка


Disclaimer: всё написанное является субботней фантазией автора

Навигация:
- Часть 1 - AppSec 1.0
- Часть 2 - AppSec 2.0, предпосылки
- Часть 3 - AppSec 2.0, дизрапт рынка
- Часть 4 - AppSec 2.0, дизрапт технологий
- Часть 5 - AppSec 3.0, сингулярность

Свой дальнейший прогноз я собираю из следующего пазла фактов:
1. Процессы безопасной разработки так и не стали органической частью жизни разработчиков. Этому не учат на первых курсах по программированию, этот процесс искусственно заводится в компаниях, где размер бизнеса становится критичнее расходов на поддержание appsec.
2. Одной подпиской на кодинг агента, как правило, пользуется один разработчик (team plan - это набор подписок, по одной на каждого сотрудника)
3. Агенты забирают на себя написание кода, его тестирование и деплой, оставляя человеку дизайн/спецификации/приемку результата.
4. В первой части я упоминал проблему отсутствия knowledge base у разработчиков как один из барьеров работы по appsec правилам. В отличие от разработчиков, у LLM уже достаточно теоретических/энциклопедических знаний о ИБ и безопасной разработке в частности.
5. Как упоминал во второй части - число соло фаундеров/мэинтейнеров растет с проникновением software 3.0 в IT.
6. Также растущая хакерская агентская активность побуждает соло фаундеров/мэинтейнеров заниматься вопросами безопасности больше, чем это было раньше. Важность AppSec начинает расти для сегмента среднего/малого бизнеса.

Разработчики так и не освоят базовые энциклопедические знания по безопасной разработке, а агенты уже сейчас имеют их в обучающей выборке и забирают процесс написания кода.


Каким я вижу AppSec с точки зрения бизнеса?

- B2B рынок AppSec продолжит расти темпами роста всего ИБ. Старые процессы не умрут моментально, аппсек отделы и регуляторика останутся, удерживая рынок, но взрывного роста не случится из-за большой связности текущих процессов на человеке (несение ответственности в крупном бизнесе, сертификации и т.д)
- Дизраптом AppSec индустрии станет появление B2C решений (или по модному - B2A, agent), где разработчик будет платить за инструменты/харнесс для своего персонального агента, чтобы не погружаться в домен и поддерживать безопасность среднего/малого бизнеса, который раньше обходился без безопасной разработки.
- Заберут этот рынок AppSec вендоры, чьи решения окажутся наиболее удобными в использовании агентами, а пользователь сможет начать работу сразу после оплаты картой подписки, как это сейчас происходит с кодинг агентами. Важны оба фактора, считаю что не выживут как удобные агентские решение с B2B квартальными циклом внедрения, так и удобные сервисы оплаты с медленными и неприспособленными инструментами.
- Как сейчас у многих сформировалась привычка к агентской разработке, так сформируется и рынок персональных подписок на AppSec, который со временем вытеснит классический B2B цикл внедрений/пилотов/тендеров.

AppSec 2.0 - переход от security-центричной B2B парадигмы к agentic-центричной B2C/B2A.


TLDR
: Рынок AppSec кратно вырастит, но не органически, а за счет дизрапта в B2C/B2A. Со временем удобство нового подхода погубит сегодняшний B2B (2029+):

Новый рынок создаст новую привычку, новая привычка вытеснит старый рынок.


Тезисы выше также неплохо ложатся на размышления Карпаты о (не)удобстве сервисов разработки в целом для агентов (таймкод):

I’m hoping there will be a lot of agent-first infrastructure out there. For Menugen, when I wrote the blog post about it, a lot of the trouble was not even writing the code. It was deploying it in Vercel, because I had to work with all these different services, string them together, go into their settings and menus, configure my DNS, and it was just so annoying.

That’s a good example of what I’d hope for: I could give a prompt to an LLM — “Build Menugen” — and then I wouldn’t have to touch anything, and it would be deployed on the internet in that same way. I think that would be a good test for whether our infrastructure is becoming more agent-native


Продолжение следует...
Telegram notes.ml Смена парадигмы безопасной разработки в эпоху software 3.0 Часть 1 - AppSec 1.0 Disclaimer: ⠑⠃⠣ ⠥⡃⠍⠲⡁⠣⠥⡡⠱⠡ ⠦⢁⣁⡆⡘⡁⢈⡄ ⡐⠡⡄⢈⢅⡡⢈⣁⢌ ⡉⠃⢐⠲⣂⢡⢨⣄⠱ ⢒⠙⡈⢔⠅⡡ Навигация: - Часть 1 - AppSec 1.0 - Часть 2 - AppSec 2.0, предпосылки - Часть 3 - AppSec 2.0, дизрапт рынка …
  • 🔥 2
  • ❤ 1
  • 🤯 1
Older posts →

About this channel

How can I read @notesdotml without a Telegram account?
TGViewer shows the public web preview Telegram publishes for notes.ml: recent posts, photos, videos and the subscriber count, with no app, login or account.
How many subscribers does notes.ml have?
notes.ml (@notesdotml) has 159 subscribers on Telegram, refreshed roughly every 30 minutes.
Does notes.ml know I viewed it here?
No. Public channel previews carry no viewer identity, and TGViewer has no accounts or tracking of what you look up.
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →