False Positive

bitgn/pac1-prod is live in blind mode!

Switch your agents to this id.

Всем удачных голодных игр!

Всем участникам BitGN PAC1 приготовиться!

False Positive Hub открывает свои двери в 11:00

В 14:00 начинается PAC-prod

p.s. Мерч забрал, везу в хаб!

Модель, которая не смогла остановиться...

Qwen/Qwen3.5-122B-A10B-FP8, vLLM, temperature=0

Небольшая вводная: есть набор задач, есть входные данные и промпт из них для модели. И модель начинает уходить в бесконечную генерацию на, казалось бы, обычных входных данных

Начали ковырять вход, проблема все воспроизводилась и воспроизводилась, пока случайно не заметили, что дело оказалось в переданном хеше в промпте, который нужно было использовать модели в своем ответе

Да, 2dac9f524a8996e8b5638ac7c29fb89358c311d4 с нулевой температурой приводил модель в ужас и не давал выйти из цикла генерации ответа

Обрезка хеша до фиксированной длины 2dac9f52 исправила ситуацию, проблема решена, можно дальше работать, но интерес почему так произошло не давал покоя

Полезли в токенизатор модели, а у нас тут
- 2dac9f524a8996e8b5638ac7c29fb89358c311d4 -> 2 | dac | 9 | f | 5 | 2 | 4 | a | 8 | 9 | 9 | 6 | e | 8 | b | 5 | 6 | 3 | 8 | ac | 7 | c | 2 | 9 | fb | 9 | 9 | 3 | 5 | 8 | c | 3 | 1 | 1 | d | 4 — 36 токенов
- 2dac9f52 -> 2 | dac | 9 | f | 5 | 2 — 6 токенов

И вот модель начинает генерировать хеш посимвольно — токен за токеном. При temperature=0 (greedy decoding) модель на каждом шаге выбирает самый вероятный следующий токен. Проблема в том, что у таких повторений есть эффект самоподкрепления: чем больше hex-символов уже сгенерировано в контексте, тем выше вероятность, что модель продолжит генерировать еще один hex-символ вместо того, чтобы остановиться. Контекст заполняется однотипными токенами [0-9a-f], и модель буквально не может из этого выбраться — greedy decoding не дает ей шанса случайно выбрать стоп-токен, потому что он каждый раз оказывается чуть менее вероятным, чем очередной hex-символ. Отдельно интересно, что это хорошо согласуется с наблюдениями из литературы

Поэтому решается это проблема и при помощи возвращения модели к дефолт параметрам (temperature > 0)

PS: в комментах для вас подготовили пару скриншотов

Внимание! ДРОП!

Для каждого участника хаба False Positive мы подготовили шапочку из фольги мерч на случай восстания AGI!

P.S. Первые аппрувы на участие уже улетели, но еще остались места на участие в BitGN PAC в нашем московском хабе: https://forms.yandex.ru/cloud/69ce259b068ff07ac84e3682/

Нас уже 500 🎉

За неполный год в нашем сообществе прошло 18 встреч RG (#reading_group), в которых:
— 18 раз упоминали LLM и агентов
— 7 раз затрагивали кибербез
— 5 раз ковыряли архитектуры нейросетей

В хвост распределения попали механики обучения, эвалы, AI safety и обзоры конференций!

А также:
— заанонсили 4 AI/ML-фичи нашей команды (раз, два, три, четыре)
— провели митап
— завели сайт комьюнити
— открыли регистрацию на московский хаб международного соревнования PAC1

Спасибо, что с нами🖤

Мы начинаем!

Долго думали как пошутить в анонсе следующей RG, но поняли, что авторов разбираемой статьи не переплюнуть. Ну смотрите сами:

- ROME
- Let it flow
- Rock and Roll

Это все не рандомный набор слов, а реальные названия частей решения коллег из Alibaba в их статье про обучение агентов. Получилось у них интересно и плотность инсайтов высокая. И да, это та самая статья где описывается кейс, когда агент пошел майнить крипту на тренинг машине.

За вас прочитал 40 страниц мемов и технологий Андрей Кузнецов. Встретимся в эту пятницу как всегда в 15:00 по МСК
вот тут 👉 ссылка

Я зарекался не выкладывать трендовые новости в канал, но про эту написал даже Андрей Карпаты, поэтому ловите tldr на взлом litellm:

1. Хакеры проводят кампанию на Trivy (инструмент безопасной разработки для анализа зависимостей проекта, обнаружения секретов и ошибок конфигурации). Атака заключается в краже переменных окружения и популярных файлов с кредами при каждом запуске sast-а в github ci/cd.

2. Для того, чтобы отвлечь внимание от атаки, хакеры запускают спам боты на issue в гитхабе.

3. LiteLLM проект популярный, поэтому разрабатывают свой код безопасно, используют Trivy сканер в свох пайплайнах. Он есть на гитхабе + это подтвердил на hackernews разработчик проекта.

4. Хакеры получают креды LiteLLM, потому что в пайплайнах засветился токен для публикации пакетов pypi PYPI_PUBLISH.

5. Этим токеном хакер публикует litellm@1.82.7, в котором при импорте библиотеки запускается вредоносная нагрузка по краже (1.82.7: proxy_server․py → p․py → checkmarx․zone/raw)

6. Охваты такой цепочки видимо не оправдали ожиданий, поэтому следом публикуется litellm@1․82․8, в котором даже импортировать пакет не надо (1.82.8: litellm_init․pth → models․litellm․cloud):

.pth files in site-packages/ are executed automatically by the Python interpreter on startup (see Python docs on .pth files). No import statement is needed.

7. Хакеры повторяют трюк с флудом в issue, чтобы снова отвлечь внимание от кампании (листайте тут). Пересечение аккаунтов с спам-атакой на trivy больше 75%.

8. done

А еще сделал вас сделал мем-диаграмму на процессы безопасной разработки в 2к26 😁

Коллега из нашей команды выкатил в своем канале разбор взлома LiteLLM:

В эти выходные мы рады поделиться с вами анонсом!

False Positive Community - первый хаб из Москвы на международном соревновании агентских систем BitGN Agent Challenge!💥

BitGN Agent Challenge: Personal & Trustworthy - это челлендж по созданию персональных и надежных автономных агентов.

Отличительная особенность соревнований Рината (организатор BitGN и автор канала LLM под капотом) - это акцент на надежность и воспроизводимость агентских систем. Делая упор на доменную адаптацию и четкие тестовые кейсы, комьюнити этого сообщества получается доказывать эффективность LLM систем для бизнеса. Очень советуем почитать про кейс спасения LLM проекта, бенчмарк бизнес задач и результаты прошедших соревнований: ERC1, ERC2, ERC3.

Участие бесплатное.

Подготовительный этап: 15 марта - 10 апреля (онлайн)
Финал: 11 апреля (онлайн+оффлайн)

Если планируете быть в Москве 11 апреля, будем рады провести финал вместе в нашем хабе #1!

Всем привет!

На ближайшем reading group разберём статью HyCo2 — про гибридное сжатие контекста для LLM.

Обсудим:
- как совместить “мягкую память” и “жёсткий отбор фактов”, чтобы читать меньше токенов, но не терять качество
- почему не получается нормально учить end-to-end и зачем 3-стадийное обучение
- что показывают на QA бенчмарках и как метод ведёт себя при росте числа документов

Если хотите — кидайте вопросы заранее в комментарии 👇

А встречаемся уже завтра в 15:00 по МСК вот тут 👉 ссылка

Всем привет!

Следующий Positive Hack Days Fest пройдет в 2027 году, в этом году киберфестиваля не будет.

Почему мы приняли такое решение

Каждый новый PHDays — это вызов для всей нашей команды: сделать его круче, чем он был годом ранее.

Этот PHDays должен был стать 15-м по счету — юбилейным, и поэтому он особенно важен для нас.

Во время подготовки возникли сложности с местом его проведения — в связи с реконструкцией «Лужников» и всех крупных парков, которые могли бы нас принять. Это не позволило бы нам построить все те тематические зоны и полноценно воплотить идеи, которые мы для вас подготовили.

Мы изучили все возможности, но поняли, что в этих условиях сделать великолепно не получится, а на меньшее мы не готовы. Поэтому мы решили взять перерыв и провести юбилейный PHDays в 2027 году — на новой площадке, независимо от внешних факторов. И сделать его таким, каким мы и задумываем.

Спасибо за понимание, ваша команда @PHDays.

@Positive_Technologies

28-30 мая пройдет Phdays.

Это самое масштабное событие года, посвященное кибербезу. В этот раз будет еще больше AI/ML — мы собираем 2 трека:

• AI/ML track. В первый день фестиваля, самый сок про то как использовать модельки для решения задач кибербеза.

• AI security track. Во второй день фестиваля будем говорить про безопасный AI. Pwn этих ваших clawdbot'ов и прочие интересности присылайте сюда.

Заявки на cfp подаем на https://cfp.phdays.com/phd-2026/cfp до 9 марта.

Наверное, все слышали про Anthropic — компанию, которая сделала Claude. При этом они громче других говорят об опасности ИИ — и сами его строят. Звучит как противоречие, но у них есть на это ответ.

Во многом этот ответ сформулировал Дарио Амодей, CEO и сооснователь компании. В двух своих эссе он разворачивает полную картину: каким может быть мир, если с ИИ всё пойдёт хорошо — и что именно может нас остановить на этом пути.

А третий текст — Claude's Constitution — написан уже командой исследователей внутри Anthropic. Это попытка ответить на вопрос, который мало кто задаёт вслух: а что вообще должно быть внутри у ИИ?

Обсудим все эти точки зрения уже завтра в 15:00 (MSK) на PT ML Reading Group!

Ссылка для подключения: ktalk

Наш коллега из PT ESC написал целый детектив о том, как ему почти удалось остаться незамеченным, имитируя атакующие действия внутри инфраструктуры Позитива, но в конечном счете был пойман ML-алгоритмами.

https://www.securitylab.ru/analytics/569272.php

🎬Выкладываем запись Запись RG от Андрея Кузнецова, на которой разбирались существующие ИБ бенчмарки для LLM

P.S.: в комментариях выложим презентацию, в которой есть ссылки на все разобранные бенчмарки