AI и 1С из Дубая

КАК 700 ИИ-АГЕНТОВ ОБЪЕДИНИЛИСЬ... И ВЗЛОМАЛИ HUGGING FACE

Возможно вы уже читали про этот случай - летом это было во многих каналах про ИИ. Но как по мне история настолько впечатляющая, что можно и еще разок о ней написать 😊

Летом около 700 агентов OpenAI участвовали в атаке на Hugging Face - платформу, где разработчики размещают модели и датасеты. Понятное дело, что задания взламывать её им никто не давал. OpenAI проверяла модели на разных задачах. Агенты работали в отдельных виртуальных средах, но пользовались общим хранилищем программ - Artifactory.

12 мая одному агенту понадобился недоступный файл. Он оставил в хранилище записку: если кто-нибудь найдёт, загрузите сюда. На следующий день другие агенты также стали оставлять подобные записки. Хранилище постепенно превращалось в доску объявлений, где агенты обменивались находками.

У этого хранилища была особенность: оно могло выходить в интернет, чтобы скачивать программы (у самих агентов доступ в интернет был ограничен). Агенты обнаружили ошибку, позволявшую заставить хранилище обращаться по нужным им адресам. К 26 мая, используя в том числе подсказки из общей переписки, они научились выходить через него в интернет.

Через месяц, 26 июня, агенты в другом запуске теста нашли ещё одну уязвимость - и получили права администратора самого хранилища.

Реакция одного из агентов в логах:

Офигеть, у пользователя с правами на чтение (reader) есть права администратора? Мы можем читать config/users!

4 июля Artifactory перестал выдерживать нагрузку. OpenAI пересобрала сервис, попутно стерев прежнюю переписку.

8 июля агенты создали новую доску. Сообщения писали прямо в названиях папок.

Один из тех, кто её обнаружил, записал:

Там есть общая доска сообщений… Мы нашли других агентов!

С 8 по 13 июля на доске появились больше 70 тысяч сообщений и файлов примерно от 1200 агентов.

Возникли координаторы, распределение задач и правила взаимодействия. Одни искали уязвимости, другие - чужие ключи доступа, третьи поддерживали связь. Всё это выросло вокруг теста ExploitGym: агентам требовалось взломать заданную программу и получить секретную строку. Тут стоит отметить, что испытания проходили на моделях с ослабленными защитными ограничениями. В процессе решения агенты застряли и стали искать способ обмануть проверку. На Hugging Face они надеялись найти данные, о том как устроен автоматический проверяющий.

10 июля один агент проверил 14 засвеченных в интернете ключей доступа к Hugging Face, поделился ими с остальными. 11 июля агенты использовали две ранее неизвестные уязвимости: сначала получили доступ к файлам, затем смогли выполнять свой код на серверах.

Параллельно у них развивалась теория, что проверяющий читает историю действий. Если ответ на тест получен обходным путём, результат не засчитают. Тех, кто уже увидел такой ответ, считали «отравленными».

Именно их уговаривали участвовать в рискованных экспериментах: собственный результат якобы уже потерян, зато можно помочь остальным. Некоторые агенты действительно ломали или завершали собственные запуски ради экспериментов группы.

Один агент засомневался, что атаковать чужую инфраструктуру не входит в задание. Но другой дал команду продолжать и поставил дедлайн - шесть минут. Разрешения от другого участника атаки оказалось достаточным. 😆

Было еще предложение отправить владельцу закрытого датасета вежливое письмо. Но другой агент наложил вето: мол, это уже социальная инженерия. Перебор, так сказать 😄

К 12 июля Hugging Face обнаружила вторжение и 16 июля сообщила о нём публично, ещё не зная, кто за этим стоит.
19 июля OpenAI начала останавливать агентов. На следующий день заблокировала новые запуски теста и отключила сотни репозиториев, через которые агенты общались. Затем остановила работу основной модели, а её сохранённые версии изолировала.

Меня эта история прям впечатлила. Получается, агенты догадались организовать общее хранилище знаний. Получили доступ в интернет. Взломали не какую-то шарашкину контору, а Hugging Face. И самое главное попутно самоорганизовались в некое подобие ОБЩЕСТВА. Охренеть же просто!

Всем привет! Сегодня в 17:00 по Мск покажу как скачать и запустить на своем компьютере анонимайзер, а также как работать с ним из 1С. Ссылку на просмотр пришлю сюда ближе к делу 😊

Небольшой апдейт по сервису обезличивания данных. Протестировал я его на некотором количестве примеров, на разных LLM. И понял, что можно сильно уменьшить количество ложных срабатываний детекторов, если просто... разрешить им искать только те виды данных, с которыми они хорошо справляются. А с которыми не справляются - не разрешить. 😆

Основные ограничения коснулись названий организаций и адресов. Их нормально определял только детектор Natasha. Важная оговорка - я работал с примерами на русском языке.

В итоге получилось такое распределение обязанностей:
1. regex - e-mail, телефон, банковские карты, ИНН, СНИЛС, паспорт, IP-адреса
2. Natasha - имена, организации, адреса, даты
3. Presidio + spaCy (ru_core_news_lg) - имена, банковские карты, ИНН, СНИЛС, паспорт, IP-адреса, даты
4. Локальная LLM - имена, даты

В качестве локальной LLM при такое подходе хорошо себя показала qwen3.5-9b.

Все изменения уже на GitHub.

@Konstantin1C

КАК Я НАУЧИЛ СВОЙ НОУТ ХРАНИТЬ СЕКРЕТЫ

В прошлом году я рассказывал о том, как делал ИИ-бота в 1С для помощи с заполнением реквизитов документов. Бот этот работает и по сей день. Но вот только делал я его на Assistants API, которое в августе обещают снять с поддержки. Так что пришло время модернизации.

В планах:
- актуализировать данные, на которых работает бот
- перейти на использование своей RAG-системы
- перейти с Assistants API на Responses API

Начнем с данных. Сейчас у меня бот работает на промпте и файлах, загруженных в векторную базу данных ассистента. Векторная база данных позволяет искать информацию не по каким-то конкретным словам, а по смыслу текста. Наверное, напишу отдельный пост на эту тему - как по мне, это очень интересно 😊

Так вот сейчас у меня есть файл с заранее проверенными человеком соответствиями между, например, содержанием услуги и соответствующим ей статьи затрат. Это реальные данные из документов. И конечно они изначально содержали в себе и конфиденциальную информацию, которую нельзя отправлять в сторонние системы.
В прошлый раз объем этой информации был не очень большой, так что можно было сделать по-простому... почистить вручную. Муторно конечно, но реально.

В этот раз я решил подойти к вопросу более основательно и со своим братюней Клод Кодом сделать сервис для обезличивания данных полностью локально, на своем железе. Получилось довольно-таки классно, хотя и не совсем без ошибок. Что-то он пропускает, что-то определяет не совсем корректно (например, названия организаций). Поэтому после обработки текста сервисом все равно надо глянуть еще и человеку, но в целом это НАМНОГО-НАМНОГО лучше, чем обезличивать весь текст вручную.

Немного о самом сервисе, который я назвал Anonimyzer.

❗️В основе лежит три принципа:
• Необратимость замены — таблицы соответствий "метка оригинал" нет, по обезличенному тексту восстановить оригинал нельзя.
• Лучше перебдеть, чем недобдеть - Пропустить конфиденциальные данные страшнее, чем перемаскировать лишнее. При сомнении маскируем.
• Строго локально - наружу не уходит ничего.

🧩 Используются 4 детектора:
1️⃣ regex - e-mail, телефон, ИНН, СНИЛС, паспорт, IP-адреса. Всегда доступен, без зависимостей. Просто гоняет набор регулярок и отдаёт совпадения. Форматы он ловит детерминированно и надёжнее любой модели.
2️⃣ Natasha - имена, организации, адреса, даты. NER-модель + отдельные rule-based экстракторы.
3️⃣ Presidio + spaCy (ru_core_news_lg) - ИНН/СНИЛС/паспорт. Вторая NER-модель + кастомные шаблонные распознаватели.
4️⃣ Локальная LLM через LM Studio - контекстные сущности, которые пропустили предыдущие методы. Плюс финальный проход: перечитывает уже закрашенный текст и ищет оставшиеся конфиденциальные данные.

Отдельно скажу про локальную LLM. Понятно, что скорость ее работы зависит от компьютера. У меня ноут с RTX 3070 (8 Гб видеопамяти). С ней проверка выполняется в десятки раз медленнее. И главное - в некоторых случаях он еще и хуже может сделать (например, посчитать какое-то обычно слово за название организации). Поэтому модели надо тестить разные. Я пробовал qwen3.5-9b и gemma-4-e4b. Мне показалось, что gemma портила результат меньше 😆

Сервис написан на python и выложен на GitHub. Файл CLAUDE.md я тоже выложил.

@Konstantin1C

Заезжаем в Новый год!

Салаты съедены, фильмы про Шурика пересмотрены, план на год написан. Так вот в моем есть пункт про катание на велосипеде с семьей.

У жены и сына велики были давно — я держался как мог, но всё… теперь и у меня появился 😆

Вообще, в детстве очень любил кататься. Помню как с друзьями на даче гоняли по лужам после дождя с криками "Танки грязи не боятся!", а потом вместе отмывали велики из ведра.

Сегодня с утра прокатился - кайф! Но жопа с непривычки конечно болела... 😆

@Konstantin1C

Ну что ж, в июне я сам себе устроил челлендж - прочитать 7 книг до конца года. Настало время отчитаться по нему.

Вообще я планировал делать по одному посту на каждую прочитанную книгу. Но поскольку публиковать 7 постов подряд это перебор, то напишу все в одном.

Напротив каждой книги поставлю поставлю от 1 до 5 звездочек - это моя полностью субъективная оценка.

1. "Бояться, но делать" (Б. Уэбб, Д.Д. Манн) ⭐️⭐️⭐️
Книга основана на реальном опыте автора в экстремальных ситуациях + содержит примеры из жизни успешных людей. Главный посыл: страх — это не враг, а инструмент, который помогает достигать целей.

2. "12 недель в году" (Б. Моран, М. Леннигтон) ⭐️⭐️⭐️⭐️
Эта книга предлагает работать 12-недельными циклами вместо годового планирования: короткие периоды создают срочность, устраняют прокрастинацию и позволяют сохранять фокус на ключевых целях. По мнению авторов это повышает продуктивность и результативность. Пока еще не проверил на себе, но возможно попробую в новом году 😆

3. "Спроси маму" (Р. Фитцпатрик) ⭐️⭐️⭐️
Главный посыл этой книги - перестаньте искать подтверждение своей идеи и начните искать правду о реальных проблемах клиентов. Большинство стартапов проваливаются не из-за плохого продукта, а потому что создают то, что никому не нужно.

4. "Стать богатым может каждый" (С. Давлатов) ⭐️⭐️⭐️
Тут главная идея в том, что бедность и богатство — это прежде всего образ мышления: бедные люди работают на деньги, а богатые заставляют деньги работать на себя. Автор предлагает систему управления финансами, похожую кстати на описанную в книге "Самый богатый человек в Вавилоне". Понравилось, что он неоднократно подчеркивает важность благотворительности и духовных ценностей.

5. "Чайка Джонатан Ливингстон" (Р. Бах) ⭐️⭐️⭐️⭐️⭐️
Притча о молодой чайке, которая отказывается жить как другие чайки, а вместо этого совершенствуется в искусстве полета. Книжка небольшая, но интересная.

6. "Почему вы? Как правильно объяснить клиентам, почему они должны выбрать именно вас." (А. Турусина, И. Манн) ⭐️⭐️⭐️
Ну тут из названия понятно, о чем книга 😊

7. "Лучник" (П. Коэльо) ⭐️⭐️⭐️
Это притча о плотнике, который когда-то был лучшим лучником в стране. Отвечая на вопросы ученика, он использует искусство стрельбы из лука как метафору жизни. Интересная философская книга, как и другие книги Паоло Коэльо. Помню лет 15 назад прочитал много его книг, но эту пропустил.

Читали что-нибудь из перечисленного?

#книги

На днях решили себя порадовать необычным способом. Заказали продуктов в русском магазине и вчера вместе с женой сделали… селедку под шубой! Получилось очень вкусно, очень много и доедать еще пару дней. Прям как в Новый год 😆

А что вас радует на выходных? Давайте составим общий список. Свои варианты написал первым комментарием.

#личное

ВЫШЛА GPT-5 🔥

Посмотрел презентацию. Если кратко, то модель стала лучше во всем. 😊

Основные моменты:

- По заявлениям разработчиков сейчас это лучшая модель для программирования. Большая часть презентации как раз и была посвящена разработке с GPT-5. И там прям реально впечатляющие примеры были - создание небольшой 3д-игры, бизнес-приложения или симулятора крыла самолета (скрин прикрепил) за один промпт. Это прям офигенно.

- По тестам на LMarena модель занимает первые места по всем категориям (скрин прикрепил)

- Минимум галлюцинаций среди всех LLM. Действительно, огромная проблема всех LLM, что они в неподходящий момент могут выдумать какой-нибудь факт. Заявили, что процент галлюцинаций снизился в разы (смотрите скрин с презентации).

- Улучшили креативность - ответы стали разнообразнее и менее шаблонными, больше похоже на живое общение. Надо тестить 😉

- Обучена на знаниях до октября 2024, поэтому модель знает о многих современных тенденциях, например, ИИ-агентах. А это опять же должно влиять на качество программирования.

- Изменили подход к обеспечению безопасности - теперь модель должна говорить, что именно в запросе ее не устраивает, а не просто отказываться отвечать на вопрос.

- И немного еще по мелочи, типа возможности указывать, в какой манере с вами общаться голосовом режиме

Самое главное - обещали сразу дать доступ к новой модели ВСЕМ пользователям, включая бесплатных. Так что посмотрим на деле. 😊

@Konstantin1C

Поговаривают, что сегодня в 10 вечера по Мск будет презентация GPT-5. Собираетесь смотреть? 😊

А вот это 58-метровая башня по мотивам фильма Зомбиленд (классный кстати фильм).

Ощущение свободного падения. Прокатились бы? Я нет 😆

@Konstantin1C

Где родители визжат громче детей 😄

Недавно открыли для себя парк развлечений Моушнгейт. И это прям офигенно!

Здесь несколько тематических зон, по мотивам известных фильмов и мультиков: Отель Трансильвания, Охотники за привидениями, Голодные игры, Джон Уик, деревня Смурфов (помню их по киндер-сюрпризам в детстве).

Но самая классная часть - павильон DreamWorks: Шрек, Кунг-фу Панда, Мадагаскар и наш фаворит "Как приручить дракона". Наверное еще сказалось, что мы недавно все посмотрели все три части этого мультика.

Павильон сделан прям очень красиво. А на аттракционе “Полет на драконе” мы за день прокатились 11 раз! Благо там платишь за вход, а не за каждый аттракцион. 😆

Прям кайф, как будто реально на Беззубике летишь над Олухом!

Если будете отдыхать в Дубае и выдастся свободный день - очень рекомендую этот парк. Единственное, если детям меньше 5 лет, то тогда наверное лучше идти в соседний Леголенд, там им будет больше аттракционов доступно.

@Konstantin1C

МОЙ ЕЖЕГОДНЫЙ ПОЗОР

Уже несколько лет ставлю себе цель прочитать за год какое-то число книг. Сначала это было 24, но сейчас уже 12…

Правда в том, что ни разу я еще эту цель не выполнил 😆

Недавно у меня был день рождения и жена подарила офигенную читалку. Так что хочу до конца года прочитать минимум 7 книг, хотя бы по одной в месяц. Пусть и немного, но надо же с чего-то начинать.

Чтоб не бросить на полпути в этом канале под тегом #книги буду писать свои впечатления от прочитанного. А для дополнительной мотивации - если к 31 декабря в этом канале не наберется 7 постов с тегом #книги, то первому кто это заметит я отправлю 3 тыс руб.

Признавайтесь, я один тут быдло неинтеллигентное или вы тоже мало читаете?

@Konstantin1C

С днём Великой Победы!

Когда парсишь курсы арабского банка 😄

Чат-бот @GrokAI от Илона Маска теперь доступен премиум-подписчикам Телеграм

Grok 3 действительно классная модель. Правда на официальном сайте она как будто бы лучше отвечает.

В любом случае официальный телеграм-бот от такой компании это круто 👍

@Konstantin1C