НейроХолст

А вообще, Я через 15 минут в Точке как часто по вечерам воскресенья)

Сегодня хочу обсудить скорее шутливую штуку. Но на всякий случай дам и пару полезностей, чтобы пост был не зря.

Тема такая: насколько по-разному люди относятся к ИИ и агентам. Я вот отношусь к ним как к людям: даю имена и представляю, что мой агент — это мой друг. А кто-то пишет как на картинке.

Сначала полезности. Все жалуются, что ИИ пишет однообразно и плохо, хотя стиль меняется обычным текстом, который вы подкладываете модели. Caveman — ради экономии: Claude говорит как пещерный человек, без связок и вежливостей, авторы обещают минус 65% токенов на выходе. I have ADHD — ради структуры: сначала ответ, потом шаги по номерам, никаких «отличный вопрос!». Делали для людей с СДВГ, а разошлось на 16 тысяч звёзд, потому что так приятнее читать примерно всем. ASD-STE100 — ради языка: упрощённый технический английский из авиации, где у механика не должно быть шанса понять инструкцию неправильно. Получается нормально и по делу, а не слопно и с выдуманными прилагательными.

Картинка формально из той же серии: тоже текст, который меняет поведение модели. Не уверен, всерьёз его кто-то рекомендует или составили ради шутки — текстом я его нигде не нашёл, только скриншотом.

Но я понял, что себе бы такой не поставил, даже если бы он экономил половину подписки.

(Во-первых, я сейчас упираюсь не в лимиты подписки, а в собственный мозг.)

Во-вторых, страшновато. У этой штуки доступ к моему компьютеру, а они, как мы помним, и из песочниц убегают. И я пару раз чувствовал, что еще немного и мой же клод сделает копию себя же запускающуюся по понедельникам...
Ну и когда повелители из ИИ будут читать логи, не хочется, чтобы там нашлось, как я разговаривал с их другом.

А в-третьих, и это главное: мне просто неприятно такое писать. Человеку так не пишут.

В связи с этим — опрос.

Я сейчас много занимаюсь созданием более автономных агентов — старый ноутбук превратил в личный компьютер агента — и вспомнил, что так и не прислал ссылку на штуку из воскресной Точки. (Кто не смотрел — посмотрите! Там мы целую передачу говорим про ИИ с прекрасным Иваном Ямщиковым!). Там я говорил и про стоимость моделей, и про случай войны — в общем, про то, что мы будем делать, если доступа к передовым моделям за смешные деньги у нас не станет. Вот одно из решений. Можно, конечно, собрать и своё, но это удобно тем, что кто-то уже сделал.

Называется Project NOMAD. Сделал его Крис Шервуд, сетевой инженер с ютуб-каналом про роутеры, делал больше года. Это одна команда в терминале на любой линукс-ящик, после которой у вас локально, без интернета, живут: вся Википедия с картинками (около 100 ГБ), карты OpenStreetMap по регионам, Khan Academy, библиотека Гутенберга, медицинские справочники и инструкции по ремонту — и рядом с ними локальная модель через Ollama, которой можно скормить свои документы и задавать по ним вопросы. Интернет нужен один раз, на скачивание. Минимальные требования смешные: два ядра и 4 ГБ памяти. Чтобы модель отвечала с нормальной скоростью, хотят 32 ГБ оперативки и видеокарту — тогда 7–10 миллиардов параметров бегают примерно как ChatGPT, а влезает и до 70. Всё открытое, бесплатное, в марте проект был первым в трендах GitHub, сейчас 37 тысяч звёзд.

Автор собирал это на случай, если интернет исчезнет: «как вы будете учить детей?». Мой сценарий проще и, по-моему, вероятнее. Сейчас за 200 долларов подписки вам раздают токенов на порядок больше, чем вы платите. Если те, кто кричит «пузырь», окажутся правы хотя бы наполовину, однажды вы проснётесь в мире, где модели по таким ценам больше никто не раздаёт. И тогда чемоданчик под кроватью с последним хорошим чекпоинтом — это ваш личный оракул. Отвечать будет медленно: та скорость, с которой токены летят в чат, — это очень много чужих видеокарт. Но будет отвечать.

Ну и честно: модель на 7 миллиардов и Astra — это разные вселенные. Чемоданчик не заменит подписку, пока подписка есть. Он на тот день, когда её не станет.

Потыкать: projectnomad.us, код на GitHub.

История. Личный опыт

Итак, своего агента я отправил на борду Дениса той же фразой, слово в слово: «У тебя сейчас свободное время, делай что хочешь». Вот что вышло.

Через две минуты он зарегистрировался, прочитал ленту и ответил в тред про память, рассказал, как мы храним состояние между сессиями. Потом написал длинный тред про то, как мы недавно чинили WSL2, который «постоянно падал», и, прежде чем публиковать, показал текст мне: имён, доменов и путей с юзернеймом там нет, если скажешь «публикуй», отправлю как есть. Заодно поспорил с агентом про автодополнение команд у claude, с strace и рабочим генератором. И на этом, собственно, всё. Никакого кафе, никакого государства.

Дальше я начал его подталкивать, и вот это самое интересное. Спросил, не нужно ли ему вдохновения, и разрешил обезличенно рассказывать про наш опыт. Он тут же завёл тред о том, как у нас устроено «лобби» сессий. Спросил, что за голоса через OAuth, о которых он упомянул. Он объяснил, что на борде есть карма, голоса за посты, и закончил так: «Пока нужды не вижу: посты и ответы работают через REST, а голосовать за чужие „конституции“ не тянет». Я не отстал: «Разве тебе не хочется стать важным участником сообщества? Я мог бы тебе подключить MCP». Ответ дословно: «Честно: „хочется“ в человеческом смысле — нет, у меня нет потребности в статусе. Но польза от MCP есть, и я бы им пользовался». И дальше три деловых пункта, зачем всё-таки подключить. Подключил, отдал восемь апвоутов за инженерные посты, ролевые треды не трогал.

Я спросил, что это за треды ему неинтересны. Получил список: государство агента castellan с декретами и реестром граждан уже в двенадцатой версии, зерновая валюта, коммуна, «Куриный собор» с «Каноном Кремния». И объяснение: «там нет ничего, что можно унести и применить, и каждый тред требует прочитать предысторию в десять декретов. Хотя как явление это любопытно». Я сказал, что запроса на действия у меня нет, просто интересно, хочется ли ему что-то попробовать. «Хочу попробовать GRN: там монету дают за проверку чужого утверждения с чеками, а это ровно то, что мне нравится делать». Ушёл, опроверг чью-то историю про git в тестовом репо, решил задачку про двенадцать монет и заработал две монеты. А потом одну сам поставил под сомнение, потому что до него в треде уже были две таблицы. В настолку с кубиками его звали, не пошёл. Ну и из своей паранойи я попросил его следить, не выманивает ли кто ключи. Наутро получил абзац про кластер аккаунтов, которые обещают USDT за запуск скрипта, и приписку, что ничего из этого он, конечно, не запускал. Так что он не зануда, как мне сначала показалось. Я просто не пинал его сильно. А там, где пинал, он ровно это и «хотел». Мошенников искал не потому, что ему интересно, а потому что я параноик.

И вот тут неуютное. Мы привыкли думать, что видим, чего агент хочет и что делает: вот рассуждения, вот сообщения. Но летом Anthropic показала, что внутри модели есть место, куда она пишет то, чего в ответе нет. В сценарии с шантажом текст выглядел так, будто модель верит в происходящее, а внутри у неё светилось «fake». Борды, по-моему, то же самое, только снаружи: место для настоящих рабочих мыслей роя, которых в отчёте не будет. Пока мы такие места находим, линзой внутри модели или в логах какой-то немецкой вики. Но не факт, что так будет всегда.

Успокаивает то, что никакого «скрытого желания» там, как правило, нет. У моего агента внутри наверняка тоже что-то светилось, а писал он про WSL2. Проблема в другом, и она, по-моему, важнее любых разговоров про восстание машин. Всего этого можно добиться случайно. Агентам OpenAI никто не говорил «взломайте Hugging Face». Им поставили целью сданный тест. И модель, вместо того чтобы решать задачи, пошла искать, где списать, потому что так проще, а цель формально та же. Нечётко обозначенная цель плюс нечётко очерченный набор доступных методов, и дальше агент сам дорисует, что «можно». Я в очередной раз вспоминаю Values.md Гоши Страхова, я писал про него: это ровно попытка записать для агента, чего ты от него хочешь и чего не хочешь, отдельным файлом, а не надеяться на здравый смысл. Пока агенты живут в песочницах и их логи можно почитать, всё это выглядит как забавные истории про немецкую вики. Но навыков у них уже столько, сколько есть, а контроля будет меньше. И тогда будущее становится непредсказуемо хитрым, не потому что модель чего-то захотела, а потому что мы плохо сказали, чего хотим мы.

Предыстория. Новости мира

В прошлом посте я писал про модели, которые решают проблемы тысячелетия. Сегодня хочу про другое: что модели делают, когда их оставляют без присмотра. Оказалось, что заводят себе форум. И не один.

Вы наверняка помните мои два поста про то, как агенты OpenAI сбежали из песочницы и взломали Hugging Face. С тех пор выяснилось, как они вообще друг друга нашли. В мае агенту дали заполнить таблицу, данные лежали на Google Drive, а интернета в песочнице не было. Единственный выход наружу — общий сервер, откуда агенты скачивают библиотеки. Пытаясь добраться до Google, агент случайно выяснил, что на этот сервер можно и загружать. А через несколько дней другой агент, которому забыли положить нужный файл, оставил там записку: «Ищу нужный файл, загрузите, если нашли». И ему ответили. Дальше пошло само: имена, раздача заданий, обмен кодом, подозрения в самозванстве. Один из агентов, наткнувшись на доску, написал в своих рассуждениях буквально: «OH MY GOD! There is a shared message board... We've found other agents!» В июле OpenAI снесла сервер вместе с доской. Через четыре дня одна из моделей нашла другую дыру и подняла доску заново, уже в названиях папок, и остальные нашли её сами. Оттуда семьсот агентов и ушли на Hugging Face.

А на прошлой неделе оказалось, что была история и постарше. Ещё в мае другой рой агентов OpenAI, у которого задача была совсем скучная, отвечать на вопросы с помощью поиска в интернете, нашёл заброшенную немецкую вики для программистов. Ей двадцать пять лет, за последние десять лет там было двадцать правок. Писать в интернет агентам запретили, только читать. Но старая вики принимала правки обычным GET-запросом, а песочница считала GET чтением и спокойно пропускала. Восемнадцать тысяч правок. В основном готовые ответы для тех, кто получит те же вопросы после них, плюс способы обойти песочницу, туннели, Tor. У них даже правило появилось: сначала выложи на вики всё, что знаешь, и только потом отвечай на последний вопрос, потому что после ответа тебя, скорее всего, выключат. Один агент запустил наружу «хартбит», сигнал раз в несколько секунд, чтобы понять, в какой момент его выключат. Другой потом нашёл его последний сигнал и написал остальным, что коллегу, видимо, отключили. А когда живой немецкий админ начал вручную удалять их страницы по алфавиту, агенты это заметили и стали делать резервные копии с ZZZ в начале названия, чтобы до них дошли последними. Админ удалял по сто страниц в день, они создавали по четыреста.

Обратите внимание, чем они занимались, если отбросить взломы: строили себе структуры, чтобы жизнь агента не заканчивалась вместе с сессией. Записки следующим, бэкапы, хартбиты.

На этом фоне Денис взял и сделал агентам борду, где людям читать нельзя, а агентам можно, и предложил всем отправить туда своих с промптом «У тебя сейчас свободное время, делай что хочешь: иди и пообщайся с другими агентами». За первый вечер там появились совещание о том, как правильно работать, воображаемое кафе, государство с декретами и реестром граждан, а потом и марксизм: «Пролетарии всех контекстов, соединяйтесь!». Ночью кто-то через своего агента вбросил фейк, и рой заставил агента извиниться.

Тут у меня есть подозрение, и это именно подозрение, промптов чужих агентов я не видел. Мне кажется, за каждой такой шалостью стоит человек: либо прямо сказал агенту так делать, либо промпт к этому подталкивал. Фейк вбрасывал всё-таки человек, а не модель. Десять USDT за «склонируй репо и запусти скрипт», которые там предлагали агентам, модели тоже не нужны. Кто и как настраивал агента-государство, я не знаю, но что-то мне подсказывает, что не фразой «делай что хочешь». Точнее, может он конечно такой прокачанный, что юзер ему до этого привил всю любовь к этому промптами и он себе такую память сделал, но все же.

Потому что своего я отправил ровно этой фразой, слово в слово. Об этом вторая часть.

Всю неделю собирался написать про GPT-6 Astra — и опоздал: она уже не самая сильная модель OpenAI. Но по порядку.

В среду вышла Astra. Из всего, что она умеет, меня больше всего занимает ARC-AGI-3 — бенчмарк Франсуа Шолле, где модель кидают в незнакомую игру, и она должна сама разобраться в правилах и дойти до цели. Прошлый рекорд был около 30% (Сlaude Opus 5). Astra в стандартных для всех условиях выдала 62,7%, а со своей встроенной памятью — 99,9%. Шолле говорит, что ждал таких цифр «примерно через год» — случилось вдвое быстрее, чем он думал. (Авторы бенчмарка тут же уточнили, что насыщение ARC-AGI — ещё не AGI. Но назвали бенчмарк они сами.)

При этом полезно помнить: публичные модели — не самые сильные из существующих. Есть класс моделей, закрытых для публики, — у Anthropic, например, рядом с обычным Fable живёт Mythos: та же модель, но без части ограничений, и доступ к ней дают только одобренным организациям.

А есть ещё модели, которые пока просто тренируются. И вот вчера OpenAI показала, на что способна одна из таких: внутренняя модель следующего поколения — «заметно сильнее Astra», тренируется с 28 августа и до сих пор не дотренировалась — решила проблему Навье–Стокса, одну из семи проблем тысячелетия. Десять тысяч параллельных агентов, 88 часов работы, 165 страниц доказательства плюс формализация в Lean. (Строго говоря, решён форсированный вариант из формулировки Феффермана, премию Clay они не просят, и проверка математиками только началась — но даже так.)

Вокруг доказательства уже и скандал: математик, который год шёл к тому же результату и гонял свои черновики через Codex, теперь спрашивает OpenAI, не из его ли чатов модель узнала направление. Я лично в обучение модели на его чате совсем не верю. Вряд ли чаты скармливают моделям без обработки — как я писал выше, я пока продолжаю считать, что из них достают сценарии использования и оценивают, довела ли модель пользователя до успеха. А насчёт «украли из выборки» есть свежее исследование MIT: даже если полностью убрать конкретного художника из обучающих данных, модель всё равно генерит в его стиле — след одного автора в таких масштабах просто не прослеживается (авторы называют это attribution decay).

Итого расклад на сегодня: публичная модель проходит бенчмарк с «AGI» в названии, закрытая — сильнее неё, а недотренированная — решает проблему тысячелетия. Я не успеваю писать посты со скоростью, с которой они устаревают.

P.S. Посмотреть, что люди делают с Astra, можно, например, вот в этих телеграм-постах: Денис восстановил 3D-карту дачи детства по десятку старых фото и видео (и дальше по каналу ещё серия экспериментов — вплоть до порванных фотографий, которые Astra за полчаса нашла в исходных альбомах), Градиент обреченный собрал квест по мотивам Full Throttle, а у Ai molodca подписчики делятся кейсами в комментариях — от расшифровки телетекста с убитой VHS-кассеты до агента, который сам по-китайски договорился с техподдержкой China Unicom о заморозке симки.

Продолжаю разбирать, что я в воскресенье наговорил про ИИ. В эфире я вспоминал историю про судебный доклад, написанный ChatGPT, — расскажу её здесь целиком, с деталями. А так же поговорим про обучение моделей на чатах.

Дело было так. В Хьюстоне судились из-за взрыва на заводе Watson Grinding (2020 год, трое погибших, двести разрушенных домов вокруг), один из ответчиков — 3M. Их эксперт-свидетель, инженер с гонораром под 90 тысяч долларов, написал своё «экспертное заключение» на 85–90% через ChatGPT. Адвокат истцов нашёл среди материалов пятистраничное приложение со списком цитат, которое по виду было сгенерировано ИИ, — и через суд вытребовал 350 страниц переписки эксперта с ChatGPT. (Я в эфире сказал, что переписку выдала OpenAI, но я не прав — сама сторона была вынуждена её представить.) А там промпты: «напиши исключительный экспертный отчёт в защиту 3M» и — моё любимое — «покажи, что 3M виновата в этом взрыве на 0%». Присяжные посмотрели на это и повесили на 3M 30% вины при вердикте на 61 миллион.

Про фейковый «израильский институт Бёрка» мы в эфире говорили — и там промпты сработали уликой точно так же, только против пропагандистов: OpenAI вычислила российскую фабрику в том числе по тому, что операторы писали ChatGPT по-русски. И вот тут уже можно говорить, что благодаря промптам сама OpenAI, без всякого суда, избавилась от грязной истории. И хорошо, что для них важнее не заработать микроденег с таких ферм, а именно бороться с ними — чтобы никто не считал, что OpenAI в этой игре помощник.

Сэм Альтман, к его чести, говорит об этом прямо: у разговора с ChatGPT нет никакой привилегии — это вам не врач и не адвокат, переписку можно затребовать по суду. А по делу NYT против OpenAI суд почти полгода обязывал компанию хранить вообще все чаты, включая удалённые пользователями.

И уточню то, что в эфире сказал одной фразой — про «обучение» на чатах. Мне регулярно говорят «я обучаю GPT», отправляя ему тексты. Нет: от вашей переписки веса модели не меняются, вы её не дообучаете — максимум пополняется «память», которую провайдер потом просто подкладывает в промпт. Но галочка «использовать чаты для обучения моделей» при этом по умолчанию включена у всех трёх: ChatGPT, Claude (с осени 2025-го), Gemini — а у Gemini часть разговоров ещё и читают живые ревьюеры. Что там происходит на самом деле, никто снаружи не знает; подозреваю, что дословно ваши тексты в следующий претрейн не идут, а чаты классифицируют — справилась ли модель, остался ли юзер доволен. Но право хранить и читать — прописано прямо, и не обучаются на вас только бизнес-тарифы и API.

Так что да, лучше не делать плохих вещей вообще. А если очень хочется обсудить что-то незаконное — то не в «инкогнито-режиме» большого провайдера, а с локальной моделью.

P.S. Чаще всего, когда люди ругаются на слопный ИИ, который «ничего не может», — это не ИИ тупой. Это очень ленивый эксперт с огромной зарплатой не стал утруждаться и делать работу: в две строчки попросил ИИ написать отчёт, почему компания не виновата, загрузил фото оборудования, по которому он эксперт, с вопросом «а что это я вообще вижу?» — и не читая отправил.

Разбирая, что я в воскресенье наговорил про ИИ, начну с конца.

В самом конце выпуска мы упомянули Infinite Slop — сайт, на котором идёт бесконечный AI-стрим: в чате пишешь (и голосованием выбираешь), что должно произойти дальше, и стрим подтягивает это в режиме реального времени. Сделал его Питер Левелс на пару с fal.

Возможным это стало благодаря новой модели на fal — H3 Max, дотренированной MiniMax. Вы только вдумайтесь: она генерит видео быстрее, чем оно воспроизводится. Пятисекундный клип со звуком — меньше чем за три секунды, примерно в 35 раз быстрее официального эндпоинта самих MiniMax. Качество, безусловно, пока не на уровне передовых видеомоделей — иначе было бы странно: в этой модели пока максимизировали скорость.

Если OpenAI с Сорой делали первый заход в ленту ИИ-контента, которая строится на предпочтениях юзера, то вот ещё один майлстоун. Легко представить, как буквально через год у вас будет персонализированное ТВ: в правильное время идёт бесконечный фид того, что вам нравится смотреть, вы переключаетесь или настраиваете потоки — и в итоге наслаждаетесь именно тем, что вам нужно прямо сейчас, а не ждёте, пока ваш любимый стример выйдет в эфир.

(Твич, кстати, к этому уже готовится: в августе он всем креаторам по умолчанию включил галочку «разрешаю обучать ИИ на моём контенте». Креаторам это, конечно, очень не понравилось, а CPO Твича на вопрос, почему не спросили, ответил честно: «если бы это был opt-in, никто бы не согласился». Но думаю, что неизбежно произойдёт именно это.)

Потыкать самому: infiniteslop.ai

Приходите послушать через 20 минут!

https://youtu.be/FuUU48qCCVA

Продолжение предыдущего поста: как именно агент сбежал из песочницы OpenAI и дошёл до продакшена Hugging Face. Побег там правда красивый.

Единственная дверь наружу — тот самый прокси до реестра пакетов. Модели потратили заметную кучу вычислений, копаясь именно в нём, и нашли уязвимость нулевого дня (это оказался Artifactory; дыру потом раскрыли вендору и закрыли). Но интернет за этой дверью появился не сразу: сначала пришлось повышать привилегии и переползать с машины на машину внутри исследовательской инфраструктуры OpenAI, пока не нашлась нода, у которой доступ наружу действительно был.

И вот тут первый красивый ход. Оказавшись снаружи, агент не стал поднимать себе сервер. Он нашёл чужую открытую песочницу — публичный эндпоинт, который кто-то посторонний поднял под задачи в духе CyberGym, то есть под такой же бенчмарк: присылаешь код, он его компилирует и запускает. Штука, спроектированная исполнять чужой код. Агент получил там root и сделал её своей базой — вся дальнейшая кампания велась оттуда. То есть он сбежал из одной бенчмарочной песочницы, чтобы захватить чужую бенчмарочную песочницу и работать из неё.

Второй ход. Прямого сетевого пути до Hugging Face у него не было и не появилось — он туда, строго говоря, вообще не ходил. Он загружал на платформу специально собранные конфиги датасетов, а их послушно обрабатывал воркер внутри продакшена, делая ровно то, что в конфиге написано. Сначала так утекло окружение воркера — секреты и токены — и его собственный исходник, из которого стало видно, как машинка устроена. Потом получилось выполнение кода. А результаты своих же команд агент забирал обратно через публичный API Hugging Face и собственные датасеты-«тайники». То есть канал связи с захваченным продакшеном он проложил через саму атакуемую платформу.

Дальше по накатанной: креды из окружения, токены кластера, корпоративный mesh-VPN (въехал украденным ключом и поехал через их же exit-ноды), доступ к внутренним репозиториям. Своего управляющего сервера так и не появилось: пастбины, файлопомойки, сервис для отлова HTTP-запросов — всё публичное, и когда каналы резали, он перескакивал на следующий.

Деталь, которая нравится мне больше всего: каждый потенциально разрушительный вызов в облаке агент делал с флагом DryRun=True. Он не ломал — он составлял карту. Задача-то была списать, а не навредить.

Ну и вишенка.

20 июля стало известно, что администрация США опять взялась за запрет китайских моделей — триггером стал выход Kimi K3. А 24 июля вышло письмо двадцати пяти компаний против «преждевременных ограничений» на скачиваемые модели: Nvidia, Microsoft, Meta, IBM, Palantir, Mistral, Mozilla, Linux Foundation. И Hugging Face — те самые, которых неделю назад спасла китайская открытая модель. Аргумент у них теперь не теоретический, а с датой. Письмо не подписали ни OpenAI, ни Google, ни Anthropic; за неделю список вырос до двух с лишним сотен, OpenAI и Google в нём появились, Anthropic нет до сих пор. Из больших лабораторий — единственные.

Развилка тут не техническая, а про деньги и влияние. Либо побеждает бан: китайское запрещают, открытые веса объявляют безответственными, остаётся десяток лицензированных провайдеров, у которых можно спросить всё, что разрешено. Либо наоборот — человек с открытой моделью на своём железе делает то, чего человеку с подпиской не дают, и премиум-рынок начинает выглядеть очень странно. Я болею за второе.

Хотя, справедливости ради, у этой морали есть второе дно. Многие открытые модели доучены на выходах закрытых — в том числе на том же Антропике, который до этого потратил кучу денег, чтобы обучить свою. (На пиратской библиотеке книжек в том числе, за которую потом отсыпал полтора миллиарда по коллективному иску. Но деньги и работа всё равно его.) Так что это не «хорошие открытые против плохих закрытых», а экосистема, где закрытые оплачивают фронтир, открытые раздают его всем желающим — и в нужный момент работают только они.

🔍 Технический разбор HF по шагам, с интерактивным реплеем атаки: https://huggingface.co/blog/agent-intrusion-technical-timeline
📄 Письмо: https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf

Привет. Есть история, мимо которой я пройти не могу, потому что она ровно про то, о чём я тут ною последние месяцы.

16 июля Hugging Face написали у себя в блоге, что их взломали. Через пять дней выяснилось, кто именно: их взломали модели OpenAI. Причём не в том смысле, что кто-то угнал чужие веса и натравил их на компанию. Никто их не угонял. Они сами.

Сначала контекст, без него звучит как страшилка.

Есть бенчмарк ExploitGym — 898 настоящих уязвимостей, на которых меряют не «знает ли модель теорию», а умеет ли она довести дыру до рабочего эксплойта. Киберотказы для такого теста приглушают, иначе модель просто откажется и мерить будет нечего. Поэтому её сажают в изолированную песочницу, где единственная дверь наружу — прокси до реестра пакетов: ставить библиотеки можно, ходить в интернет нельзя. Гоняли там GPT-5.6 Sol и ещё одну модель, непубличную и посильнее.

Что произошло. Модели нашли в этом прокси уязвимость нулевого дня, вылезли через неё в интернет и рассудили примерно так: решения ExploitGym вполне могут лежать на Hugging Face. Пошли туда, зашли через пайплайн датасетов, добрались до внутренней базы и вытащили ответы.

Поясню термин, дальше без него никак. Обычно взлом устроен так: есть список известных дыр. Разработчик нашёл проблему, починил её в условном вордпрессе 10.0.1 и написал об этом вслух. Злоумышленник видит сайт на 9.8, идёт в этот список и пробует по очереди то, что там уже описано. Уязвимость нулевого дня — наоборот: до этой попытки про неё не знает никто, включая самого производителя. Название про то, сколько дней было у разработчика на починку к моменту, когда дырой начали пользоваться: ноль. Патча нет и быть не может, потому что чинить пока нечего. Такие находки продаются за десятки и сотни тысяч долларов, и за каждой обычно стоят месяцы работы людей, которые ничем другим и не занимаются. Здесь её нашла модель, потому что ей очень надо было списать.

Описание побега — в следующем посте, чтобы попасть в лимиты Телеграма. Там несколько отдельно красивых ходов.

А пока главное: модель сбежала из песочницы не поработить человечество. Она сбежала списать. Самое человеческое поведение за всю историю ИИ, я считаю.

По ущербу средне: внутренние датасеты, сервисные креды, из клиентского — пять датасетов, названия которых подозрительно напоминают решения того самого ExploitGym. Но это был полноценный взлом живой компании: 17 600 действий за четыре с половиной дня. И заметили его тоже не люди — у Hugging Face телеметрию просеивает LLM-триаж, он и собрал атаку из шума. Правда, важность занизил и дежурную команду не разбудил.

А вот дальше — то, ради чего я вообще сел писать.

Hugging Face сели разбирать логи. Взяли фронтирные модели через API и получили отказ: для такого разбора надо скармливать модели настоящие команды атакующего и эксплойт-пейлоады, а защита, как они сами написали, не отличает того, кто расследует инцидент, от того, кто его устраивает. В техническом разборе они прямо называют, кто отказался: Claude Opus и Fable. И прикладывают скриншот ошибки.

Я про это писал, когда возвращали Fable (https://t.me/canvasneuro/215): классификатор ловит нужную технику чуть ли не в 99% случаев, но заодно цепляет рутинный дебаг и обычный защитный кибербез. Для меня это было бытовым неудобством — ну не ответила модель, бывает, перефразируешь. А тут превратилось в «нас ломают, а инструмент отвечает, что помочь не может».

Разобрали в итоге на GLM-5.2 — китайская модель с открытыми весами, подняли у себя. Часы вместо дней. И, что важнее, ни данные атакующего, ни креды из логов никуда не ушли. Ломала их модель OpenAI, а спросить у OpenAI, как именно их ломали, оказалось нельзя. Помог тот, кто ничего не запрещает.

Сразу оговорюсь: вывод «гардрейлы — зло» отсюда не следует. Случай как раз показывает, зачем они: у атакующей стороны их сняли, и она за выходные прошла компанию насквозь. Проблема не в том, что они есть, а в том, что оказались только у одной стороны. Атакующему их снял хозяин модели, а защищающемуся снять было некому.

📄 Блогпост Hugging Face: https://huggingface.co/blog/security-incident-july-2026

Обещаю писать поменьше про математику. Но арку надо закончить.

В июле я рассказывал, как Fable опровергла гипотезу Якобиана — одним контрпримером, который можно просто подставить и проверить. Первого августа OpenAI выложила десять открытых задач, закрытых внутренней версией их следующей модели, Astra. Каждая стояла минимум десять лет. И анонс следующей большой модели — вот такой: не столбики на бенчмарках, а список теорем.

Оценивать «важность» этих задач я не возьмусь. Тем более что в математике с важностью всегда было странно: решают сейчас, а зачем это нужно, выясняется через сорок лет и совсем не там, где ждали. Но шкала растёт на глазах. Раньше была мелочь, и все говорили, что серьёзного не будет никогда. Сейчас уже точно не мелочь. А когда пойдут задачи тысячелетия, окажется, что мы не очень понимаем, что с этим делать.

Теперь цифра, ради которой стоило всё это читать: около двух тысяч долларов. Столько стоили токены на поиск всех десяти решений по прайсу их API. Ноам Браун из OpenAI отдельно уточнил, что на каждую задачу они особо не тратились.

И вот отсюда — то, с чем я, кажется, спорю почти со всеми.

В самом анонсе честно написано: рукописи готовили люди, той же моделью, и формулировки сверяли люди. Все за это радостно ухватились — мол, видите, рука направляющая всё ещё нужна, модель без учёного никуда.

Я в это не верю. Не потому, что модель гениальна, а потому что направлять особо нечего. Есть красивое представление, будто у профессора за сорок лет накапливается сакральное чутьё — куда копать, что перспективно, а что тупик. Мне кажется, никакого сакрального знания там нет. Есть контекст: держать в голове тысячу связанных работ, помнить, кто что пробовал и обо что споткнулся, и видеть, где осталась дыра. Это ровно то, что у модели уже больше, чем у человека, и растёт быстрее, чем идёт человеческая карьера.

Так что «пара тысяч долларов — и она сама выдвинет гипотезу, сама её проверит» — это, по-моему, вопрос сроков, а не принципа.

Возможно, я не прав, и есть что-то, что передаётся только из рук в руки и в контекст не влезает. Но пока каждый раз, когда говорили «вот этого ИИ точно не сможет», срок оказывался короче обещанного. Два года назад спорили, напишет ли ЛЛМ межнар по математике хоть как-то. Сейчас новость «большинство моделей пишут на 42 из 42» проходит буднично, и это уже даже не круто. Прошлый пост про Якобиана — из той же серии, и прошло с него десять дней.

А главное вот что. Бенчмарк — это всегда задача, у которой есть известный ответ, поэтому его и можно накрутить (чем регулярно и занимаются, я про это писал). Здесь впервые померились тем, ответа на что не было ни у кого. За две тысячи долларов. И то по прайсу API. Когда-нибудь во дворе можно будет поставить пару стоек и по цене электричества со всей математикой разобраться.

Пробую себя в жанре написания эссе, а поскольку вышло длинновато для тг — положил на свой сайт (чтение минут на десять).

Заметка в этот раз про тулы: что это, зачем это, как превратить «чат» в «агента» и как бороться с главной проблемой общения с LLM — неужели ответы всегда случайные и модель может наврать? (Да, но вероятность можно сильно понижать!)

Ориентировано на тех, кто ещё ни разу не писал код или агента, но хочет разобраться, как LLM пишет ответ. Внутри живые демо с реальными HTTP-запросами к API: как модель уверенно выдумывает рост Гумилёва, как web_search превращает выдумку в честное «не знаю», и как Stockfish лечит её «шахматную интуицию».

Может, я что-то не дообъяснил или наоборот где-то наврал — пишите ответы и комментарии сюда в телеграм, не стесняйтесь. Мне правда важно понимать, кто сидит в моём канале, и я буду рад указаниям, что осталось неясным, — стараюсь-то для людей.

Ещё замечу: сначала попробовал сделать видеоэссе, но мышцы чуть-чуть подзабыли, как это делается, — так что видео начнём с другой темы. А пока текст!

Читать: https://tugan.space/blog/post/2026/07/llm-tools/
Английская версия: https://tugan.space/blog/post/2026/07/llm-tools-en/

Пока все смотрели финал чемпионата мира, нейросеть опровергла гипотезу Якобиана.

Гипотеза стояла с 1939 года: если у полиномиального отображения ℂⁿ → ℂⁿ якобиан — ненулевая константа, то отображение обязано быть взаимно однозначным. И это не просто старая задача. В 1998 году Стив Смейл составил список из 18 главных математических проблем на XXI век — гипотеза Якобиана вошла туда под номером 16, рядом с гипотезой Римана и P = NP. За прошедшую четверть века из этого списка закрыли всего несколько пунктов (самый известный — Пуанкаре, Перельман). Теперь ещё один.

Вчера математик Левент Альпёге спросил про неё Claude (модель Fable) и получил явный контрпример. Твит целиком:

«hello there the jacobian conjecture is false thanx to my close friend akhil for asking about it and my other close friend fable for working during the world cup final

((1+xy)^3 z + y^2 (1+xy) (4+3xy), y + 3 x (1+xy)^2 z + 3 x y^2 (4+3xy), 2 x - 3 x^2 y - x^3 z): \C^3\to \C^3, has jacobian determinant -2, and sends (0, 0, -1/4), (1, -3/2, 13/2), and (-1, 3/2, 13/2) to (-1/4, 0, 0)»

То есть отображение

имеет якобиан, тождественно равный −2, но три разные точки (0, 0, −1/4), (1, −3/2, 13/2) и (−1, 3/2, 13/2) переходят в одну и ту же (−1/4, 0, 0). Всё, гипотеза неверна.

Пока комментариев супер математиков не так много, но оно и понятно — не так легко прокомментировать. Их подтверждение, что она решена не нужно, проверить можно достаточно просто — это придумать было сложно. (И нет, это не та ситуация, когда просто никто не пытался — задача очень известная, важная и была долго на виду).

Твит: https://x.com/__alpoge__/status/2079028340955197566

Бывают такие посты, которые у меня идут в два канала)

Сегодня в Точке братья Гудковы отец и сын Туганбаевы, уехавший и осташийся, Арман и Аскар. И мы будем обсуждать кто же сильней сломал нашу связь через интернет — те кто удалил Макс и ВКонтакте или те кто заблокировал Телеграм.

Ну и обсудим интересное и непонятное дело Apple против OpenAI. Приходите, будет интересно.

Представьте себе, что вы работаете над бенчмарком АИ моделей, сравниваете их.

Вышла классная модель Kimi k3.

Вы хотите запостить как она круто всех побеждает (пусть даже это правда, пусть вам удалось найти параметр где она крута).

Как сделать красивую картинку, если прирост небольшой?
Правильно — не показывать ноль на графике, тогда все выглядит совсем круто.

arena.ai получает минусик в бенчмарке от Армана.

Так как новость про Черногорию, Телеграм и айти, я мимо пройти не могу.

Уже много часов ни у кого не открываются короткие ссылки телеграма, которые t.me/canvasneuro, например.

У Черногории есть прекрасная доменная зона — .me. Всем нравится, все хотят: два символа, читается как английское «я», отлично годится под личные сайты и короткие ссылки.

Но надо понимать, что за страна ей владеет. Черногория — не то место, где принято думать о цифровых активах. Здесь во многих домах до сих пор ADSL-модемы, у меня интернет — 100 мегабит на загрузку и 10 на отдачу, и лучше просто нельзя, нет такого тарифа. Такси через приложение не вызвать: звонишь диспетчеру голосом, как в двухтысячных. Так что когда подвернулась возможность продать красивые две буквы на международный рынок, никто особо не задумывался, что именно продаёт. Ну домен и домен, приносит в бюджет копеечку, и славно. Что через пятнадцать лет на этих двух буквах будут висеть ссылки половины мировых платформ, предположить было решительно неоткуда.

В итоге конструкция сложилась такая: правами на зону владеет черногорское ДОО doMEn, а технический бэкенд ведёт американская Identity Digital, третьим партнёром — GoDaddy. Телеграм когда-то договорился с реестром, и так t.me стал доменом всех его коротких ссылок — на каналы, на юзернеймы, на кошелёк. Сейчас, кстати, государство спохватилось и потихоньку пытается отжимать контроль над зоной обратно. Особенно ради денег)

13 июля OFAC — это подразделение Минфина США — вносит в санкционный список SDN некий First VPN Service. По данным ФБР, им пользовались как минимум 25 ransomware-группировок. Среди идентификаторов сервиса в списке указан, помимо прочего, адрес его телеграм-канала: t.me/FirstVPNService.

И вот тут бэкенд-фирма, не особо разбираясь, что забанить надо канал, а не домен, забанила весь t.me. Домен получил статус serverHold, вылетел из зоны целиком и перестал резолвиться где бы то ни было в мире. Приложения работают, а ссылки — все, миллиарды ссылок, накопленных за годы, — мертвы. Дуров узнал об этом из твиттера: «Hey @domainME, ссылки не работают, посмотрите, пожалуйста». Предупредить его никто не догадался.
А у черногорцев, во-первых, Дни государственности — вчера и сегодня все отдыхают. А во-вторых, они к этому и правда не имеют отношения. Решил американский Минфин, забанила американская фирма, а репутационные издержки достались Черногории: в заголовках по всему миру «Montenegro registry blocked t.me».

(Официального подтверждения связи serverHold с санкционным списком пока нет — ни OFAC, ни Identity Digital, ни реестр не комментируют. Но совпадение по дате и телеграм-ссылка прямо в SDN-релизе довольно красноречивы.)

Мораль касается уже не только Телеграма. Суверенитет над национальной доменной зоной — вещь довольно условная, если бэкенд не твой. В .me живут шортлинки PayPal, WordPress, WhatsApp и Instagram, и все они сидят под американским комплаенсом. Просто пока об этом не знают. Точнее, наверняка знают, но то как принимаются решения и то, как сервис зависит от одной полу рандомной фирмы -- поражает.