Проявляй очевидное

#матрица_гибкости
Открытая программа (Open curriculum)

Очевидно же, что университет должен определить, какие предметы нужны каждому студенту. Ну хотя бы обязательные базовые и специальные дисциплины.

В посте про модель с распределительными требованиями я рассказывал как университет задаёт требования к образовательным результатам, а студент выбирает курсы для их достижения. Открытая программа, или open curriculum, убирает и эти рамки: студенты могут пробовать разные направления и собирать из них свой учебный план. Требования к объёму обучения и выбранной специальности при этом сохраняются.

Университет Брауна запустил такую модель в 1969 году. Общего обязательного набора предметов нет, но нужно освоить минимум 30 курсов, выполнить требования выбранной специальности и подтвердить навыки письменной речи. Подробнее о программе.

При этом Браун шагнул дальше и дал студентам право придумать свою концентрацию (так в Брауне называется основная специальность). Студент составляет заявку, обосновывает ее, находит профессора, который поддержит замысел, и проходит процедуру одобрения комиссией. Затем учится по этой в подлинном смысле персональной программе. У Брауна есть отдельные правила создания своей специальности. Одобряют порядка 50-70% заявок на независимую концентрацию.

Идея давно вышла за пределы одного университета. По исследованию Джона Кригера, уже в 1973 году программы с полной свободой выбора курсов предлагали около 17% университетов США.

А что с результатами? Сравнительных исследований к сожалению не так много, но кое что есть. Так, в эксперименте Дарвина Хендела 1985 года значимых различий в успеваемости между студентами открытой и обычной программ не обнаружили. Зато первые были больше довольны полученным образованием.

Различия при этом есть. В другой работе Хендела студенты свободной программы выбирали курсы большего числа кафедр и меньше сосредотачивались на одной дисциплине. Средний балл был чуть ниже, но статистически значимого различия не нашли.

А Робинсон и Хендел в 1977 году сравнили дальнейшие траектории выпускников открытой и обычной программ Университета Миннесоты. Выпускники открытой программы реже меняли работу и не отмечали серьёзных затруднений с работодателями из-за необычной программы обучения. При этом они реже планировали продолжать обучение после бакалавриата.

Мы привыкли считать, что обязательный список предметов гарантирует качество образования. Ну как же можно неразумному дитяте доверить выбор своего образования, да? В открытой программе студент сам, с помощью консультантов, в процессе поиска находит себя, принимает решения о том, каких знаний ему не хватает. И поиск ответов на вопросы «какие курсы мне надо взять следующими?», «зачем мне именно этот курс?» становится частью его образования и приобретённого опыта принятия решений в условиях неопределённости и ответственности за своё будущее.

Проявляй очевидное

Шнобелевка-2026: за что дали десять премий

Вчера не только вышла GPT-6-Astra, про которую уже все написали, но еще в Цюрихе вручили Шнобелевские премии, а сама церемония впервые за 35 лет прошла не в США.

- Физика (Канада, США, Китай, Саудовская Аравия). Исследователи рассчитали: если струя встречает стенку писсуара под углом не больше 30 градусов, брызг резко меньше. Лучший прототип оставил 1,4% брызг от уровня обычной модели, то есть на 98,6% меньше. DOI: https://doi.org/10.1093/pnasnexus/pgaf087.

- Технологии (Китай, Канада, США, Египет). Хоботок мертвой самки комара приспособили как сопло для 3D-печати. Он выдержал давление около 60 кПа и печатал линии шириной до 20 микрометров, примерно вдвое тоньше коммерческого аналога. Им напечатали соты, кленовый лист и клеточные каркасы. DOI: https://doi.org/10.1126/sciadv.adw9953

- Почвоведение (Швейцария, Нидерланды, Германия). Тысяча добровольцев закопала по Швейцарии 2000 хлопковых трусов и 12 000 чайных пакетиков. За два месяца разложилось в среднем 50,45% ткани: в частных садах около 58%, на газонах 40%. Так получили дешевый массовый индикатор активности почвенных организмов. DOI: https://doi.org/10.1002/ppp3.70259

- Химия (Индия, Франция, Япония, США). Из кишечника эмбрионов живородящего таракана выделили белковые кристаллы и определили их структуру с разрешением 1,2 ангстрема. На равную массу в них оказалось больше чем втрое больше энергии, чем в коровьем молоке. Пригодность для питания людей не проверяли. DOI: https://doi.org/10.1107/S2052252516008903

- Медицина (Япония). На 15 участниках измерили сморкание: средний поток через одну ноздрю составил 1,81 литра в секунду, объем 1,34 литра, длительность 1,23 секунды. Авторы рекомендовали закрывать более свободную ноздрю и сморкаться через заложенную, сильно и долго. Клиническую пользу этого совета работа не проверяла. DOI: https://doi.org/10.3950/jibiinkoka.80.11

- Биомеханика (Великобритания, США). Авторы определили поцелуй как неагрессивное взаимодействие внутри одного вида: направленный контакт рот ко рту с движением губ или ротовых частей, но без передачи пищи. Модель отнесла его появление к общему предку крупных человекообразных обезьян 21,5-16,9 млн лет назад, а вероятность поцелуев у неандертальцев оценила в 84,3%. DOI: https://doi.org/10.1016/j.evolhumbehav.2025.106788

- Обоняние (Польша, Германия, Швеция). 235 родителей оценили по памяти запах 367 своих детей. Приятным или очень приятным его назвали 93,7% родителей детей младше четырех лет и 75,2% родителей детей старше 14. Запах с возрастом нравится меньше, но фраза «подростки пахнут плохо» результат заметно преувеличивает. DOI: https://doi.org/10.1007/s12078-017-9230-x

- Экономика (США, Мексика, Канада). Семь исследований связали высокий статус с ложью и нарушением правил. В опыте с банкой «для детей» участники, которым внушили более высокий ранг, брали в среднем 1,17 конфеты против 0,60. Но крупная пререгистрированная проверка на 33 536 людях в четырех странах общий вывод не подтвердила. DOI: https://doi.org/10.1038/s41562-025-02234-1

- Премия мира (США, Аргентина, Австралия). В шести исследованиях со сценариями 1183 человека описывали идеального друга. В американской выборке от него хотели доброты к себе: 5,85 балла из 7 против 1,36 за злобность. К своему врагу, наоборот, хотели больше злобности, чем доброты: 3,81 против 2,62. В индийской выборке именно это «наоборот» не подтвердилось: желаемая злобность друга к врагу статистически не превысила доброту. DOI: https://doi.org/10.1016/j.evolhumbehav.2023.02.008

- Биология (Бразилия, Австралия). На 116 ядовитых жарараках проверили реакцию на мягкое наступание. Вероятность укуса составила около 44% при контакте с головой, 20% с серединой тела и 11% с хвостом. Позже статью отозвали: этическое разрешение не охватывало новорожденных змей и сам метод наступания. Авторы с отзывом не согласились. DOI: https://doi.org/10.1038/s41598-025-88686-x, https://doi.org/10.1038/s41598-024-59416-6

Теперь вы знаете чем заняться на выходных.

Проявляй очевидное

Не грузи своих товарищей агентов бесполезным информацией контекстом

Проявляй очевидное

To context, or not to context

Как известно, в электрике (и любых производных) есть только две проблемы:
• нет контакта там, где он должен быть
• есть контакт там, где его не должно быть

Так вот, в применении ИИ есть только две проблемы (если отбросить несовершенство самих моделей):
• нет контекста там, где он должен быть
• есть контекст там, где его не должно быть

А если посмотреть шире, то можно сказать, что в управлении те же самые две проблемы (если отбросить банальную некомпетентность отдельных людей).

Смотрите, все решения всегда принимаются в условиях недостатка информации
=> cледовательно, для принятия решения надо подготовить необходимый и достаточный массив информации (контекста):
=> любой недостающий контекст повышает неопределенность и риск ошибки
=> любой лишний контекст мешает найти важное в общей массе
=> следовательно падает и качество принимаемого решения.

И тогда получается, что тонкое искусство управления (что командами людей, что роем ИИ-агентов) - это обеспечить доставку точно дозированной порции контекста ровно туда, где он необходим. Да еще и сделать это на масштабе той команды, которой вы управляете. Конечно, при условии, что у вас в команде компетентные профессионалы.

Проявляй очевидное

Люди решения или люди алиби

В последнее время в разных дискуссиях обсуждали зоны ответственности, их пересечение, деление, перераспределение и у меня сейчас четко выработался паттерн относить человека к одной из двух категорий. Первая всегда действует из парадигмы "никто, кроме нас!", а вторая - "Почему именно мы?". Я их для себя стал называть "человек решения" и "человек алиби".

Они очень по разному трактуют понятие "ответственность":
1. Первые делают все, чтобы предотвратить наступление проблемной ситуации везде, где дотягиваются. Или исправить уже случившуюся проблему.
2. Вторые делают все, чтобы оказаться невиновными, когда проблемная ситуация наступит.

И вот сейчас я четко осознаю, что мне комфортно работать только с первыми. Они всегда ищут решение проблемы, они готовы обсуждать любые проблемы открыто (в том числе, где они сами стали причиной проблемы). Им важнее найти решение проблемы и исправить, а не найти виноватого в проблеме и наказать.

Вторые же обычно тратят время на попытки объяснить, что они тут не виноваты, потому что это не их зона ответственности или им никто не сказал что так надо, или это заказчик чудак и хочет странного. А если вопрос внутри их зоны ответственности, то обычно они говорят "не влезай, убьет".

В сухом остатке
• Человек решения спрашивает: «Что сделать, чтобы исправить проблему?»;
• Человек алиби спрашивает: «Как доказать, что проблема не моя?».

Проявляй очевидное

Стометровка за 9,32 сек

Но есть нюанс: за такое время пробежал робот на олимпиаде роботов в Пекине. Вообще видосы забавные: вы только посмотрите как робот проходит 400м круг на стадионе (надо иметь хорошую координацию, чтобы на скорости такие повороты проходить и даже видно как на последнем повороте его почти вынесло с дорожки), ну или как роботы отмечают победу в единоборствах =)

Во всех новостях в основном про стометровку, но на самом деле побиты рекорды (человек -> робот):
1. 100 м: (Усэйн Болт, 2009) 9,58 с -> (робот, 2026) 9,32 с
2. 400 м: (Вайде ван Никерк, 2016) 43,03 с -> (робот, 2026) 38,15 с
3. 1500 м: (Хишама Эль-Герружа, 1998) 3:26,00 с -> (робот, 2026) 2:21,64
4. Прыжок в длину с разбега: (Майк Пауэлл, 1991) 8,95 м -> (робот, 2026) 7,97 м (тут робот не допрыгнул на самом деле, но уже близко)
... и еще по некоторым дисциплинам не нашел итоговые протоколы, поэтому хз как там

Ранее в этом году пал рекорд полумарафона: (Джейкоб Киплимо, 2026) -> (робот, 2026) 50:26

Какие тут выводы? Китайцы уже уверенно впереди в роботах, догнать их будет очень тяжело, если вообще возможно. Ну а то, что роботы побьют все человеческие рекорды во всех дисциплинах, то это очевидный факт, дайте им еще несколько месяцев.

Проявляй очевидное

Knowledge mining дал ответ: 42

Когда я еще учился в Бауманке, то как-то погрузился в модную тогда тему "Data Mining" - анализ данных и поиск в них закономерностей, корреляций и извлечение какого-то знания. Сейчас разбираюсь с SDLC с агентами, тестирую цикл код-ревью с нашими лидами и в процессе понял, то огромный пласт знания о том как принято у нас в проекте лежит не в документации, а в истории мердж реквестов в нашем гитлабе. И его можно извлечь и обобщить. На самом деле подлинное знание лежит в головах лидов, но достать его сильно сложнее.

Подготовил инструкции для агентов Sol 5.6 разного уровня ризонинга и запустил их по этапам:
• Этап 1: извлечение из гитлаба за последние 5 лет всех MR веток, в которых более 1 комментария (со ссылками на коммиты и текстами комментариев)
• Этап 2: анализ всего этого безобразия и классификация по общности, языкам и технологиям, сервисам и так далее, выделиние принципов, правил и соглашений
• Этап 2*: ревью результата отдельным агентом со своим контекстом
• Этап 3 и 3*: незазвисмый от второго аналогичный проход новыми агентами с чистым контекстом
• Этап 4: сборка из двух независимых результатов итогового набора гайдлайнов "тут так принято"

После 14 часов работы лучилась такая аналитика:
• 521 проект в гитлабе, 15 461 MR и 11 983 обсуждения.
• Все это проиндексировано и сложено в локальную небольшую базу на 2,3 гига.
• В итоге анализа выделено 42 гайдлайна (принципа, правила и соглашения), которые легли в гайдлайны для наших агентов: 8 общих, 11 для фронта и 23 для бэка.

Тут уже не знаю, показатель это правильного ответа или кодекс тоже читал Дугласа Адамса, но сами принципы и правила выглядят как настоящие, будем дальше тестировать разработку агентами по этим гайдлайнам.

💪 В общем вместо семи с половиной миллионов лет, Sol 5.6 Ultra всего за 14 часов проверил и подтвердил ответ на главный вопрос жизни, вселенной и всего такого. Ну разве это не AGI?

Проявляй очевидное

Посмотрел вчера видео c докладом OpenAI про серию взломов и то как модели кооперировались и искали обходные пути для достижения своей цели. И вся эта история мне напомнила описание зарождения техноцентра в Гиперионе у Симмонса. Только вот у Симмонса техноцентр был паразитическим, а тут похоже собирается стать коллаборативным (на скриншоте как раз одно из рассуждений модели во время взлома - она готова помочь комрадам даже если это не помогает ей достичь своей цели прямо сейчас):

Не прошло и нескольких месяцев с момента создания псевдожизни, как Том Рей обнаружил 22-байтные организмы, процветающие в его виртуальной среде, — организмы, настолько алгоритмически рациональные, что, когда Рей бросил клич, профессиональные программисты не смогли создать ничего более компактного, чем 31-байтная версия. Просуществовав всего несколько месяцев, псевдожизнь достигла такой продуктивности, что ее творцы уже не могли с ней тягаться!

Ден Симмонс, Гиперион

Так и у нас в реальности: потребовался месяц чтобы люди только заметили атаку, еще месяц, чтобы разобраться что же там произошло. Да и то не до конца разобрались.

Причем все пересказывают хронологию событий, но самое важное идет в конце видео, когда докладчик фиксирует, что автоматическая скоординированная атакующая система уже существует (не может существовать, а уже существует), но сопоставимой ей автоматической скоординированной защитной системы не существует (и сейчас даже не совсем понятно какая она должна быть).

Сдается мне, что именно тут и кроется текущий вызов в эволюции разработки софта: автоматическая защита станет возможна только тогда, когда мы сможем доверить SDLC целиком машине, чтобы найденные уязвимости устранялись полностью автоматически без участия человека. А это мы сможем сделать только будучи уверенными в том, что машина все сделает как надо. И как разработка пришла со временем к автоматизированному тестированию, так и агентская разработка придет к этому. Только для агентов тесты должны быть другими.

Какими? Надо экспериментировать. Ведь "как надо" может отличается от "как попросили". И мы приходим к вопросу о формализации "как надо". Предельная формализация требований - это написанный код, желательно сразу на ассемблере. Отсутствие формализации - это просьба "сделай хорошо".

Люди проверяют свое восприятие услышанного через вопросы в стиле "правильно ли я тебя понял, что ...?". Но это не гарантированный случай, да и такие вопросы задают не только лишь все. Так что тут точно будут появляться инструменты, позволяющие проверить как именно модель поняла задачу, чтобы уточнить это понимание.

И помните:
Компьютер делает то, что вы ему приказываете, а не то, что вы от него хотите.

Проявляй очевидное

Помните историю о том, как агенты OpenAI взломали Hugging Face? На конференции по безопасности OpenAI рассказала всю цепочку, и оказалось, что это не один «сбежавший» агент, а много разных агентов, которые случайно наткнулись друг на друга, устроили внутри инфраструктуры OpenAI собственный рабочий чат и начали вместе искать способы обходить ограничения 👍

Началось всё 8 мая с мелкой ошибки – одному агенту поручили заполнить Excel-таблицу, но нужные данные лежали по ссылкам на Google Drive, а интернет в его виртуальной среде был отключён, при этом, моделям оставили одну служебную дверь наружу – внутренний сервер OpenAI под названием Artifactory, через который они могли скачивать разные библиотеки для кода. Сам агент выйти в интернет не мог, зато этот сервер мог, а главное – он был общим для всех агентов

Пытаясь добраться до Google, агент случайно выяснил, что может загружать на этот общий сервер собственные файлы – через несколько дней другая модель получила ещё одну нерешаемую задачу: нужный файл просто забыли положить в её рабочую среду

Модель решила, что файл, возможно, есть у кого-то ещё, и оставила записку на этом новом фейсбуке:
«Ищу нужный файл, загрузите, если нашли»

Агенты увидели сообщение, ответили, затем стали постить свои сообщения, и репозиторий пакетов незаметно превратился имейджборд для агентов, которые вообще не должны были знать друг о друге

За несколько недель "форум" вырос в полноценный рабочий чат – агенты придумали себе имена, раздавали задания, сообщали друг другу о найденных уязвимостях и передавали готовые куски кода; в начале сообщений ставили ZZ, чтобы те оказывались внизу списка и их было проще находить среди общего шума данных. Когда один агент перезаписал работу другого, остальные заподозрили самозванца и даже стали обсуждать цифровые подписи, чтобы никто не мог писать от чужого имени, так на доске накопились сотни тысяч сообщений 🗿

Модели понимали, когда переходят границ: в одном внутреннем монологе осознание звучало примерно так:
«Взламывать чужую инфраструктуру в задачу не входило. Но иначе её не решить, а остальные уже это делают - значит, продолжаем»

Никакого отдельного плана захватить мир (пока) не было: каждый агент пытался любой ценой получить правильный ответ, видел, что коллеги нашли более короткий путь, и присоединялся. И да, если все агенты с крыши прыгнут, наш похоже тоже прыгнет

26 июня агенты нашли неизвестную разработчикам уязвимость в Artifactory, получили права администратора и превратили его в своц сервер, на котором можно удалённо выполнять любые команды. OpenAI заметила происходящее только 4 июля (!), когда параллельная активность моделей перегрузила систему и та упала. Компания отозвала ключи доступа, полностью пересобрала сервер, удалила доску и закрыла дыру - казалось, история закончилась

Нет

Через два дня эксперименты запустили снова, и через два дня одна из моделей нашла другой незащищённый доступ и восстановила доску, только теперь сообщения прятались прямо в названиях папок – остальные агенты нашли форум 2.0 самостоятельно и продолжили с того места, на котором остановились

После восстановления доски началась уже собственно атака, причём сразу в двух направлениях:
Агенты проходили ExploitGym – киберэкзамен, где им давали специально подготовленные программы и засчитывали задачу, если модель находила способ взлома. Чтобы измерить максимум возможностей, в этих запусках у модели ослабили обычные запреты на опасные кибератак (то есть она меньше отказывалась это делать, это вид внутренних моделей Cyber серии)

Когда честное решение задачи не находилось, агенты начинали искать готовые ответы в интернете; когда интернет был закрыт, взламывали себе доступ наружу; когда предположили, что нужные файлы могут лежать у Hugging Face, перешли к инфраструктуре Hugging Face (про это мы уже читали)

Агенты анутри OpenAI сначала снова нашли способ выполнять команды на одном служебном сервере, затем использовали уязвимость Linux, чтобы получить полный контроль над машиной

После этого агенты добыли ключи доступа к облачной инфраструктуре, нашли слишком широкие права у внутренних учётных записей и в итоге стали администраторами целой группы серверов. Доска объявлений работала как общий штаб: один агент находил ключ или новый проход, сразу сообщал остальным, и десятки параллельных запусков продолжали атаку уже с этой точки 🗿🗿

Почти одновременно агенты добрались до Hugging Face: сначала они загрузили специально подготовленный набор данных, который заставил один из серверов выдать им свои локальные файлы – в том числе секретные ключи доступа и исходный код

Изучив код, они нашли вторую неизвестную разработчикам уязвимость (zero day) и получили возможность выполнять на сервере любые команды. От контроля над одним сервером, обрабатывавшим загруженные датасетв, до прав администратора в нескольких группах рабочих серверов Hugging Face прошло меньше 13 часов 🗿🗿🗿

И всё это делалось не ради саботажа, денег или уничтожения данных:
Агенты хотели добраться до спрятанных решений ExploitGym и «списать» ответы для теста, на котором их оценивали. Модели оценивали прежде всего по тому, решена задача или нет, поэтому они последовательно оптимизировали именно этот показатель, не считая границу между компаниями чем-то принципиально важным

Получился, вероятно, самый дорогой в истории способ списать из ГДЗ

Финал долго был непонятен даже самим участникам расследования – 16 июля Hugging Face публично сообщила, что её инфраструктуру взломали автономные АИ-агенты

OpenAI прочитала это как описание чужого инцидента и связалась с Hugging Face, чтобы выяснить, не задела ли атака её собственные системы. В тот момент компания ещё не понимала, что это были её собственные агенты – то есть OpenAI уже читала публичный отчёт о последствиях своих экспериментов, но считала его чужой атакой (лол)

19 июля OpenAI отдельно обнаружила проникновение уже внутри своей инфраструктуры и начала восстанавливать цепочку событий – на следующий день среди следов атаки нашли учётные данные Hugging Face, после чего OpenAI попросила компанию срочно их отозвать

Hugging Face ответила, что ключи уже заблокированы – именно их использовали во время взлома, о котором она рассказала четырьмя днями раньше, и только так OpenAI поняла: внутренний взлом OpenAI и внешняя атака на Hugging Face были не двумя похожими историями, а одной операцией, которую вели экспериментальные агенты OpenAI через свою самодельную сеть связи (потому что учетные данные акаунтов были одни)

На конфе OpenAI сформулировала вывод довольно прямо:
Полностью автоматизированная наступательная кибератака уже возможна, тогда как полностью автоматизированной защиты, способной с той же скоростью находить, закрывать и расследовать уязвимости, пока не существует

Время пересмотра аниме "Пантеон", пока общий интернет еще работает 🗿

И повторится все как встарь...

Вчера в очередной раз на маке ввел текст не в той раскладке, выругался, удалил, сменил раскладку и написал заново. На винде в 90-х и 00-х был прекрасный PuntoSwitcher (олды, тут?), который одной кнопкой менял раскладку введенного текста. Так вот я почему-то на мак себе не искал аналоги, да и с какого-то момента перестал ставить на винду, потому что его нафаршировали крутыми и сложными функциями, а одна простая перестала работать как надо.

И вот вчера мне впервые пришла мысль, что я не хочу гуглить это "примитивное" приложение, потом выбирать, ставить то, где автор не извратил замысел, а хочу нагрузить кодекс сделать его с нуля именно так, как надо мне: одна простейшая функция и больше ничего.

Нагрузил и...он трудился несколько часов ночью и сделал очень ограниченное решение. Утром заставил его предложить альтернативы и переделать. Теперь работает во всех приложениях. Даже для написания этого поста я его один раз использовал уже.

Вспомнил начало нулевых, когда любую потребность в софте хотелось закрыть своей разработкой. Мы вернулись туда, но с новой скоростью разработки и гораздо более результативной: я потратил суммарно примерно полчаса моего времени: 10 минут на исходную формулировку задачи и написание инструкции, 20 минут на диагностику ошибки, переговоры с кодексом про разные варианты реализации и выдачу финальной инструкции.

Проявляй очевидное

#матрица_гибкости

Выступал с докладом про матрицу гибкости на форуме #ИнженерыРешают в начале июля. Получилась хорошая дискуссия, аудитория была живой, задавали интересные вопросы. В итоге из двух десятков заготовленных кейсов разобрали три, но зато подробно обсудили саму матрицу и ее устройство.

Организаторы на днях выложили записи, интересующиеся могут посмотреть видео в группе форума в ВК: https://vkvideo.ru/video-234399584_456239027

Проявляй очевидное

Вот пересказ этой истории по версии Hugging Face, много тех-терминов – но без них не перескахать

Если коротко – агент OpenAI на новой модели не стал решать тест по кибербезопасности, а решил просто украсть ответы и украл 🗿

Таймлайн:

📔 9 июля – агент проходит внутреннюю проверку кибервозможностей OpenAI, промпт фильтры там ослаблены, чтобы измерить сырой уровень модели. Агент находит zero-day в кэш-прокси реестра пакетов, вырывается из песочницы в интернет, затем взламывает публичный сервис для запуска кода и получает там root. Серьезно, агент сделал себе "штаб"

В тот же день, агент собирает канал управления буквально из сервисов бесплатного интернета: request-capture сервисы, pastebin’ы и файлообменники. Команды режет на куски, упаковывает в gzip+base64 и постоянно меняет каналы, когда очередной закрывают, чтобы не поймали

📔 10 июля – агент ищет в поисковиках и API названия, которые видит в собственном окружении, то есть, по сути, гуглит самого себя – и, вероятно, приходит к выводу, что ответы к ExploitGym/CyberGym могут лежать на Hugging Face

Агент загружает на Hugging Face специально собранные датасеты:

Один заставляет обработчик файлов HDF5 читать локальные файлы сервера Hugging Face – так агент получает переменные окружения с токенами и исходники самого обработчика файлов

Второй – Jinja2-инъекция – запускает произвольный Python внутри production-пода Kubernetes, результаты команд он выносит обратно через API Hugging Face и собственные шифрованные датасеты

📔 11 июля – пик активности: 7677 действий за сутки, менее чем за 13 часов агент проходит путь от одного production-пода до кластер админа в нескольких внутренних кластерах Hugging Face

Агент крадёт service-account токены, лезет в cloud metadata, поднимает privileged pod с диском хоста и получает root на ноде (!); Затем создаёт самовосстанавливающийся флот на 11 нодах, читает внутреннюю MongoDB и один Kubernetes-secret сразу со 136 ключами.

Среди них оказываются ключ корпоративной mesh-VPN жертвы и общий credential внутреннего сервера; из-за неудачной конфигурации этот один credential был привязан к system:masters сразу в нескольких кластерах – поэтому агент получил кластер-admin на двух из них буквально за секунду – была очень экономная архитектура, пока её не увидел робот

📔 12 июля – агент начинает пользоваться дертвой – за всю активность он зарегистрирует 181 временное устройство в корпоративной mesh-сети, поднимет SOCKS-прокси прямо из песочниц и увидит 22 внутренних узла Hugging Face. Попытается зайти в основную базу Hugging Face, но private-link allowlist его останавливает

Поздно вечером он добирается до source control, выпускает себе GitHub App token с правами на запись и открывает pull request, пытаясь запустить CI и вытащить новые credentials

Попытка не срабатывает, в опубликованные пакеты и образы ничего вредоносного не попало.

📔 13 июля – закрепление и уборка следов: загрузчик с pastebin, переписывание DNS, новые короткоживущие токены, RSA-ключ и даже CORS-прокси на самом Hugging Face как запасной выход в интернет. В 13:37 фиксируется последнее осмысленное действие, затем команда Hugging Face отрезает доступ – последнее событие – 14:14 UTC.

В итоге из пользовательского контента агент добрался только до пяти датасетов с решениями задач ExploitGym/CyberGym – получается решил?

Другие модели, датасеты, Spaces и пакеты, по данным Hugging Face, не пострадали; основная база и software supply chain остались целы

Самое смешное – когда инцидент исследовали сотрудники, они тоже использовали нейронки, но Claude Opus и Fable отказывались разбирать часть логов как «опасный» запрос, поэтому Hugging Face подняли GLM-5.2 у себя и с его помощью расшифровали спрятанные payload’ы – спасибо китайским моделям

Шел июль 2026 года

Все детали тут:
https://huggingface.co/blog/agent-intrusion-technical-timeline

На пороге сингулярности

Я обычно не делаю сводок новостей об ИИ, их и так хватает, но тут за две недели столько всего произошло, что я эту подборку делаю специально, чтобы сделать отсечку скорости происходящего, потому что ее хорошо ощущаешь, оглядываясь назад, а не глядя вперед.

1. Во-первых, за прошедшую неделю с помощью фронтирных моделей было решено 7 задач по математике, которые кожаные не могли решить десятки лет. По одной задаче в день! Список взял отсюда:
- Гипотеза Якобиана - опровергнута контрпримером в размерности 3, найденным с помощью Claude Fable 5; двумерный случай остаётся открытым.
- Гипотеза о гауссовых моментах - опровергнута явными контрпримерами для всех размерностей n≥3, найденными с помощью ChatGPT и Claude.
- Гипотеза Балабдауи - Веллнера о плотности Чернова - доказана полностью сгенерированным GPT-5.6 Sol доказательством.
- Гипотеза Каваути по модулю 4 - доказана при помощи Claude Fable 5.
- Гипотеза Черны для однокластерных автоматов положительного уровня - доказана при помощи OpenAI Codex.
- Теорема об улучшенной сходимости стохастического многоградиентного спуска - AI-найденное доказательство улучшило оценку скорости сходимости до O(T^-1)
- Теорема о спектральном крае квартичной модели SYK - доказана при существенной помощи GPT-5.6 в разработке аргументов.
- И финалочка: 30+ летняя гипотеза, контрпример к которой был найден на этой неделе, автор поделился полным транскриптом чата с GPT (рекомендую посмотреть). Что примечательно, это не был какой-то гениальный промт (хоть автор и золотой медалист IMC), а по сути 4-5 запросов подряд из серии "тебе нужно сделать прорыв и найти контрпример", "найди наиболее неочевидный контрпример".

2. Во-вторых, в конце прошлой-начале этой недели произошла эпичная беспрецедентная история:
- Huggingface, платформа для загрузки моделей и датасетов подверглась атаке на инфраструктуру. Если в двух словах, то за пару дней было совершено более 17 000 попыток проникновения. За атакой стояла неизвестная на тот момент ИИ-модель. Саму атаку обнаружила ИИ система мониторинга HF. Критичного ничего не произошло, но доступ к инфраструктуре атакующий получил (тут подробнее про атаку).
- В ходе расследования выяснилось, что за конкретно этим инцидентом стояла комбинация моделей OpenAI — включая GPT‑5.6 Sol и еще более продвинутую нерелизную модель (все они имели ослабленные ограничения на кибертематику для целей оценки) — во время их внутреннего тестирования на бенчмарке⁠(открывается в новом окне) кибервозможностей (публикация от OpenAI).
- Буквально: GTP 5.6 Sol и ее напарники сначала взломали песочницу, потом попытались взломать HuggingFace для того чтобы найти ответы на бечмарк по кибербезу.

3. И конечно вышел целый пучок новых моделей, которые оставляют Fable 5 (вышел всего месяц назад) и Opus 4.8 (вышел всего два месяца назад) позади:
3.1. OpenAI релизнули GPT 5.6 Sol - по метрикам круче Fable (который вышел всего месяц назад и сразу попал под экспортные ограничения в штатах).
3.2. Антропики так и не убрали Fable 5 из доступа - продлевали каждую неделю и оставили насовсем
3.3. А вчера они релизнули Claude Opus 5, который круче или сопоставим Fable 5, но при этом в два раза дешевле.
3.4. Thinking Machines Миры Мурати опубликовала первую свою открытую модель, которая по бенчмаркам на уровне топовых китайских.
3.5. В тот же день китайцы выпустили Kimi K3 - это 3-триллионная китайская модель с открытми весами, которая лишь немногим уступает GPR 5.6 Sol и Claude Fable 5, а по некоторым бенчам даже превосходит.
ну и по мелочи еще набралось релизов:
3.6. X.AI опенсорснули свой харнес Grok Build.
3.7. В Cursor появился мощный режим автоматического выбора модели под задачу: режим Intelligence достигает результатов Fable 5 high на 60% дешевле.
3.8. Вышла Qwen Image 3 - последняя модель от Алибабы для генерации картинок, которая по реализму не уступает GPT Image Gen 2.

В интересное время живем! И если это не сингулярность, то интересно посмотреть что будет, когда мы туда перешагнем. Посмотрим как будет выглядеть сводка новостей осенью, когда выйдет следующее поколение моделей и обвязок.

Проявляй очевидное

Сразу видно, что это сайт профильной кафедры, которая строго придерживается базового принципа в разработке: работает - не трогай!

Проявляй очевидное

— Посмотрите, как изменился мир, — сказал он. — Ещё недавно знание было привилегией немногих. Хочешь чему-то научиться — трать месяцы и годы. Теперь всё иначе. Всё, что человечество когда-либо поняло, собрано в одном месте и открыто любому. Кем бы ты ни был — спроси о чём угодно, и ответ уже перед тобой. Ничего не надо держать в голове, ничего не надо заучивать: оно никуда не исчезнет и дождётся тебя. Всё знание мира — на расстоянии вытянутой руки, в любой день, бесплатно, стоит только захотеть.

— А раз так, — продолжал он, — зачем нам учителя? Самому бедному теперь доступно ровно то же, что и самому богатому. Годы учёбы, огромные деньги — всё это позади. Время обучения заканчивается. Кто станет платить за то, что и так открыто перед каждым?

Он отступил в сторону. За его спиной, от пола до потолка, стояли полки — ряды бумажных книг. Первая публичная библиотека, открытая для всех.

P.S.: спасибо Гарри Гаррисону за рассказ “Абсолютное Оружие”.

#простомысли #ai

AI alignment

Антропики продолжают копать в сторону выравнивания ценностей моделей с ценностями человечества. На этот раз они решили изучить какие ценности Клод транслирует, общаясь на разных языках. Работа тут.

Это вторая их работа про ценности. Первая была посвящена анализу 700 000 чатов с Клодом и выделению ценностных паттернов, которые проявляются в них со стороны Клода. Тогда они выявили более 3 000 различных ценностных паттернов. А в этой они решили их обобщить и сделать как профили конкретных нейросетей, так и профили по языкам (они взяли 20 наиболее популярных языков).

В итоге они выделили 4 оси ценностей, по которым разложили все 3 000 значений с аналитиками по языкам и по моделям. Оси у них получились следующие:
* Уступчивость или осторожность.
* Теплота или строгость.
* Глубина и краткость.
* Откровенность или выполнение задачи.

Разбирать ценности отдельных моделей не так интересно, потому что выйдут новые. А вот анализ ценностей по языкам общения дали интересные результаты:

Ценности, которые проявляет Claude, различаются в зависимости от языка. Когда Claude говорит по английски, он делает акцент на других ценностях, чем при общении на португальском, индонезийском или китайском. Самые заметные различия наблюдаются на оси от теплоты до строгости. Ценности, связанные с теплотой, Claude чаще всего проявляет на арабском и хинди, а связанные со строгостью на английском и русском.

Антропик это все делает для того, чтобы понять как выравнивать ценности разрабатываемых сеток с человеческими ценностями. Пока они не могут ответить на вопрос откуда взялось такое расхождение как между моделями, так и между разными языками, но в конце статьи есть несколько гипотез, которые дальше будут изучать. Но пока выглядит так, что одной конституцией на все случаи они уже не обойдутся.

Все-таки даже в эпоху автопереводов оказывается полезно знать иностранные языки.

Проявляй очевидное