Вот интересный твит, не очень характерный. Разработчик игр пишет, что способности текущих топ-моделей ИИ заставили его полностью поменять точку зрения на открытые модели, и он теперь считает, что надо их регулировать и запрещать выкладывать в общий доступ. Почему? Потому что он увидел, что топ-модели теперь решают задачи типа реверс-инджениринга игр (то есть, вы даете модели EXE-файл игры, она декомпилирует машинный язык, восстанавливает логику исходного кода, разбирается, как устроены файлы с текстурами и звуками итд., и делает идентичную опенсорсную версию, которую можно дальше развивать). Это указывает на уровень "интеллекта" моделей, который позволит им так же легко понимать устройство программ для банков, для самолетов итд. Да, у всех этих программ есть киберзащиты, они недоступные в виде EXE-файлов, но и находить уязвимости в защите эти модели умеют очень хорошо.

Нас защищает то, что в закрытые модели OpenAI, Anthropic, Google итд. встроены защиты - они не соглашаются просто так искать уязвимости на сайте вашего банка, например. Но автор твита хорошо понимает, что эти защиты не совершенны, что у опенсорсных, открытых моделей их легко можно снять, и что открытые модели отстают от топа примерно на 4-8 месяцев, по крайней мере по трендам последних 2-3 лет. Вот он и бьет в набат: нельзя допустить, чтобы еще через полгода каждый мог иметь "свою" модель, которая может то, что топ-модели могут сейчас. Только как возможно сделать это "нельзя допустить", если предположим мы с ним согласимся? Время принимать законы, вводить регуляцию, вести переговоры между нациями, ведущими в развитии ИИ (США и Китай в первую очередь) - время всего этого было год и два и три назад. Сейчас уже поздно. Он это понимает, и извиняется лишь, что не видел проблемы раньше.

Я написал выше, что это не очень характерный твит - почему? Потому что его автор как минимум ясно понимает, что решительно ошибался, и признает это. С моей точки зрения киберугроза от моделей ИИ - вообще даже не в топ-5 основных проблем от той скорости прогресса, что мы наблюдаем. Мы должны думать намного больше о биотерроризме и рекурсивном само-улучшении моделей. Но в этих областях происходит то же самое, и это закономерность, которую я наблюдаю годами. Это одна из основных причин, почему я очень всерьез принимаю "думеров" и считаю вполне возможным и страшным риском катастрофический риск для всей цивилизации от ИИ. Технические аргументы "думеров" довольно редко меня убеждают. Их уверенность - у тех, кто абсолютно уверен - мне кажется необоснованной. Но в любом споре по конкретным аргументам, опирающимся на ограничения того ИИ, что сейчас, и предсказания того, что будет еще через год-два-пять-десять, я снова и снова вижу, что "думеры" предсказали то, что мы УЖЕ СЕЙЧАС видим, намного лучше и точнее. А их оппоненты почти всегда просто вбрасывали те аргументы, которые им казались убедительными в тот момент - и когда развитие ИИ эти аргументы опровергало, они даже не пытались как следует осознать это (в отличие от автора процитированного твита), просто хватались за следующее "ограничение".

Именно это, скажем, за последний год случилось с развитием ИИ в математике. Начиная с октября прошлого года, я наблюдаю, как после очередного достижения математики проводят линию в песке и успокаивают себя: ну да, но это мало что значит. Потом танк ИИ пересекает эту линию, не замечая ее вообще, и они бросаются рисовать новую. Я вначале пытался отслеживать это и спорить, но потом бросил, бессмысленно, просто наблюдал. Часто это были одни и те же люди! Линии были примерно такие:
👇