Мне тут в чате Сиолошной Котенкова в обсуждении моей рецензии на дебаты по поводу рисков ИИ написали что-то вроде "да тут просто пригласили очень слабых анти-думеров, а могли бы позвать умных парней с реально сильной аргументацией!" И в качестве примера скинули ссылку на пост Робина Хэнсона 2023 года, где он пишет, почему считает экзистенциальный риск от ИИ очень маловероятной ерундой.

Я его почитал, и не понял, как его можно всерьез приводить как пример хорошей аргументации "против рисков ИИ" - скорее, для меня он несет прямо обратный посыл "смотрите, в 2026 году уже очевидно, что анти-думеры явно ошибались в своих ключевых предпосылках и прогнозах".

В первом абзаце Хэнсон пишет, что типа "ну конечно, ИИ как и любую компьютерную систему сделают очень-очень безопасной. Как можно наивно думать, что люди не заметят проблему misalignment, и не остановятся вовремя? Это же очень маловероятное развитие событий!"

И мы такие из сентября 2026-го: прикол, это описывает ровно то, что происходит внутри OpenAI прямо на наших глазах. Они тренируют рои агентов из фронтирных моделей, misalignment очевидный налицо, но они такие "ха, вот это лол, наверное нам нужно запустить еще более здоровенный рой агентов, чтобы они решили Навье-Стокса..." То есть, здесь ситуация даже хуже, чем "маловероятный сценарий", в который не верил Хэнсон.

В абзаце снизу Хэнсон глумится над тем, что думеры видят какой-то риск в LLM, хотя эти чатботы вообще не похожи на что-то, что несет в себе риск: широких генерализованных способностей нет, агентного поведения нет, скрытых намерений нет. Вы о чем вообще беспокоитесь, глупыши?

Ну и вот в 2026-м как-то внезапно выяснилось, что ЛЛМ-агенты развились именно в такого рода агентные системы с широкими способностями со скрытыми мотивами. Кто бы мог это предвидеть?