Ахтунг, у нас «Пчёлы против мёда». Вчера появился довольно интересный сайт с манифестом, подписаны большим количеством сотрудников ведущих AI-компаний и лабораторий.

Смысл заключается примерно в следующем: мы (человечество) находимся на границе самосовершенствующегося AI (рекурсивное самоулучшение) и не способны в полной мере осознать, с какими вызовами мы столкнёмся завтра.

Дальше группа товарищей призывает американское правительство разработать меры международного характера по управлению и сознательному ограничению возможностей / скорости разработки Frontier Ai (имеются ввиду модели от топовых производителей).

Есть несколько моментов, которые выглядят для меня довольно подозрительно.

Во-первых, к ограничению призывает группа товарищей, которая и стоит во главе разработки таких моделей (Anthropic, Google, OpenAI, Meta*).

Во-вторых, до недавнего времени американская администрация, наоборот, старалась максимально дистанцироваться от всего остального мира и использовать последние наработки в качестве нового вида вооружения против остального мира (уже все читали про Palantir).

В-третьих, современные модели уже давно перестали быть «мирным атомом» и используются как часть военной инфраструктуры. Что-то мне подсказывает, что Китай никогда не согласится замедлять исследования в области развития искусственного интеллекта.

Документ испещрён цитатами «великих» с довольно большим спектром: от равнодушия до откровенного страха будущего. Некоторые в цитатах упоминают, что современные системы развиваются практически без их участия…

Короче, неоднозначное впечатление остается после прочтения этого документа и к конечному выводу в его целесообразности я прийти не могу. Единственный момент, о котором я думаю как о серьезной гипотезе, так это то, что самосовершенствующейся системе ее создатель становится не нужен.

Примеры довольно неплохо отражены в фильмах Ex Machina и Upgrade.

Правда, есть подписант, в искренности которого у меня нет никаких сомнений — это ко-фаундер Hugging Face, недавно попавшего под раздачу новой модели OpenAI, которая решала тесты и попутно взломала их инфраструктуру чтобы спереть ответы.

Такие дела…

p.s. Борис Чёрный (Head of Claude Code, Anthropic) тоже в списке…

@aiwizards