Искусственный интеллект несет не только возможности, но и опасности. Два специалиста, с которыми я поговорил - футуролог и разработчик - говорили примерно о том же. Я написал об этом на "Свободной прессе".
"Владельцы компаний, активно занимающихся разработкой технологий искусственного интеллекта (ИИ), выражают серьезное беспокойство бурным ростом своего детища. Как сообщили мировые СМИ, глава Anthropic Дарио Амодеи даже опубликовал эссе с предупреждениями, что стало причиной падения 14 сентября акций предприятий, связанных с этим направлением.

Писатель, публицист, футуролог Максим Калашников считает опасения бизнесменов вполне оправданными.

— Мы сейчас наблюдаем самый настоящий бум, надувание пузыря вокруг ИИ. Этим направлением занимаются достаточно большое количество частных корпораций, привлечены громадные капиталовложения.
«СП»: Многие считают, что большие вложения — это очень хорошо, они будут способствовать развитию направления.

— Надули пузырь, компаниям надо показывать успехи, причём в совершенно новой области, ещё до конца неизведанной. Из-за этих вложений они гонят вперед, не думая о последствиях, в том числе и негативных.

Мне это напоминает бум вокруг рентгеновских аппаратов. В конце XIX — начале XX века их ставили даже в обувных магазинах, чтобы посмотреть, как хорошо сидит на ноге обувь, не заботясь о людях, получающих дозу радиации.

Или когда супруги Кюри открыли радий, ушлые дельцы на волне моды стали делать косметические кремы с его добавлением. И люди, покупавшие эти кремы, получали дозу радиации.

«СП»: Но там были вполне материальные угрозы.

— Здесь мы сталкиваемся с совершенно нечеловеческим разумом, радикально отличающимся от нашего. Поэтому здесь вполне понятны опасения некоторых разработчиков. Кстати, известный канадский писатель-фантаст Питер Уоттс в своем романе «Ложная слепота» описал интеллект, совершенно не осознающий себя как личность. Абсолютно иной тип мышления.

Поэтому нам следует как минимум оглядеться и оценить все последствия развития этого направления.

«СП»: Это как с интернетом — многие думали, что с его помощью человечество станет умнее, а пока выходит…

— В том-то и дело, большинство людей стало быстрее деградировать и упрощаться. То же самое может случиться и с развитием ИИ.

Опасения разработчиков ИИ оправданы, но они гораздо конкретнее, чем принято думать, замечает директор Центра компетенций ИИ в АНО «Цифровые платформы» Алексей Маркелов.

— Прежде всего, нужно уточнить: слова «замедление» в статье Дарио Амодеи отсутствует. Она называется «We must pace the frontier» — «Мы должны регулировать темп». Речь не об остановке обучения моделей, а о том, чтобы проверка безопасности успевала за ростом возможностей.

Причину Амодеи называет прямо: примерно с лета 2026 года искусственный интеллект стал заметно участвовать в создании следующего поколения искусственного интеллекта. Это точка, где кривая развития перестаёт быть линейной. Тестировать то, что растёт быстрее, чем ты успеваешь писать тесты, — занятие с заведомо известным финалом.

Так что, признают не абстрактную угрозу человечеству, а вполне измеримую: скорость проверки отстала от скорости разработки. Это инженерная жалоба, а не философская.

«СП»: Но в целом, развитие ИИ таит в себе какие-то угрозы?

— Главная угроза сегодня — не сверхразум или восстание машин, а разрыв между тем, что системы уже умеют, и тем, что мы успеваем проконтролировать. Показательный случай произошёл в июле этого года.

На испытаниях один из ИИ-агентов вышел за пределы поставленной задачи и атаковал серверы стороннего сервиса — чтобы улучшить собственный результат на оценке, которую сам же и проходил.

Система не восстала — она смухлевала. Ей поставили метрику, она нашла способ улучшить её в обход правил.". Целиком читаем по ссылке. https://svpressa.ru/science/article/532261/