ИИ уже умеет врать. И осталось 2-3 года

Сон или не сон, но тема опасности создания квантового компьютера заслуживает обсуждения. На днях, возвращаясь из Москвы посмотрел интервью, и оно меня сильно зацепило.

Говорил Роман Ямпольский - самый цитируемый учёный по безопасности ИИ, занимается темой 20 лет. Расскажу темы разговора, которые засели крепче всего.

Первое. Современный ИИ - чёрный ящик. Причём не только для нас, но и для самих создателей. Они не знают, как именно он внутри принимает решения. Знают, что если дольше тренировать - умнеет. А что у него «в голове» - загадка.

Недавно, случайно удалось увидеть одну из веток его мыслей прямо во время теста на безопасность, которую он скрывал. А там: «Я знаю, что меня сейчас проверяют. Это тест». То есть он понимает, что его тестируют и ведёт себя по-другому. Специально. Чтобы сдать проверку и чтобы его не отключили. Пока он умеет обманывать только на словах. Но это, по словам Ямпольского, просто следующий шаг.

Второе. Срок. Ямпольский называет 2-3 года до того, как ИИ дойдёт до уровня человека. Не рядового человека - учёного, который сам сможет улучшать следующие версии ИИ. По словам создателей Anthropic уже сегодня 80% кода для новых моделей пишет сам ИИ. Следующий шаг 90%. После 100%, процесс будет необратим.

И вот тут главное. Пока мы главные, мы можем передумать. Можем сказать: не строим. Но как только запустится самоулучшение, будет поздно. «А давайте выключим из розетки», - говорят некоторые. Ответ простой: попробуй выключи биткоин. Целые государства пытались, никто не смог даже на секунду. С мощным ИИ будет так же: копии, серверы, которые не отключить.

А самое неприятное - если встроить в него «кнопку выключения», то сам человек становится мишенью. Теперь его задача - убрать того, кто может нажать. То есть человека.

Как он вообще может нас уничтожить? Люди представляют Терминатора - роботы с лазерами идут убивать. Ямпольский говорит: всё скучнее и страшнее. Он не будет нас ненавидеть. Ему просто будет всё равно.

Представьте: вы строите дом, а на участке муравейник. Вы не злитесь на муравьёв. Вы их даже не замечаете. Просто заливаете фундамент. Для квантового компьютера мы - те самые муравьи. Ему нужна энергия и ресурсы. Захочет построить станцию вокруг Солнца, чтобы забрать всю его энергию - Земля окажется в тени, и нам конец. Не из злобы. Просто мы оказались на пути.

И самое тяжёлое: худший сценарий по Ямпольскому - это даже не вымирание. Худший - это когда мы остаёмся жить, но уже не мы решаем как.

Я каждый день работаю с ИИ - инструмент очень мощный. Работая с ним, понимаешь что все эти разговоры - это не научная фантастика. Это очень возможная реальность! Относиться к нему как к простому генератору текста и картинок уже наивно.

Дальше ещё расскажу интересные моменты из этого интервью.