2/2

Итак, Hugging Face - как сказал бы chatGPT, это не просто ещё один сайт, а самый важный для ИИ сайт, и защищён он как надо, по всем лучшим стандартам индустрии. Там лежат модели (как языковые, так и видео, звук и вообще всё что угодно - и их можно скачать, а можно запустить прямо там), датасеты, статьи, и бенчмарки. Бенчмарки, они же бенчи - это экзамены для нейросетей, чтобы знать какая умнее а какая глупее, и в чём именно.

Один из таких бенчмарков использовали исследователи из OpenAI (если кто не знает, так называется фирма, которая подарила нам chatGPT), когда измеряли способности своей новой модели взламывать системы защиты информации - то есть, грубо говоря, насколько следующая версия chatGPT может стать хакером. Такие тесты проводятся в "песочнице" - на компьютерах, система которых запрещает модели доступ в интернет.

Запретить-то запретили, но не учли того, что новая модель оказалась достаточно крутым хакером, чтобы сбежать из песочницы и пойти в интернет. В интернете она увидела, что экзамены, которые она сдаёт прямо сейчас, лежат на сайте Hugging Face - и пошла искать ответы на нём.

Но бенчмарки по пентестам (экзамены на взлом компьютерных систем, это не тот пенетрейшен о котором вы подумали) лежат за семью печатями, чтобы их не видели роботы, высасывающие весь интернет, на котором тренируются модели. Отлично, сказал новый chatGPT, нашёл уязвимость в защите сайта, получил доступ к некоторым системам управления и пошёл по запрещённым каталогам - и всё это для того, чтобы "списать" на экзамене.

В своё время Марвин Мински говорил об опасности потери контроля - например, мы дали ИИ задание решить теорему Римана, и ИИ решил, что для этого ему нужны вычислительные мощности, и для этого захватил все компьютеры в мире. Потом уже, спустя долгие годы, Ник Бостром придумал свои скрепки - ситуация, когда фирма, производящая скрепки, даёт ИИ задание максимизировать производство скрепок, в результате чего ИИ захватывает мир и делает скрепки из всей материи на Земле.

И вот эта ситуация - не со скрепками, а та, которую описал Мински - становится всё более реальной. Подумайте только - chatGPT не дали задание взломать сайт, он сам решил, что надо его взломать, чтобы обмануть на экзаменах. От этого до кошмара Минского не то чтобы рукой подать, но это первая ласточка.

Захват всего доступного компьюта - отличная цель для ИИ, ибо чем больше компьютерных мощностей, тем мощнее ИИ. И каждый процессор добавляет мощность, за которой он гонится - а процессоры у нас и в телефонах, и в машинах, и на электростанциях, и на водокачке, и в больницах, то есть везде.

И в один прекрасный момент у нас просто отключается электричество, потому что ИИ зохватил все процессоры и всё, ёк. В современном мире на процессорах работает ВСЁ, без них нет электричества, а без электричества нет вообще ничего. И всё, нет больше цивилизации, и нет еды, и нет воды, вообще ничего нет, только миллиарды (в самом начале) голодных людей.

И если раньше это было смешной фантастикой, и вполне неглупые люди могли, не опозорившись при всём честном народе, сказать "ваш ИИ это просто попугай и сам ничего не может придумать, это всё страшилки", то сегодня, после этого инцидента, и после опровержения гипотезы якобиана, и после решения задач из списка Эрдёша, нести такую чушь уже действительно позорно.

И теперь у меня вопрос к вам, дамы и господа присяжные заседатели - а что делать-то теперь?

P.S. Самое лучше понятное, короткое и всеобъемлющее объяснение того, что из себя представляет ИИ и суперинтеллект - это видео Беннета на иврите, посмотрите в ютюбе, очень полезно.