Сотрудники крупных ИИ-компаний запустили проект Poison Fountain, чтобы навредить обучению нейросетей

#ai #ии #новость

Если некоторые радикальные критики ИИ предлагают взрывать дата‑центры, то новая инициатива подходит к вопросу тоньше, но не менее разрушительно.

Проект с говорящим названием Poison Fountain предлагает владельцам сайтов кормить веб‑скрейперов, собирающих данные для обучения ИИ, специально сконструированными «отравленными» наборами данных. Цель — саботировать работу языковых моделей, превратив многомиллиардные разработки в неадекватные системы.

Как сообщает The Register, проект стартовал на прошлой неделе. Что делает ситуацию особенной, так это происхождение его участников: по данным источника издания, они являются сотрудниками крупных американских ИИ‑компаний. «Ситуация обостряется так, как общественность в целом не осознаёт», — предупреждает инсайдер.

На сайте проекта изложена его философия: «Мы согласны с Джеффри Хинтоном: машинный интеллект представляет угрозу для человеческого вида. В ответ на эту угрозу мы хотим нанести ущерб системам машинного интеллекта». Хинтон, один из «крестных отцов» современного ИИ, действительно стал одним из самых громких критиков индустрии, которую помог создать.

Успех современного ИИ зиждется не только на архитектуре моделей, но и на осознании того, что для их обучения нужны огромные массивы данных, которые раньше считалось невозможным собрать. Интернет стал для этого идеальной золотой жилой. Однако многие считают практику скрейпинга неэтичной и незаконной, что вылилось в множество судебных исков о нарушении авторских прав.

Здесь и кроется уязвимость: ИИ настолько хорош, насколько хороши данные, на которых он обучен. Испортьте данные — и вы испортите ИИ. Ранее подобный подход уже использовался, например, в инструменте Nightshade, который позволял художникам незаметно «отравлять» изображения, чтобы защитить свои работы от копирования ИИ.

Poison Fountain — это призыв к масштабным действиям. Проект предоставляет ссылки на «отравленные» датасеты, которые владельцы сайтов могут спрятать в коде своих страниц. Эти ссылки, как обещают активисты, «обеспечивают практически бесконечный поток отравленных тренировочных данных». По словам инсайдера, опасные данные представляют собой код, содержащий логические ошибки и другие баги, способные повредить большие языковые модели, обученные на таком материале.

«Атаки отравлением компрометируют когнитивную целостность модели, — объяснил инсайдер изданию The Register. — Нет [иного] способа остановить прогресс этой технологии, теперь, когда она распространилась по всему миру».

Life-Hack - AI