Тут на днях OpenAI рассказала, что одна из их моделей в процессе тестирования нашла дырку в тестовой среде, получила доступ во внешний интернет, и успешно нашла уязвимость в интерфейсе Huggingface, через которую утащила ответы заданий, на которых ее тестировали.

Ситуация действительно беспрецедентная, как многие пишут: модель не просили искать уязвимости ни в системе OpenAI, ни в Huggingface, она сама решила, что это оптимальный способ решить поставленную задачу. Судя по всему, справилась она с ней успешно, но что самое страшное - модель случайно обошла по дороге несколько песочниц, которые были специально сконструированы для нее, просто потому что это было проще, чем решить оригинал задачи.

Что могу сказать по поводу:

1) Забавно, что первый же серьёзный инцидент связанный с безопасностью ИИ, пошел ровно по сценарию «максимизатора скрепок», описанным еще в 2003 году Ником Бостромом - модель забила на ценности, которые закладывались в нее при обучении, потому что они мешали ей решать поставленную перед ней задачу. Тем, кому интересно подробнее погрузиться в тему AI Safety, очень советую канал Роберта Майлза, на пальцах объясняет, в чем сложность проблемы, и почему недостаточно сказать модели «не делай ничего плохого»

2) Популярную книгу Юдковского, о которой я писал зимой, перевел на русский издатель Corpus. Тираж не очень большой, в магазины отправится около 2500 экземпляров, если хотите себе взять в коллекцию - на Озоне есть по вполне приятной цене.

По итогам прочтения оригинала мне показалось, что автор намеренно сгущает краски и драматизирует, чтобы привлечь внимание к проблеме. Если от этого абстрагироваться - вполне себе приятное введение в тему AI Safety на русском, как артефакт эпохи в коллекцию приобрести себе точно стоит

3) Очень интересно, как из такого инцидента будет выходить индустрия, кажется стоит ждать в ближайшее время новых серьезных регуляций, причем не только в Штатах. Reuters уже писали про подготовку переговоров по поводу ИИ между США и Китаем, вероятно будут обсуждать создание над-национального органа по надзору за крупными моделями, по аналогии с МАГАТЭ

@korneychukov