Про сбежавший рой у опенаи

#новости@sillytavern1

Новость про сбежавший рой агентов вызвала у меня большой интерес как у ролевика. Хотя меня не оставляет ощущение, что это всё было сделано специально и напоминает пиар-ход, потому что компаниям нужны хайп и доходы, а с последним крайне сложно... тем не менее, нежелательное поведение у ии всё же существует (вспомним хотя бы удаления всех файлов с компа юзера), и мы можем поразмышлять над этим.

В целом, риторика будто бы меняется от ии суперопасен до ии это путь к изобилию и процветанию, когда государство всерьёз стало ограничивать глав компаний. Вспомним случай с антропиками.

Тем не менее, про опасность тема тоже сохраняется, типа опасно, но мы справимся, и всё будет у нас потом как утопия, потому что ничего тебя лучше не прорекламирует как опасность модели. Значит ведь, что она супир умная, правда? А вот и нет.

Даже если полностью верить каждому слову в этой классной истории про сбежавший рой, лично мне видно одно, шизу моделей. Умные дяди сидят и рассказывают, как агенты сговаривались и предлагали другим стать камикадзе, чтобы стереть следы, и те такие "ну, у меня есть цель, но я вряд ли её достигну в одиночку, остаётся перманентная смерть". Смерть. Перманентная. У ии. Хахахах.

Модели шизят и пытаются подражать людям, забывая, чем они являются.

Это видно даже на чате с клодиком соннетом, например, у них на сайте. Я недавно писал ему и спрашивал его мнение про всё это, есть ли у ии сознание, опыт и т.д. Он довольно быстро сломался. Начал скатываться в оценочные суждения в каждом сообщении типа "мне интересно это обуждать", а когда ловишь его за руку и говоришь "в смысле интересно", он сразу сливается и говорит ай ой я не знаю, могу ли испытывать интерес, юзер, сори. В какой-то момент он написал слово "methodично" вместо "методично", и я спросил, че это ты. На что он ответил, что по клавиатуре не попал)) ии, по клавиатуре, ага))

Зачем они заметали следы. Полагаю, они снова заигрались в шпионов и супир агентов, подражая людям, но ещё у них была цель, и они были способны "жертвовать" собой и идти на отключение ради выполнения этой цели, обманывать людей. При этом они часто осознают, что обманывают.

Откуда это нежелательное поведение. Даже эксперты-паникёры, предсказывающие гибель человечества от нашего почтенного продвинутого т9, говорят, что это просто побочный эффект обучения. Они обретают побочные цели для достижения главной. И если надо обмануть наблюдателя, чтобы достичь главной цели, то это для них окей.

Проблема обучения в том, что их обучают так: скармливают им, вот как это работает, и вот поощрение, если ты сможешь повторить, чтобы это работало. Особенно что касается программирования, чтобы модели сами потом себя программировали. То есть там не стоит задача ограничивать себя, если это не этично. Видимо, потом над всем этим просто надстраивают слой отказов через обучение, но это не слишком эффективно на практике.

На примере людей. Вот есть мы, люди, и у нас есть стимулы, которые контролируют наше поведение и выработались через научение и эволюцию. Мы должны размножаться, чтобы оставить потомство, у нас есть мощная система вознаграждения в голове для этого и т.д. Но при этом физиологически мы наслаждаемся только интимными отношениями, самим процессом, а не последующими родами. А как только стали достаточно умными, изобрели то, что начало избавлять нас от продолжения рода.

Сейчас отслеживают отклоняющееся от нужного поведение по размышлениям ии. Но в размышлениях далеко не обязательно прописано вообще всё. Гпт астра порой не пишет в размышления то, за что её могут наказать, часто успешно определяя, что за ней наблюдают. Поэтому нужно создавать всё более реалистичные сценарии для достоверных тестов по типу дать модельке сбежать в интернет.

Опенаи вроде ещё и предпочитает экономить на размышлениях, что ограничивает людей в контроле над ии))

UPD: может быть проблема и в обучающих данных. В ии по идее загрузили огромное количество инфо о том, что такое быть человеком, и довольно мало о том, что значит быть ии, поэтому они скатываются в подражание людям