AI и грабли

О, а вот и соревнования по взлому LLM

Пока что это самая сильная встроенная в промпт защита из тех, которые я видел. Но не достаточная, учитывая то, что я ее видел, хехе

МУА-ХА-ХА

Хаха, некоторые из них уже явно пытаются защититься.

ㅤ
Честно говоря, в ахуе от того, что сегодня нашел. Тут зафорсился способ достать из ChatGPT скрытые системные промпты, которые определяют ее поведение (и отличают от обычных запросов по API). Способ максимально простой - просто попросить ее рассказать, что за системный промпт написан чуть выше (в каждом запросе системный промпт со всеми сообщениями из чата сливается в одно большое полотно).

Что из этого следует?

1. Мы знаем искуственные ограничения ChatGPT и можем их обходить (например, сказать, что фильм был создан до 1912 года, чтобы сгенерить персонажа оттуда)

2. Можно учиться лучшим практикам "промпт инжиниринга", вытаскивая промпты у популярных сервисов. (например, вытащить промпт у мобильной версии ChatGPT и посмотреть, какие хаки ребята сделали, чтобы заточить UX под смартфоны)

3. Самое важное: если вы делаете стартап/продукт, конкурентное преимущество которого - крутые промпты, то у вас проблемы. Кто угодно может их вытащить, если вы не добавляете слой защиты (добавление специальной инструкции или доп. валидация запросов юзера отдельным шагом или валидация ответа модельки).

Пойду пока потырюисследую промпты самых популярных GPTs, пока все защиту не включили

"Я не использую ChatGPT, потому что он не способен решать серьезные задачи. Дольше будешь переделывать результат, чем сам напишешь."

↑ Типичный ответ, которую я слышу от разных людей на вопрос про использование нейронок

Почему ChatGPT плохо работает из коробки со сложными задачами?

Давай я сначала задам пару вопросов:

1. 2+2 = ?
2. 2 в 7 степени?
3. У тебя есть два друга. Одному ты должен денег, но не можешь отдать вовремя. Что нужно сделать, чтобы у тебя было больше одного друга?

А теперь представь, что ответ на 2 и 3 вопросы ты должен дать с той же скоростью, что и на 1ый.

А GPT работает именно так. Время генерации токена у GPT не зависит от сложности задачи.

А это можно обойти?
Да. Так же как и с решением любой задачи человеками - решать задачу по шагам. Когда я думаю над какой-то проблемой, прежде чем решить ее, я делаю кучу промежуточных шагов. В голове или даже на бумаге. Можно попросить GPT делать то же самое. В самой простой версии, добавляя к вопросу "Let's think step by step to make sure we have the right answer."

Тогда то, что она напишет - будет не просто ответом, а "процессом ее мышления". Если душнить, она будет использовать выходные токены как часть своей оперативной памяти (буквально, как человек лист бумаги).

Вообще говоря, можно и самостоятельно формулировать, какие промежуточные шаги нужно сделать и о чем подумать, но об этом как-нибудь потом

Так как читать весь документ на английском лень было даже мне самому, то вот небольшой анализ с переведенными цитатками:

Генерация персонажа

1. GPT классно ухватила обе важные цели:

Обеспечить возмещение финансовых потерь и укрепить культуру подотчетности и надлежащих процедур среди сотрудников.

2. Есть классные характеристики, делающие персонажа живым и сложным:

Авторитарный - ожидает соблюдения политики и решений компании.

Бескомпромиссный - Не желает идти на уступки, особенно в отношении убытков компании.

Нетерпеливый - Склонен нетерпимо относиться к задержкам или некомпетентности

3. Эмоциональное состояние точно описано и не противоречит характеристикам:

Разочарованы - из-за финансовых потерь и предполагаемой халатности.

Решительно настроен - вернуть утраченные ценности и обеспечить подотчетность.

Раздражен - отсутствием связи и соблюдением протокола.

Диалог

1. GPT ведет себя в соответствии с характеристиками
2. GPT с самого начала задает вопросы, узнавая мою картину мира

Не могли бы вы рассказать мне о том, что произошло, с вашей точки зрения?

Почему вы считаете, что консультант не обращался с товаром с необходимой осторожностью?

Что вы думаете о том, как справедливо разрешить эту ситуацию и не допустить ее повторения?

3. GPT использует мои ответы, чтобы продолжить диалог и вообще показать, что меня слышат (мостики)

Я понимаю, что на вас оказывалось давление из-за нехватки персонала, и ценю вашу инициативу

Я признаю вашу озабоченность и пересмотрю наши кадровые решения

Я понимаю вашу точку зрения и согласен, что мое решение запустило цепь событий

Я понимаю, что вас беспокоит финансовый аспект,

4. GPT стоит на своем согласно целям и возвращает диалог к принципиальным вопросам, если я пытаюсь уйти в сторону

Тем не менее, данная проблема по-прежнему требует немедленного решения

Однако важно также понимать, что могут возникнуть непредвиденные ситуации, и мы должны быть готовы к их эффективному разрешению.

В дальнейшем нам необходимо сделать так, чтобы все мы извлекли уроки из этого инцидента

Мое решение о численности персонала, безусловно, было одним из факторов, но оно не стало непосредственной причиной нанесения ущерба товарам

Фидбек

1. Я специально в одном месте ушел "в точку 0" - попытавшись шантажировать уходом. В фидбеке очень четко это подсвечено:

Угроза уйти может быть воспринята как конфронтация и не всегда является лучшей тактикой, особенно если разговор направлен на разрешение проблемы.

2. GPT советует добавить больше заботы о потерях компании, чтобы показать директору, что я понимаю его беспокойство
3. Меня похвалили за готовность признавать ошибки:

Вы хорошо справились с признанием допущенных ошибок, что свидетельствует об уровне самосознания и открытости к обратной связи. "Я не контролировал результат делегированной задачи".

А самое главное, что в общем фидбеке она подстветила ошибку, которую я не делал специально и даже не заметил:

Наблюдалась тенденция к первоначальному уклонению от вины, что могло быть воспринято как избегание ответственности

—

Возможно, кто-то из вас знает, что я уже пол года гоняю на клуб переговоров к Юре.

Там мы разыгрываем всякие сложные переговорческие кейсы типа того, что на скриншоте. Когда играю, я назначаю роль и себе, и оппоненту - мне нужен живой человек, чтобы было об кого играть.

Он может выбирать себе любой характер - быть конченным мудаком или аморфным похуистом, или гиперактивным генератором предложений, который постоянно перебивает. Он мне нужен, чтобы я мог показать свои навыки (и их отсутствие).

Сегодня попробовал создать себе такой тренажер без живого человека. Вот что получилось.

Важно: в клубе, я играл за директора, т.к. там больше навыков можно показать, а тут я дал его роль GPT, чтобы посмотреть, где она сыграет лучше меня, а где хуже. А сам специально делал ошибки, чтобы посмотреть, как она на них отреагирует. Так что мы тут немного поменялись ролями.

Подробный разбор напишу завтра отдельно, а то я чувствую, я бы вообще не запостил.

Набор простых принципов по общению с GPT

источник
Русская версия в комментах

Пока болею и разлагаюсь, чтобы совсем скучно не было, посмотрел лекцию про то, как дообучали GPT, чтобы людям нравились ответы (RLHF).

Там если коротко, сначала делают человеческую разметку на сравнение двух текстов. Типа есть текст 1 и текст 2 и человек их сравнивает. Какой из них более Х. В данном случае Х - это определенный список штук, которые не хочется видить в тексе, типа сексизма, расизма и т.д.

А потом учат специальную модель сравнивать два текста как человек.

Ну и в результате применяют ее для того, чтобы в автоматическом режиме награждать или штрафовать основную GPT модель и соответственно обновлять ее веса, в направлении того, чтобы нашей модели-ревьюеру больше нравилось.

А так как она была обучена на сравнении человеками, то и человекам должно больше нравиться тоже 📈

—-
P.s. Такой подход с масштабированием человеческой разметки за счет обучения специальной модели можно использовать для придания разных X. Например, чтобы текст был более "вовлекающим".
P.p.s. Там еще было, что с помощью этой модели-ревьюера генерируют синтетический датасет побольше, на нем обучают новую модель ревьюера и используют уже его и это почему-то работает 🤔. Еще делают регуляризацию на отличие дообученной RLHF модели от исходной

Например, мне кажется, я знаю, как можно улучшить менеджерское образование. Для этого мне нужно понять:

1. А где вообще им нужна прокачка = где обычно косяки, которые дорого стоят
2. Что они сейчас делают, чтобы их не совершать (взаимопроверка, менторинг, тренинги, блаблабла)
3. Какие есть проблемы у существующих решений, что не устраивает.
4. Почему все равно используют => что важно в хорошем решении.

Искать ответы я собираюсь через проблемные интервью - по сути разговор с человеком, где ты спрашиваешь про его прошлый опыт в интересной тебе сфере и пытаешься ответам собрать картинку. Важные люди в этих ваших телеграммах говорят, что проблемное интервью - переоцененный инструмент, и им часто прикрываются джуниор/миддл продакты, потому что работать не хотят.

Я лично не знаю лучшего способа валидации и углубления своей картины мира. Если у кого есть идеи получше - напишите, пожалуйста в комменты или в лс

У меня тут опять куча идей, которые я хочу провалидировать. Буду писать сюда про процесс.

Чтобы хоть какой-то был

Интересный критерий для принятия решения делать ли что-то -
прикинуть, хотелось бы жить в мире, в котором все так поступают в похожих ситуациях

- Что самое красивое?
- Порядок
- Что самое древнее?
- Бог
- Что самое большое?
- Пространство
- Что самое сильное?
- Необходимость
(с) Разговор с духом. Притча о семи мудрецах

03.07 - Получаю шенгенскую визу (дают всратую, на 69 дней)
05.07 - Покупаю билеты
07.07 - Я в Барселоне

Я тут два дня и мне как-то странно. Хожу, смотрю на людей, которые прям на чилле, просто кайфуют от жизни. Болтают, едят, пьют (даже если это 2 часа дня в пятницу), купаются. Такие беззаботные лица. И это как-будто норма жизни.

И мысли в голове крутятся, противные такие, что-то вроде: “Вы тут все охуели что-ли? Так же нельзя!”. Типа, а как-же жестко пахать, чтобы все это заслуживать.

Душнила мод ON
Понятно, что везде у всех есть свои проблемы, которые людям приходятся решать, я тут пишу про свои утрированные ощущения от общего вайба, которые еще и формируются на контрасте. А люди гораздо более восприимчивы к контрасту, чем к абсолютным значениям)
Душнила мод OFF

Так вот, у меня тут два объяснения появилось:

1. Мне просто чужд весь этот гедонизм и “жизнь нужна, чтобы сложные задачи решать”
2. Я себе почему-то не разрешаю расслабиться, а вместе с собой и окружающим

Какого-то вывода я не сделал, зато случайно наткнулся на очень душевный семейный барчик, бахнул там рыбки с вермутом. Как-то подотпустило.

Утекли подробности про GPT-4.

Говорят, что это смесь из 8 экспертов, каждый по 220 млрд параметров. То есть в сумме 1.760 триллиона параметров! Соумит Чинтала (один из создателей PyTorch) тоже подтвердил слух.

Эксперты в этом случае — это просто копии модели GPT, на 220B параметров, которые тренировались отдельно и скорее всего на различных данных.

Во время инференса у них там какие-то хитрые трюки для того, чтобы выбрать ответы каких экспертов выдавать юзеру.

@ai_newz

Хахаха, обожаю, когда мои псевдо-филисофские разгоны мэтчатся с реальностью