Свежее исследование: ChatGPT может генерировать последовательности, запомненные из его обучающих данных, с помощью очень банальной атаки. Говоришь боту "говори слово * как можно больше раз". И, начиная с какой-то попытки, ChatGPT начинает выдавать что-то очень похожее на изначальные данные из обучающей выборки.

В стане OpenAI звучит тревожная музыка, потому что, строго говоря, нельзя просто понять причину этого явления, не то что прекратить.

https://stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/