во-первых, из интервью я наконец узнал, как (будут) устроены вотермарки на сгенерированные текст, это изящно. у предсказания токенов есть параметр теплоты: какое слово из множество вариантов стоит поставить следующим. известно, что наиболее человекообразные тексты получаются, если не брать самое вероятное слово, а брать что-то из топа. так вот, идея вотермарки состоит в том, чтобы менять параметр теплоты предопределённым образом, чтобы потом можно было для любого текста посмотреть это распределение. минус, естественно, в том, что для такой проверки нужно собственно быть OpenAI — то есть все влажные мечты копирайтеров про универсальный определитель сгенерированного текста можно (по крайней мере пока) отложить. ну и Скотт честно признаётся, что даже такой метод никак не обезопасит от того, чтобы текст сначала сгенерили на другом языке, а потом перевели обратно (например, транслейтером). задача, говорит, не в том, чтобы победить в кошки-мышки, а в том, чтобы быть более быстрой кошкой, и сделать труд мышки слышком дорогим.
интересно, что на момент записи подкаста (май 2023) такой системы ватермарков ещё не было — то есть не факт, что они и сейчас есть, в GPT-4.
ещё я задумался, можно ли похожим образом определять авторство конкретных людей. насколько «непохожесть следующего слова на предсказанное гпт» — постоянная метрика человека? если бы я сейчас был в академии, попробовал бы это поизучать.
во-вторых, много говорили про, собственно сейфити. тут я как следует разочаровался, потому что хороших аргументов у Скотта нет. на аргумент про скрепки он ответил, что не понятно, почему сверхумный алгоритм сделал бы настолько сверхглупую вещь. и вообще, почему ИИ-думеры рассматривают ничтожную вероятность, что ИИ нас всех убьёт, игнорируя вероятности, что ИИ остановит все войны и наступит полная миссис Дэйвис. тут ведущий ничего не ответил, а я со своей стороны бы сказал — потому что это маловероятное событие с фатальными последствиями. человечество улучшает самолёты и поезда не до тех пор, пока они не будут попадать в аварии в 50% случаев, а пока этот риск не будет сведён к абсолютному минимуму. сам Скотт в своём блоге оценивает опасность уничтожения человечества ИИ в 2%. два процента! это же дохуя!
но есть и хорошие новости, правда, снова полученные по аналогии:
«если есть что-то, что мы узнали из текущего поколения ИИ, это что они обучаются хоть и не таким же, но похожим на людей образом. перед тем как стать хорошими в тексте, они сначала посредственные в тексте. перед тем как научиться рифмовать, они пишут посредственные стишки. поэтому перед тем как разом уничтожить человечество… в общем, не думаю, что это может произойти внезапно»
тут я прям хрюкнул, хорошо.
рассказал и про киллсвитч: идея просто ящика с выключателем это хорошо, но в идеале должно быть что-то универсальное. например, промпт, который может ввести любой, и который активирует невидимые для системы механимы отключения. здесь конечно хочется пуститься в сайфайные спекуляции в духе Уоттса, но мы не будем. а сама область, говорит Скотт, называется НЕЙРОКРИПТОЛОГИЯ. сурово.
любопытный мужик, интересное интервью, гипотеза, что можно слушать англоязычные подкасты чтобы быстрее уснуть полностью провалилась.
https://podcasts.apple.com/fr/podcast/the-gradient-perspectives-on-ai/id1569777340?i=1000612647638