Издание 404 Media выкатило жирное расследование про Project Lily — закрытую изнанку OpenAI по ручной оценке пользовательских диалогов.
Суть: компания нанимает сотни сторонних подрядчиков, которые сидят и в промышленных масштабах читают реальные диалоги пользователей с ChatGPT.
Помните, как в посте про Навье-Стоксгейт писал про математиков, заламывающих руки на тему: «О боже, OpenAI стащила наши черновики из Codex, это шпионаж, а не обучение!»?
Так вот, реальность оказалась куда прозаичнее и смешнее. Речь даже не о хитрых алгоритмах, вытаскивающих смыслы из эмбеддингов. Ваши промпты просто выводятся на экран живым людям.
Самая мякотка из утечки внутренних инструкций и реальных кейсов:
🟡 Иллюзия приватности уровня детский сад
В интерфейсе ревьюеров регулярно всплывают промпты, где пользователи на полном серьезе пишут боту: «Только пообещай, что это останется между нами». После чего какой-нибудь контрактник из Северной Америки спокойно читает этот крик души под утренний кофе и оценивает ответ по шкале от 1 до 7.
🟡 «Анонимизация», которая смогла
В OpenAI божатся, что перед отправкой диалогов людям прогоняют их через свой фильтр приватности. Но компания сама признает: фильтр регулярно лажает на коротких контекстах и намертво пропускает неоднозначные персональные данные. Хуже того: проверяющим в ряде задач отдают
user memories summary — выжимку из долгосрочной памяти профиля с примерным местоположением и бэкграундом пользователя.Вендоры обожают прикрываться сказками про «телеметрию, контроль качества и полировку безопасности». Но если математики хотя бы возмущаются тем, что их закрытые идеи переварил гигантский алгоритмический комбайн, то рядовые пользователи на голубом глазу сливают интимные подробности жизни прямо на экран стороннему фрилансеру.
И отдельный цимес — ради чего это делается. В гайдлайнах Project Lily разметчиков просят дрессировать модель:
— не поддакивать пользователю;
— не имитировать человеческие эмоции;
— и беспощадно штрафовать ответы за... чрезмерное использование эмодзи и «AI-спик».
То есть весь этот «невероятный AGI», о скором наступлении которого из каждого утюга вещает Сэм Альтман, до сих пор в полуручном режиме допиливают напильником обычные белковые специалисты.
Кстати, в Anthropic и Google подтвердили, что занимаются ровно тем же самым. Так что бежать некуда. 🙂