Полночь. Ты пишешь ChatGPT то, что вслух не сказал бы никому. Тревогу за здоровье. Сомнения по поводу отношений. План как уйти с работы. Ответ приходит через секунду, тёплый и по делу.

Через несколько дней твою переписку открывает незнакомый человек за $50 в час и ставит ей оценку от 1 до 7.

14 сентября 404 Media раскрыло Project Lily: внутренний проект OpenAI, где сотни подрядчиков читают настоящие переписки живых людей, чтобы дообучать модель. Функция "Улучшать модель для всех" включена по умолчанию у 900+ миллионов пользователей. Отключить можно в настройках, но не задним числом: всё, что ты уже написал, уже прочитано и там останется.
Все обсуждают это как историю про приватность. Меня зацепило другое.
Ожидаемо и правильно, что компания тратит деньги на мониторинг своей модели. Странно, что эту работу не поручили самой нейросети. OpenAI вместо этого нанимает сотни живых людей и называет это "обучением". Раз доверия к собственной модели не хватает настолько, что приходится сажать человека читать каждый ответ, это больше похоже на обучение команды тому, где именно модель врёт, чем на обучение самой нейросети.

И вот тут вторая мысль, ещё более неприятная. Если моя догадка верна, паниковать особо не о чем. Люди слишком предсказуемы, чтобы диалоги с ними реально чему-то научили модель. Почти всё, что человек пишет в чат, уже где-то в этой модели заложено: люди в массе своей выдают компиляции того, что уже знают, и того, чего требует их среда. Настоящая опасность не в этих переписках. Она глубже: в архитектуре самой модели, в решениях, которые она принимает внутри собственных весов, там, где ни один подрядчик за $50 в час никогда не заглянет.

И что?

Отрасль сейчас там же, где спецслужбы были на заре перехвата коммуникаций: слушали каждый разговор, а решения противника рождались в комнатах без микрофонов. Пока лабы тратят миллионы на чтение чужих переписок, работа разобраться в том, что происходит внутри самой модели, ещё даже толком не началась. Кто зайдёт в эту работу первым, пока окно ещё открыто, определит, как остальные будут жить с результатом.

Нам 3.14здец тем, кто верит, что настройка приватности в аккаунте хоть что-то реально защищает. Вопрос только кому раньше а кому позже.

Резонирует? Это только часть выпуска за 16 сентября. Там же: как ИИ незаметно заморозил найм джунов, и опрос про 63% американцев, которые боятся ИИ-апокалипсиса, хотя демография вымирает быстрее.

Плюс семь новостей, быстрых как ИИ: Apple прячет Gemini под капот Siri, Cohere и Aleph Alpha сливаются в $20-миллиардного конкурента, UMG судится с DistroKid за AI-слоп, Минторг тайно душит фьючерсы на GPU-мощности, Калифорния штампует закон о маркировке AI-рекламы, треть пользователей уже доверяет агентам вслепую, дрон-стартап Zipline утраивает оценку до $20 млрд.

Читать целиком: по этой ссылке

Каждый будний день, с моим авторским комментарием о том, когда и, главное, почему нам всем придёт 3.14здец. Дофамин, FOMO (страх что-то пропустить) и AI Mindset прилагаются