«Я опробовала новую модель, чтобы исправить тексты, созданные ИИ»

Кэти Парротт, автор Every, протестировала новую модель Deft и разобралась, чем она отличается от обычных моделей.

Идея следующая: модель обычно учат отвечать хорошо на каждый запрос пользователя по отдельности. Из-за этого тысяча ответов подряд могут сами по себе выглядеть нормально, а всей пачкой превращаться в один и тот же текст с одними и теми же оборотами. Deft сравнивает не один ответ с одним примером, а сразу пачку своих ответов с пачкой текстов, которые написали люди, и подтягивает одно к другому. Если гнаться не за одним хорошим ответом, а за разнообразием по всей пачке, тексты перестанут быть похожи друг на друга.

Парротт попросила модель написать аналитическое эссе про то, как ИИ меняет работу, и статью о том, как составить гайд по стилю для ИИ — с нуля и как рерайт уже готового черновика, который до этого сделал GPT-5.6 Sol. Пробовала и через сайт Deft, и через API, подключив его к Codex.

На уровне отдельного предложения текст правда получился живее и неожиданнее, чем у большинства моделей. Но читать его было тяжело: фразы выходили громоздкие и странные.

В режиме strict, где модель должна использовать только детали из задания, она всё равно кое-что придумала: в эссе появилась мысль, что работников подталкивают пользоваться ИИ менеджеры, профсоюзы или владельцы компании — в брифе Парротт этого не было.

Хуже получилось с API. Оказалось, что это не прямой доступ к модели, а прослойка: задание уходит в Deft, а обратно приходит уже готовый кусок текста, без возможности поработать над ним вместе. Парротт отправила туда задание через Codex вместе с планом и своими правилами стиля. На первых двух попытках Deft вернул не текст, а инструкции, как его писать. На третьей, с самым высоким качеством, модель написала половину эссе, остановилась и придумала даты, диалоги, историю продукта, скриншоты и эмоции, которых не было в источниках, хотя strict был включён. Парротт заплатила за это 0,49 доллара и осталась без черновика, который можно использовать.

Deft действительно научился делать текст менее предсказуемым. Но предсказуемость — не единственная причина, почему тексты ИИ раздражают. Модели по-прежнему не хватает понимания, что читателю нужно объяснить, а что нет, в каком порядке подавать мысли и как удержать внимание. Похоже, Deft принимает эти решения предложение за предложением, а не держит в памяти весь текст целиком. Не хватает и возможности править кусками: попросить сохранить одну часть и переписать другую, а не получать каждый раз новый текст с нуля. Сама Парротт говорит, что пока не стала бы использовать Deft для повседневной работы, но интересно, куда лаборатория пойдёт дальше.