Претендента на получение литературной премии проверили на наличие ИИ (продолжение).

Начало ⬆

До того как переключить внимание на Орельена, его авторы называли ряд других людей «халтурщиками» (slopper) — так они обозначали тех, кто злоупотреблял ИИ, не приводя при этом никаких подробностей.

Обозреватель Samuel Fitoussi в интервью заявил, что не преследовал никаких политических целей, выдвигая эти обвинения, а проверил книгу с помощью инструмента для обнаружения ИИ под названием Pangram, поскольку на нее обратили внимание читатели. По его словам, он полагал, что анонимному аккаунту будут доверять больше, чем его собственной колонке в газете правого толка.
«Мы хотели инициировать дискуссию, — сказал он, — не столько вокруг конкретного человека, сколько вокруг текстов, созданных ИИ, и того факта, что ИИ уже способен завоевывать литературные премии».

Три теста на выявление ИИ.
Эксперты в целом сходятся во мнении, что, хотя детекторы ИИ могут помочь в проверке подлинности материалов, они редко служат надежным инструментом для окончательного суждения о происхождении текста. Многим из них не хватает точности, чтобы определить степень участия ИИ, хотя некоторые и выдают примерный процентный показатель.

Три инструмента для обнаружения ИИ и несколько независимых экспертов пришли к выводу, что при написании книги Орельена, по всей видимости, в той или иной мере использовался ИИ. Pangram — инструмент, который многие эксперты считают «золотым стандартом» в сфере обнаружения сгенерированного ИИ контента, — с высокой долей уверенности указал на то, что ИИ участвовал в написании всех 34 глав книги. К аналогичному выводу пришел и другой детектор — GPTZero.

Max Spero, генеральный директор Pangram, сообщил, что при анализе текстов на французском языке частота ложноположительных срабатываний инструмента (случаев, когда написанный человеком текст ошибочно принимается за созданный ИИ) составляет 0,0026%, то есть одна ошибка на более чем 38 000 текстов.
Сперо, столкнувшись с критикой точности работы Pangram, признал, что независимых исследований, подтверждающих этот показатель, не существует. Кроме того, поскольку большинство сервисов для обнаружения ИИ-контента обучаются преимущественно на текстах на английском языке, многие эксперты с меньшим доверием относятся к результатам анализа текстов на других языках.
«Вероятно, в данном случае использовался ИИ, — отметил Thierry Poibeau, французский исследователь, занимающийся изучением ИИ. — Тем не менее, утверждать это наверняка сложно, и полной уверенности в результате быть не может».

Оценка книги с помощью инструмента Winston (одним из сооснователей которого является бывший профессиональный переводчик с английского на французский) оказалась менее однозначной, чем выводы Pangram и GPTZero. Winston показал, что вероятность авторства человека в различных фрагментах книги варьировалась от 12% до 66%, тогда как страница с благодарностями была оценена как написанная человеком со стопроцентной вероятностью.
«Орельен так или иначе использовал ИИ», — заявил Brian Jabarian, носитель французского языка и профессор Университета Карнеги-Меллона, изучающий инструменты для обнаружения ИИ-контента. Он назвал «довольно поразительным» наличие множества характерных признаков использования ИИ, таких как, например, речевая конструкция «это не X, это Y».

Вызванные споры также привлекли внимание к другим работам Орельена. Во вторник национальная общественная радиостанция Radio Canada сообщила, что Орельен допустил плагиат в четырех авторских статьях, опубликованных в 2012 и 2013 г. на французских и канадских новостных сайтах. Также отмечалось, что фрагменты его отмеченного наградами рассказа 2012 г. «Où va le monde» («Куда движется мир») напоминают части французской книги 1960 г. «Le Matin des Magiciens» («Утро магов»).
Над одной из этих статей канадская газета La Presse разместила примечание: «Уже после публикации этого текста нам стало известно, что его автор допустил плагиат».

Орельен не ответил на просьбы о комментариях.

Окончание ⬇