Вторую неделю бодаемся с Гигачек (сервис определения ИИ-текстов от Гигачат Сбера). Очень неоднозначные ощущения

Уже по факту решили сделать дополнительную “примочку” к будущему сервису создания больших умных статей, набирали бесплатно тестеров недавно. И вот связались:)

В чем сложность – это, по сути, это даже не сервис (те обходить – вообще не проблема), а отдельная нейросеть, которая только и делает, что определяет – сделано ИИ или человеком. И вот здесь-то как раз и начинаются проблемы.

Заявлено, что процент ошибок составляет не больше 1%. Это, конечно, не так. Уже вышли на обход в 3-4 из 5 текстов. Но вот дальше – хоть тресни.

Раз, второй, третий – все нормально. Четвертый – провал, “сделано ИИ” 🙄🤬

Перепробовали уже такие способы (реально массу очень нестандартных), что осталось только плясать с бубном во время генерации.

Уже вплоть до конспирологических теорий, что при проверке тексте с одними cookie в каком-то ограниченном временном промежутке дает хотя бы раз “сделано ИИ”.

С инфостилем и “обычными ровными текстами” тоже непонятно. Вернее, с одной стороны – понятно: часто срабатывает на “человеческие тексты” как на ИИ. Но вот как сделать такие тексты, чтобы “всегда человек” – вообще 0 идей.

Из-под одного промпта – то ИИ, то человека определяет ...

Ясно, что можно всякими стилевыми инъекциями и прочими хитрыми штуками довести до 4 - 4.5 из 5 (и доведем, надеемся), но все равно, видимо, “врожденная” непредсказуемость нейросети (а не сервиса, у которого все понятно и статично) играет немалую роль.

Штош, будем бодаться дальше. В закрытой группе курса “Промпт инженер” чуть позже расскажем подробнее.