GigaCheck — топ-1 решение в соревновании по определению авторства текстов на AINL 2025 🔥

Честно? Мы вообще не планировали. Просто увидели в одном паблике анонс соревнования по определению авторства текстов на AINL — это крупнейшая восточноевропейская конференция по AI (кстати, у конференции есть свой канал!). Подумали: «А давай попробуем?».

Взяли за основу наш подход GigaCheck, обучили модель с нуля на данных соревнования, немного адаптировав под задачу… и, кажется, не зря 😅

На выходных подвели итоги — первое место! 🥇

Задача была нетривиальная: не просто определить, написан текст человеком или ИИ, но и точно указать, какой именно моделью он был сгенерирован (GPT-4 Turbo, Gemma 2-27B, LLaMA 3.3-70B и две другие модели).

Мы усилили GigaCheck, добавив дополнительную классификационную голову — и получили отличные результаты!

✅ На публичных тестовых данных, где в том числе были тексты, сгенерированные неизвестной моделью, не участвовавшей в тренировке, GigaCheck показал точность в 91% 🚀

✅ На приватном тестовом сете, включавшем тексты ещё одной неизвестной модели и тексты из двух новых доменов, которых GigaCheck также ранее не видел, точность достигла уверенных 86% 🏆

Наш результат оказался лучшим среди всех участников соревнования 👏

Это сильное подтверждение робастности и высокой способности GigaCheck к обобщению — даже в условиях особенно сложных out-of-domain и out-of-distribution задач!