Как научить нейросети отличать понятный сгенерированный текст от бессмыслицы? Поможет RuCoLA

RuCoLA (Russian Corpus of Linguistic Acceptability) — датасет русскоязычных предложений, разработанный специалистами SberDevices, ABBYY, Yandex Research, Huawei Noah’s Ark Lab и факультета компьютерных наук ВШЭ.

Как работает RuCoLA

Датасет размечен по бинарной шкале приемлемости. Приемлемым считается высказывание, которое мог бы выдать носитель языка, а другой носитель — понять. Обучая готовые модели на датасете RuCoLA, можно повысить качество генерации текста — сделать его более понятным и естественным с точки зрения русского языка.

Как протестировать

В открытом доступе уже есть лидерборд на данных RuCoLA. С его помощью разработчики могут протестировать свои модели и поучаствовать в развитии методов для оценки приемлемости.

Подробности читайте на Хабре