Проект по анализу использования языка людьми в интернете закрылся, потому что нейросети слишком загрязнили данные

Робин Спир, создатель проекта Wordfreq, объявила о его закрытии из-за загрязнения данных нейросетями🤖

Wordfreq анализировал использование более 40 языков в различных источниках, включая "Википедию", субтитры, новости и соцсети🔎

Система оценивала языковые привычки, сленг и популярную культуру😀

Спир считает, что после 2021 года нет надежной информации об использовании языка людьми из-за загрязнения данных📊

Веб-скрейпинг был важным источником данных для проекта, но теперь весь интернет заполнен мусором от больших языковых моделей🌐

Большие языковые модели генерируют текст, который маскируется под настоящий язык, искажая данные о частотности слов💬

Спир отмечает, что область обработки естественного языка теперь подчинена разработке LLM и генеративного ИИ🤓

Данные для Wordfreq стали сложнее добывать из-за платных API Twitter и Reddit🤔