Ладно, ещё кексы. Но при чём здесь попугаи?

В 2021 году вышла статья Эмили Бендер и соавторов, посвященная рискам при использовании больших языковых моделей (название класса нейронных сетей, используемого для создания чат-ботов). В этой статье системы, которые хорошо генерируют выглядящий связанным текст, но не понимают его значения, были названы стохастическими попугаями. Неспособность таких систем к пониманию может приводить к ошибочным решениям людей или формированию у них ложных убеждений.

Термин стохастический попугай мало чего добавляет к уже имеющимся. Но он стал крайне популярным из-за яркого образа и стечения ряда обстоятельств. Меньше чем за три года с момента выхода, исходная статья была процитирована почти в 3000 научных публикаций!

Bender E.M. et al. (2021). On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).

Фото: Shiny Things @ Flickr

#LLM #СтохастическийПопугай