«Короче, Пушкин!»: как нейросети пересказали школьную программу

В апреле 2024 года — период активной подготовки к экзаменам — Яндекс Вордстат зафиксировал более 1,5 миллиона запросов по словосочетанию «краткий пересказ». Но кто-то ищет краткие пересказы произведений в поисковиках, а кто-то — просит помощи у нейросети. Насколько точен и адекватен анализ от ИИ? Чтобы узнать это, мы провели эксперимент и протестировали три самых популярных нейросети.

Кратко: что за эксперимент?

Для эксперимента мы использовали три нейросети: Chat GPT, Yandex GPT и Notion AI.
У каждой ИИ было две задачи: кратко изложить текст и рассказать, в чем основная суть произведения.

В качестве материала мы выбрали разные по структуре произведения из школьной классики: рассказ А. П. Чехова «Толстый и тонкий», басню Крылова «Ворона и лисица» и стихотворение М. Ю. Лермонтова «Бородино».

В случае рассказа Чехова Yandex GPT пересказал только сюжет: на вокзале встретились два приятеля, пообщались и разошлись. Никакой иронии он не заметил. Chat GPT справился лучше, хотя грамматика русского языка у него оказалась не на высоте и встречались фразы вроде: «У них были с собой жена и сын тонкого». Notion AI просуммировал события наиболее точно, но вот считать иронию текста у нейросети тоже не получилось. Зато, формулируя главную мысль текста, Notion AI обратил внимание на позицию автора критику общества, не ограничившись только сюжетом.

В случае с Лермонтовым и Крыловым Yandex GPT бессистемно выдавал лоскуты отдельных цитат, а Notion AI и Chat GPT выбрали другие стратегии.

Подробнее о них и о том, какие ошибки сделали нейросети (спойлер: Chat GPT, например, приписал «Бородино» Пушкину) узнаете из полной версии статьи.

Время чтения: 9 минут.

🤖 «Системный Блокъ» @sysblok