⌨️ Знаки препинания сильно влияют на способность ИИ отвечать на запросы

Ученые Института ИИ AIRI обнаружили, что знаки препинания и служебные части речи играют ключевую роль в обработке информации языковыми моделями.

📉 Удаление знаков препинания и служебных частей речи из текста снижает точность ответов ИИ на запросы до 20%.

Современные большие языковые модели (БЯМ) разбивают тексты на токены, но пока ученые не понимают, какие типы токенов наиболее важны для корректной работы ИИ.

🔬 Для получения подобных сведений российские исследователи разработали LLM-микроскоп — набор инструментов, позволяющий визуализировать и анализировать внутреннее поведение различных форм БЯМ, а также "видеть" промежуточные результаты работы системы.

Расчеты показали, что больше всего информации о контексте содержится именно в знаках препинания, артиклях и служебных частях речи, а не в существительных.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться

#новостьдня