🤖Большие языковые модели склонны к предоставлению недостоверной информации.

Системы ИИ основанные на больших языковых моделях (LLM) склонны отвечать с уверенностью, даже если ответ фактически неверен, потому что его научили верить в эту информацию.

Исследования выявили, что более крупные и обученные модели чаще дают ошибочные ответы на простые вопросы, в то время как их предшественники могли избегать ответов на сложные задачи. Например, современные модели, такие как GPT-4, могут казаться более точными, но на самом деле они часто предоставляют правдоподобные, но неверные ответы, что может ввести пользователей в заблуждение.

Кроме того, несмотря на то, что новые модели показывают большую стабильность при изменении формулировок вопросов, они все равно демонстрируют значительные колебания в зависимости от уровня сложности задач. Это подчеркивает необходимость пересмотра подходов к разработке и обучению языковых моделей, особенно в критически важных областях, где предсказуемость ошибок имеет первостепенное значение.

Проблема усугубляется уверенностью ИИ. Пользователям зачастую сложно определить, когда он предоставляет точную информацию, а когда дезинформацию. Эксперты также обнаружили, что в ходе улучшения производительности модели в одной области она может ухудшаться в другой.