Отсутствие идемпотентности ответов ИИ как техническая проблема

Столкнулась задачей: внедрить LLM-ку, которая будет изучать новости на одной известной площадке и искать “рисковые”. А затем эти подозрительные новости размещать по специальным темам. Идеальный прикладной кейс: Там, где десяток человек тратит недели, ИИ справляется за несколько минут.

В целом внедрили. И вот на этапе тестирования и приёмки столкнулись с тем, что для отнесения к категориям и оценки важности новости нужно, чтобы результаты повторялись.

А как известно, ИИ этим не славится. На один и тот же запрос даже продвинутая LLM будет отдавать чуть-чуть но разные ответы.

Для задачи это критично: из “рисковой” новость, временами становится “умеренно негативной”. Тестирование проваливается: одна и та же новость периодически улетает не туда. Стало понятно: нужна идемпотентность ответа.

Прежде чем я рассскажу что помогло, предлагаю вам предложить решения, как добиться повторяемости от LLM.

Пояснение для новичков: идемпотентность - это когда повторный запрос даёт тот же результат.
Но для ИИ это не совсем корректный термин. LLM по природе своей вероятностная, а значит вариативная.