Truth-O-Meter

Разработанный на Python проект, позволяющий проверять достоверность сгенерированного большими языковыми моделями текста. Авторы приложения утверждают, что их метод позволяет детектировать галлюцинации и фактологические ошибки, производя веб-поиск по сгенерированному LLM тексту. После чего пользователь может получить скорректированный программой текст, подсвечивающий неточности и приводящий ссылки на достоверные источники в интернете. В серии работ авторы рассказывают о различных аспектах проекта, а так же проверяют состоятельность метода на датасете FEVER. Работа может быть полезна исследователям, работающими с генеративными и большими языковыми моделями, инженерам и Data Science специалистам.

статья|код|демо