Для ЛЛ: никогда не смешивайте файлы/данные на одном языке, а запросы на другом - LLM начинает сильно галлюцинировать.
Некоторое время назад я стал использовать AI для рутинных задач. Например, у меня есть счет от поверенных США за продление патента в ряде стран.
Формат счета
Renewal Payments Title: Application of ...
Client Ref #: End Client: PA*** LLC
Application No: 1482*** Grant No: EP30** CC: IT Due
Date: 07/31/23 Annuity: 10
Currency: USD Official Fee: 276.45 Surcharge Fee: 120.19
Agent Fee: 200.00 Rush Fee: 0 Service Fee: 45.00
Мне нужно извлечь перечень стран, чтобы вставить в договор. Вручную это делается долго, так как нужно либо помнить все эти двухбуквенные коды, либо гуглить. Такие штуки я люблю тестировать на AI.
Я был наивен - закинул файл в ChatGPT, написал запрос...🤓
В файле есть таблица, в строке которой есть указание "CC:" А далее двухбуквенный код страны. Найди все страны, указанные в файле, и напиши их названия на русском языке в формате: Страна1, Страна2, Страна3...
ChatGPT заурчал и выдал мне ответ. Сначала он мне даже понравился. Но с каждым новым взглядом я понимал, что что-то не так... В списке появились страны, которых точно нет в расчете!
Я делал итерацию за итерацией, уточняя запрос. Заставлял GPT перепроверять себя. Но он на голубом глазу твердил, что у меня есть продление патента в Северной Македонии. Путем уточнений я понял, что он Северную Македонию воспринимает как Хорватию. И тут у меня сложился паззл...🤯
Я уже попадался ранее в такую ловушку. Она связана с тем, что файл на английском, а запросы мои на русском. Это заставляет галлюцинировать модель. Я так долго искал ошибки в автоматизации КП для заявок по Мадриду, где нужно было считать пошлины за продление в странах с учетом классов МКТУ.
Переделав же запрос на английский, GPT выдал корректный ответ сразу. Но как только я добавил в инструкцию Translate it into Russian все снова поплыло🫠
Нормально заработало только разделив ответ и перевод на два промпта.
Коллеги, автоматизируете рутинную деятельность с помощью GPT?