Убрать RAG, упростить систему и сократить стоимость перевода в 72 раза

Недавний рабочий кейс. Работала система переводов на основе RAG. Модель gpt 5.4. В целом всё было нормально. Текст переводился, иногда конечно были недочёты но как без них? Переводчики тогда заскучают. Цена перевода 1000 знаков $0.05641. А это, на минуточку, примерно в 100 раз дешевле человека.

Но мне показалось что можно сделать дешевле.

Шаг 1.

Переносим все инструкции по переводу в систем промпт. Там грамматические правила для конкретного языка и очень много словосочетаний для перевода вида: словосочетания на английском - перевод. Что это даёт? Использование кэша. После первого запроса весь систем промпт попадает в кэш. При последующих запросах чтение из кэша большого систем промпт в 10 раз дешевле.

Что улучшилось:
- стоимость перевода 1000 знаков снизилась в 2 раза и стала $0.02579
- количество запросов на один перевод снизилось с 5-6 (всякие около RAG запросы) до 1
- время перевода снизилось, но это не критичный тут параметр

Шаг 2.

Меняем модель на gpt 5.6 luna.

Что улучшилось:
- стоимость перевода 1000 знаков снизилась в 72 раза относительно RAG варианта (или в 5726 раз дешевле человека, лол) и стала $0,000789
- качество перевода осталось таким же, как и с моделью 5.4

Перед этим конечно были построены правильные евалы на основе вхождений контрольных словосочетаний для перевода. Чтобы можно было программно сравнивать качество перевода между собой. Картинка как раз иллюстрирует такое сравнение. По оси X выборка текстов для перевода. По оси Y контрольные словосочетания. Но финальная проверка конечно за переводчиком.

Итого. Система стала проще. И дешевле. RAG имеет очень узкую область применения. Часто можно обойтись совсем без него. Иногда мне кажется, что RAG нужно использовать только в крайнем случае, когда больше уже ничего не помогает.