Не надо тащить нейросетки туда, где они не нужны. Если фичу можно сделать детерминированной (без LLM) — надо делать детерминированной

В разработке есть огромное кол-во фичей, которые можно очень круто и просто сделать с современными LLM-модельками.
Надо проверить наличие контактных данных в тексте? LMM-ка может.
Надо найти в тексте опечатки? LMM-ка может.
Классифицировать входящие заявки? LMM-ка может.

Сейчас многие продуктовые задачи можно быстро и прсото решить при помощи нейросеток, простого промпта и нескольких строк кода. Но проблема в том, что любой инференс — на самом деле, штука очень дорогая. Этого можно не замечать на малых объемах данных — «подумаешь, 0.0001$». Но часто это в сотни и даже тысячи раз медленней и дороже, чем решение той же задачи традиционными способами без нейросеток.

Очень простой пример
Есть текст CV кандидата и вам надо из него вытащить его контактные данные.

С этим справится любая LLM, но она сожжет на это ±2к+ токенов и будет генерировать вам ответ ±секунду — цифры вроде смешные и многих могут устраивать. Но сейчас на вакансию часто прилетает 1000+ откликов и получается, что на одну вакаснсию вам придется сжигать уже несколько миллионов токенов.

Но эту же задачу по извлечению данных из CV можно решить старыми добрыми регулярными выражениями. Да, придется потратить сильно больше времени на код и на его отладку, поймать множество корнер-кейсов (телефоны в разных форматах, пробелы, скобки, Telegram, WhatsApp, ссылки), сделать несколько итераций доработок... но в итоге это будет работать за милисекунды, полностью на CPU. Никакого инференса LLM-ок, никаких токенов, никаких доп расходов.

Ну и понятно, что с ростом масштабов самих продуктов, разрыв в стоимости LLMных решений и классических детерминированных будет только расти (речь про стоимость их эксплуатации, не про стоимость разработки!!!)

В общем, когда вам предлагают быстренько сделать какую-то крутую ИИ-фичу — посчитайте цифры