LLM не умеют думать.

Но умеют предсказывать ответ, который с высокой вероятностью высоко релевантен паттерну запроса.

Как только это понимаешь, все становится на свои места:

— Если нужен точный ответ, на который можно железно положиться — это не к LLM

— Если запрос из общеизвестной области и достаточно, чтобы ответ был «скорее всего» точным — тогда, пожалуйста. Например, если вы сами можете перепроверить ответ и скорректировать, если что-то пойдет не так, не рискуя ничем значимым (деньгами, репутацией, и т.п.). Полагаться на медицинский или юридический совет от LLM — не надо. Изучить азы неизвестной области и дальше думать своей головой — прекрасно.

— Главное, что нужно знать про LLM — они очень чувствительны к контексту. Т.к. это машины предсказаний из А в Б, то от А (контекста на входе) сильно зависит, какое Б получится на выходе. Контекста в запросе не должно быть много и мало — его должно быть ровно столько, сколько нужно для задачи. Мало — если задача получить общеизвестные истины, не уводя модель в излишнюю специфику. Больше — если задача наоборот повысить вероятность точного ответа для специфического кейса. Роли, инструкции, RAG, форматы — это все частные случаи контекста.

— Для большинства автоматизаций LLM не нужны или нужны в 5% процесса. Остальные 95% — обычные детерминированные воркфлоу. Которым LLM просто дали новую жизнь и хайп, повесив и на них шильдик AI.

— При этом LLM могут помочь накодить классический детерминированный флоу. LLM хорошо "вайб-кодят" ровно потому, что код это тоже текст причем с очень регулярными правилами — идеально для машины паттернов (базовый цикл любого кодинг агента до смешного примитивный). А вот сложные системы и продакшн приложения берут сложнее ровно потому, что там нужно думать и понимать. Этого LLM из коробки не умеют, но результаты "как у" думания и понимания можно имитировать и оптимизировать через миллион разных трюков с контекстом (из этих трюков разные AI кодинг тулы и состоят).

Понимая это, можно перестать ждать чуда, посмотреть на инструмент реалистично и начать находить креативные способы способы его применения. Лего вон тоже из простых мелких деталей состоит — а чего люди из него выделывают.