Главная ошибка в работе с ИИ это думать, что он “и так разберётся”

С LLM есть одна проблема: она очень уверенно может сказать ерунду. Придумать несуществующую статью закона — легко. Взять устаревшую госпошлину из памяти — тоже. Посчитать что-то “вроде правильно”, но забыть важную часть расчёта — вообще классика жанра.

Причём проблема не только в галлюцинациях. Она ещё и ленится перепроверять, если вы это не потребовали явно. Иногда сама сходит проверить данные, а иногда решит, что и так сойдёт.

Поэтому агент — это не магия, а система, которую нужно настраивать: что проверять обязательно,
каким источникам доверять, что приоритетнее, какие документы читать автоматически, а какие он вообще проигнорирует, пока не ткнёшь носом. И после этого — тестировать, ловить слабые места и дописывать правила.

Потому что хороший ИИ-агент — это не тот, который “всё знает”. А тот, которому вы заранее объяснили, где ему запрещено фантазировать.