Нужно ли использовать LLM 🤖? Да. Другого варианта я не вижу, это просто инструмент — как IDE или Stack Overflow.

Можно писать код в тетрадке и читать все книги по программированию. Но производительность упадет. Давно вы считали 121 × 16 в уме?

Я начал разбираться с LLM и вижу задачи, которые можно упростить с помощью локальной модели. Платить за токены? Только если не можешь не платить. Сначала — максимум из бесплатных инструментов.

Локальные LLM упираются в лимиты контекста. RAG в этих условиях недоступен. Ограничивать модель под контекст — глупо. Брать нужно максимально возможную под память модель, а к контексту относиться бережно.

Я прощупал на Python структуру, в которой модель получает максимально качественный и минимальный объём данных. Этого хватает для работы без перегрузки. Это работает. Я добился стабильных ответов.

Так я начал проект Vibe Analyzer уже на Rust для получения максимальной производительности. Он индексирует код, собирает метрики, извлекает AST через tree-sitter, определяет лицензии. Экспортирует компактный JSON — ровно столько, сколько нужно модели. Дальше — MCP и OpenSearch: модель сама получит всё необходимое по базе знаний.

За два дня — 4k+ строк отполированного Rust-кода. 😎