AI-First или..не First?

– А будем искать продакта или AI-продакта?
– А будем искать разработчика или AI-разработчика?

И, блин, я вроде и хочу, чтобы все были в теме. Но в то же время CV-шки и должности, начинающиеся со слова AI (я даже видел AI-CTO, AI-CPO) меня немного триггерят. Потому что появился сегмент слишком глубоко воспринявших хайп людей, гиперсфокусированных на одной из 100 технологий, которые, по-хорошему, должен знать и уметь человек из product & tech.

В чем проблема гипер-AI фокуса? В том, что многие инженерные проблемы лучше решаются не через него. Даже если это проблемы AI-продукта.
Я вообще 60% AI-вопросов и кейсов, которые приносят на консультации, решаю старым и немодным инженерным бэкграундом, который работал и 10 лет назад.

Кейсы из личных консультаций:

1. Есть AI-агент, переваривающий кипу сложных текстов и собирающий определенного формата документ. В части полей он стабильно врет и ссылается не на исходный текст, а на что-то другое, или просто придумывает штуки, а там лучше руками человека позвать заполнить, чем ошибиться. ТНачинаются достройки других llm-ок поверх первой, графы, еще какие-то штуки..Не работает, плохо работает, дорого..

– А текстовый поиск знаете, сталкивались? Были алгоритмы такие разные
– А что?
– Ну давайте попробуем попросить агента цитировать, откуда он взял сложное поле (прям сослаться на документ и место), а там текстовый поиск/расстояние сгоняем. Если похоже на то – значит оно и есть, непохоже – значит не оно и лучше руками.

И действительно не так плохо работает, и за еще одного агента платить не надо

2. Есть сложная hardware + software штука, в котором, среди прочего, есть голосовой агент. И что-то долго она отвечает, задержка на старте большая. Может инференс надо оптимизировать..Или модель более дорогую (11labs взять, например)...

– А покажите код
– Да там ничего интересного, прослойка и прослойка над железом
– Если бы хоть раз, когда я написал что-то на Сях над железом по инструкции, оно просто взяло и заработало, я был бы совсем другим, более веселым человеком. Давайте код глянем?
– Давай глянем
– А, ну так ты на старте, когда начинаешь голосовую часть, сначала получаешь с сервера ответ, потом открываешь буфер аудио-устройства, в него это пишешь и воспроизводишь. Давай буфер раньше будем разогревать, можно фрейм тишины в него написать, например (пока еще ждем от сервака), а потом сразу нормальное аудио, которое доехало (тоже кусками можем. btw, как оказалось, стриминг там уже даже был сделан). На месте китайской железяки, я бы подвисал именно здесь

И тоже есть результат

3. (да, даже такое уже есть) Чего-то рекомендации у меня плохо работают. То говно какое-то посоветую, то очень долго, то еще что-то, как научить AI это делать?

– А какая архитектура, фичи? Классика/гибрид?
– Чего? Ну промпт какой мне написать?
– Ты что, рекомендации через llm делаешь?
– Ну да, через агента
– Есть у меня для тебя история о том, как это делали 5 лет назад...

Короче: даже если строишь AI-продукт и агентскую систему – не забывай, что все, чему ты учился до AI, до сих пор работает. Причем работает хорошо и недорого

Ну и, если у тебя есть проблема с AI – приходи поговорить :)) Оказывается, если называть это так, конверсия выше!