Раз уж финал хакатона проигран, можно рассказать подноготную и небольшие приключения последнего дня.

Делали управление компьютера голосом, без глаз и без рук.
Открытие файлов, вкладок, создание отчетов по графикам, написание сообщений в телеграме, редактирование и объяснение кода голосом, перемещение окон по рабочим столом и т.п.

Засунули много чего:
- RAG и SharedPreferences для долговременной памяти.
- Локальная векторная база периодически обновлялась в бэкграунде по мере изменения состояния системы.
- Классификатор для инструкций и функций (тулов) для агента.
- Огромное количество тулов для управления всем возможным на PC.
- Оптимизации скорости: стриминг и gRPC, ужатие голосовых записей, локальный алгоритмы для классификации и распознавания текста на экран.

Теперь инсайдерская информация из нашего проекта.

Вчера вечером обнаружили, что почти ничего не работает. Гигачат, которым мы были обязаны пользоваться, отвечал цензурой, если в контексте были слова:
- Телеграм,
- Закладка (браузера),
- Любое приложение VPN,
- Что-то про анализ фондового рынка или инвестиции.

Пришлось всю ночь переписывал решение на Claude, который во всем показал себя на несколько порядков лучше, кроме скорости, ведь мы потеряли gRPC, стриминг, а еще на пути встал VPN, а еще на демо был Wi-Fi Сбера.

Думаю, проиграли из-за скорости работы и потери нескольких кейсов. Кому нужен медленный ассистент?

Команды, которые нас обошли, имели только 1 фичу (которая у нас тоже была), но просто показали страницу с результатом (возможно, подготовленным заранее).

Главный вывод — презентуя MVP, надо фокусироваться на презентации, а не на продукте.

Пока Москва оплакивает наше поражение и пока я поднимался на 15 этаж в мокрых кроссовках (лифты сломались), не мог оставить мысль, что тот говнокод, который написал ночью, надо как можно скорее исправить.