👨💻 Все это делалось на установке из 4-ех RTX 3090 (ti) на модели gemma-4-31b-it под управлением vllm через агентский фреймворк Opencode.
👨🔬 Организовать правильную работу получилось только с третьего раза, одно дело описать то что нужно сделать, другое дело разработать схему взаимодействия. Последнее до сих пор довожу до ума, когда возникают проблемы с моделью.
🙈 Кроме того, у меня есть опыт разработки подобных продуктов (около 8-ми лет вел эту разработку без всяких ИИ и курсов), а умение гуглить спецификации и документацию оказало существенное ускорение для работы модели.
👻 В итоге это вышло очень занимательно и интересно, даже интереснее чем раздавать хеды на рандомных серверах))
📊 Прикрепляю графики со статистикой, здесь
ttft, prefill / decode, KV и попадание в кэш.⁉ Интересно посмотреть видео с процессом разработки?