Ну что ж.
Qwen 3 1.7b + LM Studio + Zed + 8GB AMD GPU (Rocm) = 128k окно и небольшой помощник по коду, который крайне резво отвечает.

LLM дома. Осталось все ИИшки в пачку закатать, связать меж собой - и должен получиться микро-комбайн в поле без инета.

Как же я залип в это все.

Так же попробовал bitnet.cpp, который в целом можно весьма резво использовать в edge проектиках. Буквально на тостере. Из требований - хотя бы какой то процессор :D

Сразу говорю, компилить его с Vulkan и скидывать на GPU - бесполезно, я пытался)


p.s. https://github.com/microsoft/BitNet