Уничтожаем всю мировую AI-индустрию и бизнес на цодах-шмодах одним сетапом.

Старенький системный блок на 12 гб оперативки + юзанная RTX 3060 + моделька 8B под конкретную тему.
винда 10, лучше линукс конечно (а вот мак не потянет ахаха)

И получаешь до 50 токенов/сек.

Например, чисто под кодинг на таком сетапе сейчас есть хорошие модельки 8B уровня квена3.6 35B, просто спросите нейронку. Если хорошо знаешь архитекторство и software design, более чем достаточно; неплохо RAG и graphify прикрутить.

Различная аналитика, создание документации, ETL, ревью кода, devops -- под каждую темку вполне можно точечно найти маленький подходящий опенсорс.

И в целом, стратегически крайне рекомендую (срочно) уходить максимально в локальную инфру, как можно дальше от любых облаков. В крайнем, дедик или vps с ежедневным архивом всего образа.

Graviora manent.