Пацаны волнуются! Как же, три работы в параллель, и 50 токенов/сек маловато чтобы херачить нейронкой тикеты на автомате!1

Ну ок, возьмите RTX 3090 24 гб
Модель 27B уже вполне сюда влезет, если норм квантованная до 1-бита.
И даже сможете юзать агентов в разработке.

=

И вот ВИП-версия (расшаренная память)
- AMD Strix Halo (отдаёт 128 гб, только под линуксом конечно)
или
- NVIDIA DGX Spark (на самом деле, норм аналог на 256 гб можно взять вдвое дешевле "на авите")
или для хипстеров, самое оно =>
- Mac Studio M5 Max (а лучше ультру:)
- ну или несколько RTX 3090

Тут уже можно ставить реально сильную модель 120B, хотя ещё надо смотреть, сама память насколько быстрая, иначе и получишь те же 30-40 токенов/с. Но на 35B вполне можно и сотку выжать.

=

Хотя стратегически я по-прежнему за обычные чаты и простые агентские архитектуры, где вполне хватает облачной подписки на 20-60 долларов.

Главное - мета-спецификации/формальные языки паттернов/LPF, которыми архитектурно думаешь в процессе такого общения. На днях Карпатый например дал базу про AI + DSL (а я пишу об этом уже год:), в Функциональных архитектурах добавил вчера инфу.

p.s. Пацан расплакался, когда невеста подарила ему 5090 ❤️ Святая женщина!