Отлично разжевали про видяхи для LLM.
Последний абзац оттуда для тех кому лень читать:
Просто скажи мне что купить
GPU: 24 ГБ VRAM (RTX 3090 б/у или RTX 4090)
RAM: 64 ГБ DDR5
CPU: 12–16 ядер
Накопитель: 2 ТБ NVMe Gen4
БП: 850–1000 Вт
Охлаждение/корпус: хороший воздушный поток (LLM = длительная нагрузка на GPU)
Такая сборка тянет модели 7B–34B без проблем, квантованные 70B — тоже, и при этом работает как повседневная машина для локальной AI-разработки без удара по бюджету.