https://news.ycombinator.com/item?id=48542100

тред на 100500 комментов про локальные модели

вот вам саммари

————————————————————————————

Мнения

Локалка уже годится для ежедневного кодинга — OP на Qwen 3.6 35B (Mac Studio 128GB) даёт ~5× ускорение (против 15× у Opus). Юзер на двух 3090 бросил Claude за $100/мес: качество «не настолько хуже, чтобы это было важно». Ещё один делает ~90% на Qwen 3.6 27B, к Codex откатывается только на сложное.

Локалка = джуниор, фронтир = синиор — самая частая формулировка. Qwen «как джун со знаниями по всему, которого надо вести; Opus — синиор, который думает с тобой над архитектурой». Возражение: миду можно дать кусок и уйти, джуну нужен постоянный контроль.

Локалка пока НЕ замена — на одной 3090 разрыв слишком велик, постоянно гадаешь «я криво держу или модель тупая». Переключение между «вайбом» и ручной правкой — деал-брейкер. Плюс loop'ы и маленький контекст.

Главное — приватность, а не цена — сотрудник EU-конторы гоняет всё в air-gapped контейнере (нет AI-политики). Другие принципиально не шлют код в облако. Контр: «речь про дом — можешь слать, просто не хочешь, это разные вещи».

Экономика не в пользу локалки — две 3090 ≈ 3.6 года подписки за $100/мес + электричество. «Цена приватности очень высокая». Контр: железо перепродаётся/играет/хеджирует от подорожания и закрытия сервиса; «надо владеть, а не арендовать».

Бенчмарки врут, ощущение другое — «нет ничего в одной лиге с Opus». Защитники приводят отдельные one-shot'ы, где Qwen 3.6 35B обошёл Opus, но «Opus» — движущаяся цель (3/4/4.5). Все согласны: бенчи завышают локалку.

Локалка догонит — траектория крутая (от бессвязных 7B до агентных 35B за ~2 года). Прогнозы: от «Opus на потребительском железе за год» до «Anthropic теряет ров за десятилетие».

Гибрид — прагматичный ответ — фронтир на планы/спеки/архитектуру, дешёвое/локальное на имплементацию.

Харнесс важен не меньше модели — Pi хвалят, aider зовут «хайп и говно». Тюнинг параметров и расширение харнесса сильно влияют; «edit-ошибки и loop'ы — это проблема харнесса, не модели».

Локалка лучше как узкий инструмент, не генералист — «NLP-обёртка над grep»: меньше мировых знаний → меньше галлюцинаций на узкой задаче.

Не-инженеру полностью локально нереально — без 512GB+ RAM и глубокой настройки не взлетит.

Скепсис/издёвка — «обожаю греть стойку серверов, чтобы багованный TUI закомментил мой тест-раннер». Сомнение в кредибельности оценок от человека с 8 месяцами опыта.