10 вещей, который вам надо знать, если хотите запускать нейросети локально.

Это мой новый формат. Я просто пишу то, что знаю, часто дописывая пост в течение суток, так что заходите еще завтра, он расширится. Поехали!

– Нет ни одной реальной причины запускать что-то локально, если только вы не супер-агентов. Серьезно! Это дорого, медленно и через год уже вообще отстанет
– Весь инференс, а именно так называются вычисления ИИ, субчидироруемая инвесторами игра. Он в реальности стоит в разы дороже, просто все игроки хотят захватить ваше внимание
– Не получится, потому что модели вышли на определенное плато, в котором они уже практически не различимы в слепом тестировании
– Поэтому пользуйтесь этой уникальной возможностью, тем более если у вас подписка. Если обычный инференс по API примерно в 5 раз дешевле локального, то объем в подписке еще раз в 5 дешевле, чем в API
– По самым поверхностным оценкам максимальный потолок на цену запущенной локально модели – 1/1000 стоимость оборудование
– Другими словами если у вас печка за $10,000, то максимум цены за 1 миллион оутпута – это $10
– В реальности цифры еще хуже
– Другими словами вам придется 3-10 лет качегарить машинку, чтобы окупить её стоимость
– Ну вот вам новость: через год цена этого же инференса упадет в раз в 5
– Тем более обидно, если вы покупаете что-то настольное, типа Mac Studio или даже с картами Nvidia, не говоря уже о серверах
– Вы ведь даже не сможете совсем этим барахлом через год пойти в кафе, чтобы привлечь внимание зумерш?
– Поэтому наиболее оптимальная история, если уж очень хочется поиграться с локальными нейросетями, это покупать MacBooks с процессорами Max и объемом памяти 128 ГБ
– Любые процессоры ниже категории M1 Max — это очень медленные нейросети. Идеально иметь процессоры Ultra но они были в версии M3 на MacBookах, а сейчас только уже на настольных печах
– Удивительно но только Apple все эти годы занимался тем, что делал максимальный инференс в минимальном форм-факторе. Почти все игроки, в том числе AMD, NVIDIA и так далее, имеют куда более слабые характеристики для домашнего применения. Ваши нейросети будут просто в 2-5 раз хуже, чем на технике Apple
– И если ты читаешь эти строки в начале сентября 2026 года, то наиболее оптимальной локальной моделью для запуска будет Qwen 3.8 27B, потому что:
1. Он запускается почти на любой машинке с 32 ГБ оперативной памяти.
2. Его цена outputа $2 за 1 миллион токенов
– Другими словами это чуть ли не единственный игрок (Alibaba), кто реально что-то качественное делает
– Вы получаете экономию в $2 за миллион output на ноутбуке, который может стоить $1,000-$2,000
– Сама моделька всеядная и по бенчмаркам работает не хуже GPT-5.6 Луна в режиме thinking

Завтра допишу...

pass.io/index ответит на все ваши вопросы