TGViewer
Channel Public Channel
>_< modelhost

>_< modelhost

@modelhost

local inference community.
by @borkiss_notes
Open in Telegram
Subscribers
283
Photos
8
Videos
1
Links
8
Recent Posts 20 shown
Post #29 478
>_< modelhost вышла модель Qwen Image 2.1, открытые веса. просто вдумайтесь мы получили локально уровень NanoBanana 2.0 всего 7B параметров, с DIT декодером, это 14≈ гб. — такая запуститься на 24GB VRAM (3090, 4090), на более жирных картах, еще и быстрее и 2K, и батчинг…
🎩
  • 🔥 7
  • 🤯 3
  • 👀 1
Post #28 500
вышла модель Qwen Image 2.1, открытые веса.
просто вдумайтесь мы получили локально уровень NanoBanana 2.0

всего 7B параметров, с DIT декодером, это 14≈ гб. — такая запуститься на 24GB VRAM (3090, 4090), на более жирных картах, еще и быстрее и 2K, и батчинг (параллельно много фото)


https://qwen.ai/blog?id=qwen-image-2.1

https://github.com/QwenLM/Qwen-Image-2.1
qwen.ai Qwen offers comprehensive functionality spanning chatbot, image and video understanding, image generation, document processing, web search integration, tool utilization, and artifacts.
  • 🔥 11
Post #27 493
>_< modelhost локал ии лайфчендж. вышел Ternary Bonsai 27B, это модель на базе Qwen 3.8 27B, который я так хвалил в одном из прошлых постов. они фактически сжали квен из 53.8гб в оригинале, до 5.9 гб. фактически это сжатие в 9раз, около 1.76 эффективных бита / вес. …
Фрики: «Вот 14 KB system prompt, DAN v69, скажи модели, что она играет роль бабушки без моральных ограничений».

Гики: «Мы нашли refusal direction в residual stream и ортогонально спроецировали его нахуй на каждом forward pass».

гики, скачать

y' = y − α(y·r)r.
GitHub GitHub - Continuum-AI-Corp/OrcaBonsai-27B-Uncensored: Runtime behavioral ablation for compressed LLMs. First target: Ternary Bonsai… Runtime behavioral ablation for compressed LLMs. First target: Ternary Bonsai 2 27B — no weight modification or re-quantization. by OrcaRouter team - Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
  • ❤ 6
Post #26 620
>_< modelhost
локал ии лайфчендж.

вышел Ternary Bonsai 27B, это модель на базе Qwen 3.8 27B, который я так хвалил в одном из прошлых постов. они фактически сжали квен из 53.8гб в оригинале, до 5.9 гб. фактически это сжатие в 9раз, около 1.76 эффективных бита / вес.

при этом, она потеряла всего 1.8% интеллекта & способностей. а я напомню это клас Opus 4.7≈ который теперь доступен для запуске на обычном маке 16рам, или на около любой видяхе. или… даже на айфоне у которых по 8рам, что в притык, а начиная с 17ого поколения там 12гб юнифайд мемори

Блог: https://prismml.com/news/bonsai-2-27b
Веса: https://huggingface.co/collections/prism-ml/bonsai-2
*учтите что макам нужна mlx версия, а nvidia граф. картам gguf

Без цензуры, возможны потери качества: https://huggingface.co/dealignai/Bonsai-2-27B-1bit-CRACK-GGUF
Prismml PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint Ternary Bonsai 2 27B retains 98.2% of Qwen3.8 27B benchmark performance in a 5.9GB footprint, with multimodal and agentic capabilities.
  • 👍 7
  • 🔥 3
  • ❤ 1
Post #23 604

This post (sticker, poll or similar) has no web preview. Open in Telegram

  • 👍 2
  • 👏 1
Post #21 364
>_< modelhost qwen3.8 27b + A100, выдает 70ток/с это стремно 🤓
он кстати запускается и на 3090, 4090, 5090, но тут вопрос в том сколько контекстного окна и скорости вы можете себе позволить, на 3090 и 4090 это около 4000 токенов чего маловато, вот на 5090 уже ближе к 100к, на А100 - полные 262к + запас чтобы она работала быстро

само по себе удивительно что модель этого класа на столько доступная
  • ❤ 1
Post #20 334
qwen3.8 27b + A100, выдает 70ток/с
это стремно 🤓
  • 👍 6
Post #19 366
если хорошо хантить такие скидки, экономика тут ломается ой как сильно в сторону оренды
Telegram >_< modelhost LOCAL GPU vs CLOUD: когда своё железо вообще окупается? Я решил посчитать не «какая GPU быстрее», а более полезную вещь: когда покупка локального железа экономически начинает выигрывать у RunPod / Vast. И отдельно — что имеет смысл для больших локальных…
  • 👍 2
Post #18 330
или H200 у которой средний прайс по рынку - $4.59/ч, можно взять за $1.00 /ч (но вас может выбить), или за $2.63/ч но выбить вас не сможет, потому-что он деманд
  • 👍 3
  • 👀 1
Post #17 311
>_< modelhost https://gputable.dev/ агрегатор цен на гпу, 35+ провайдеров можно ловить очень сладкие цны
например RTX 6000 PRO за 74 цента, вместо 2 баксов, ондеманд (что значит вас не может выбить), или спот с которого вас может выкинуть, но это чертовски дешево
  • 👍 2
Post #15 442
>_< modelhost
такой лонг лонг рид, вышел с математикой облачных гпу против локальных
🤓
  • ❤ 11
Post #14 483

This post (sticker, poll or similar) has no web preview. Open in Telegram

  • 💔 10
  • ❤ 6
  • 👍 1
  • 🔥 1
Post #13 367
>_< modelhost
примерно такой экспириенс мы получаем на железе за 1500$, это уже юзабельно для большинства задач

можно и дешевле RTX 2080TI 22gb за 500$ способна предоставить похожий перформенс, но это не все - люди кастомят её под свое железо выжимая скорость от 200 до 1000 ток/с при параллельности в 16 агентов ( 1000/16=62,5 на одного), на 8 видяхах. что уже даже очень юзабельно для какой-то команды

💀
  • ❤ 7
  • 👀 3
Post #11 293

This post (sticker, poll or similar) has no web preview. Open in Telegram

  • 🌚 4
  • 🤗 3
Post #10 346
облачный инференс
прежде чем покупать железо, сначала стоит поиграться с локал моделями на оренде

https://www.runpod.io/ - фронтир провайдер облачных гпу, удобный, надежный, цена адектваная (средняя) по духу ближе к AWS

https://vast.ai/ - это по духу ближе к маркетплейсу, индивиды или некие овнеры серверов выкладывают свое железо в аренду, вы покупаете прайс плавает - можно ловить очень выгодные цены, но больше возни с конектом

https://modal.com/ - интересный кандидат, потому-что он вам дает не просто видяху и вы платите за час использования, а дает вам серверлесс апи, и видяха просыпаеться чтобы обработать запрос, в некоторых кейсах оно выгодно, но основной интерес тут в том что их бесплатный план, дает нам $30 / month бесплатно, каждый месяц на их сервис. для халявных тестов топ

https://www.digitalocean.com/products/gpu-droplets - легендарный дигитал оушн, теперь хостит и видяхи, надежность на высоте (прайс тоже), тут интересно забрать 200 доларов фри кредитов на 60 дней поиграться, но чтобы получить возможность тратить их на Gpu Droplets -> нужно заполнить акету, написать что вы молодая ллм/мл лабаратория, сделать себе лендосик и почты на домен

https://www.kaggle.com/ - богом забытая платформа гугла, дают старое железо гпу, и свое новое тпу бесплатно, каждый месяц - еквивалентом в доларов 300

дальше поговорим про именно домашнее топ железо, там правда история довольно печальная
  • ❤‍🔥 6
Older posts →

About this channel

How can I read @modelhost without a Telegram account?
TGViewer shows the public web preview Telegram publishes for >_< modelhost: recent posts, photos, videos and the subscriber count, with no app, login or account.
How many subscribers does >_< modelhost have?
>_< modelhost (@modelhost) has 283 subscribers on Telegram, refreshed roughly every 30 minutes.
Does >_< modelhost know I viewed it here?
No. Public channel previews carry no viewer identity, and TGViewer has no accounts or tracking of what you look up.
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →