ИИнтузиаст

🚀 Мы доросли до 1000 человек. Спасибо, что вы здесь.

Наш чат стал тесным для общения: находки, тесты, железо, вопросы - всё вперемешку. Поэтому разделил канал на темы.

И попутно про имя ... тематика канала уже больше года смещена в сторону локального ИИ, а точнее железа для ИИ. А как вы знаете я давно был энтузиастом в серверах и тут так все сложилось.
В общем, теперь канал называется ИИнтузиаст, а наш чат ИИнтузиасты.

Темы чата:
📢 Новости канала
🔍 Находки - интересные объявления с торговых площадок, интересные статьи и обсуждения с других источников (тут было жарко)
🛒 Барахолка - если вы хотите что-то купить или продать
🧪 Модели ИИ - обсуждение, тесты и результаты тестирования моделей
🖥️ Железо - обсуждение железа
⚙️ Софт - обсуждение софта: vLLM, llama.cpp, и прочие
💬 Флудилка - всё что не влезло в остальные

Если нужна какая-то новая тема - пишете, обсудим, добавим)

Правила простые:
- уважаем друг друга
- не знаете, куда постить - пишите во флудилку

🙃 В ходе изменений, комментарии к предыдущим постам пропали - сделал новый чат для комментариев, он будет оставаться только для комментариев к постам.

ИИнтузиаст: Канал TG | Наш чат TG | YouTube

Channel name was changed to «ИИнтузиаст»

Пока в чате идет срач горячее обсуждение о подорожании цен на видеокарты, я заметил несколько моментов на авито.

🎯 Во-первых, даже сейчас 3090 проскакивают по очень интересным ценам, пример тому скрин. Вчера-сегодня наблюдал за этими объявлениями. В течении часа-двух уже были сделаны заказы. Более того, такая же ситуация и с Tesla V100 32gb, я сам пропустил 4 выгодных объявления, но одно успел урвать.

🧐 Во-вторых: на авито закончились Tesla V100 32gb sxm2, остались только 16гб модули или версии PCIe в оригинальном или кастомном охладе.

📊 В третьих: CMP 50HX 10gb сильно подорожали, и теперь как-будто их покупка теперь имеет смысл только если сможешь собственноручно перепаять память. А 20-ти гиговые версии выросли до 30к.

График роста цен на RTX 3090 можно увидеть по моим покупкам в этом видео: https://youtu.be/Gq8Ig1Lf5MM?t=112

🧠 Год собирал ИИ-сервер. Пять карт, три блока питания, паленые провода, райзеры, OCulink'и, несколько корпусов и еще масса всего неучтенного и оставшегося за кадром.

💰 Посчитал итог: 477к , из них 337к - только карты.
🛑 И примерно половина суммы - это путь, по которому я бы сейчас не пошел.

⚡ В видео разбираю каждую строчку сметы: где можно сэкономить, динамику цен на 3090 и то, почему дальше PCIe 3.0 x8 профита не было. Посчитаем счета на электричество. А в конце кратко затронем альтернативы.

👉 https://youtu.be/Gq8Ig1Lf5MM

💸 ИИ как Single Point of Failure: считаем стоимость простоя

Недавние сбои в доступности моделей OpenAI навели меня на мысль: мы привыкли обсуждать интеллект моделей и дешевизну токенов, но почти не говорим об их доступности.
Если бизнес-процессы компании завязаны на облачный ИИ, провайдер превращается в критическую точку отказа (SPOF). Чтобы понять масштаб риска, нужно перевести недоступность в деньги.

📊 Дано (предположим):
Компания из 100 человек с активной интеграцией ИИ так:
- 30% сотрудников это IT-специалисты, у них плотная интеграция (пайплайны, код, инциденты и прочее)
- 20% остальных сотрудников, средняя плотность интеграции (аналитика, контент, менеджмент)

Введем погрешность и предположим что только половина из всех этих сотрудников плотно использует ИИ в работе.
Итого: около 25 человек используют ИИ как основной рабочий инструмент в режиме реального времени.

🧮 Математика потерь:
Допустим, средняя стоимость часа сотрудника - 1000 ₽.
Один час простоя провайдера ИИ: 25 чел * 1000 ₽ = 25 000 ₽ в час.

⏱ Теперь возьмем SLA:
1. Официальный (OpenAI и Antropic) 99.4%: ~4 часа простоя в месяц. Потери: ~100 000 ₽/мес.
2. РФ-контекст (блокировки как со стороны поставщиков ИИ так и внутри страны, vpn, а еще провайдеры ИИ могут скрывать недоступность) предположим 95%: ~36 часов простоя. Потери: ~720 000 ₽/мес.

❗Важное уточнение:
Это оптимистичный расчет. Он не учитывает:
- Когнитивное трение: время на переключение с ИИ-подхода на ручной, это не просто потеря времени, а стресс и падение эффективности. Здесь нужно быть достаточно честным - никто не будет сразу же переключаться на ручной труд, долгое время будут ожидать восстановления облаков.
- Потерю темпа: когда автоматизация ломается, бизнес-процесс не просто замедляется, он может встать.
- Недополученную выручку из-за замедления Time-to-Market.
- Репутационные риски: если ИИ завязан на клиентские сервисы.

🎯 Вывод:
Когда стоимость токена в облаке кажется копеечной, можно легко забыть о стоимости простоя из-за недоступности ИИ. Именно поэтому локальный инференс сегодня - это не "игрушка энтузиаста", а вопрос интеллектуального суверенитета и бизнес-континуитета компании.

Помните я показывал как навайбкодил на локальной gemma-4-31b-it рендер карт из Counter Strike 1.6?

Теперь выложил более подробное видео на youtube, в котором:
🔥 Проверяю, вывезет ли домашняя локалка хардкорный проект на C++ и OpenGL без моего вмешательства в код
🗺️ Показываю путь от простого куба до полноценного рендера карт с освещением и скайбоксом
🧠 Рассказываю про способ работы с ИИ над проектом
⚡ Тестирую 4 x RTX 3090 и ультрабюджетный сетап с Tesla P40 и V100
🐛 Честно разбираю факапы
⏱️ Итог: сколько реально времени ушло и где локальный ИИ всё еще лажает

👉 https://youtu.be/uDLIrbRzK8g

📈 Мониторинг б/у рынка GPU

🔹 CMP 50HX 20gb: месяц назад стоили 20к, сейчас 25к, рост цены +25%
🔹 RTX 3080 20gb: месяц назад еще можно было найти за 52к, сейчас 65к, рост цены +25%
🔹 Tesla V100 32gb: месяц назад 50к-55к, сейчас 60к-65к, рост +20%
🔹 RTX 2080 ti 22gb 2шт + NVLink: месяц назад ~80к, сейчас 95к, рост +18.75%

⚖️ Среди перечисленных моделей есть хоть какая-то согласованность в ценах, чего не скажешь про RTX 3090 - здесь полная ценовая вакханалия, в общем-то как было и раньше год назад.
📉 Количество предложений на RTX 3080 20gb упало до двух объявлений, в то время как объем предложений на CMP 50HX 20gb и Tesla V100 32gb сохраняется.
❓ Динамику количества предложений RTX 2080 ti 22gb не берусь оценивать, потому что не следил.
🔌 А вот по материнским платам x399 на процессорах Threadripper наблюдается снижение количества предложений и кратно увеличение цены: если полгода назад можно было купить комплект плата + процессор 29xxX до 30к, то теперь ценник начинается от 50к.

⚠️ Однако, рост цены и снижение предложений вовсе не означает что по такой цене есть сделки, реальные сделки еще предстоит посчитать.

⁉ Кто сейчас мониторит рынок? Заметили такой же рост или попадались адекватные варианты?

📝 На выходных сделал видео краткую выжимку по стриму - вместо двух часов можно за 11 минут узнать основные моменты, без проблем с микрофоном)

Подобрал более качественные материалы и провел некоторый анализ, так что это по сути идет даже немного дальше, однако тему с агентами пока не раскрыл полностью, готовлю другое видео на эту тему.

👉 https://youtu.be/BDOkNSHPG8c

🎬 Провели первый стрим по ИИ, да и вообще для меня это первый такой открытый стрим, первый опыт.

После середины стрима возникли проблемы со звуком (кажется конденсаторный микрофон перегрелся, теперь понял - это рядом смартфон лежал), но мы их преодолели)

Спасибо всем участникам за вопросы и за вашу благодарность 🙏

👉 Ссылка на завершенный стрим.
🚀 Как и обещал вот презентация, забирайте полезные для себя материалы)

🔌 Стрим сегодня (в субботу 22 августа) в 18:00 на Youtube

📝 Тема: Быстрый старт по локальному ИИ: ответы на вопросы
🕰 Тайминг: час-полтора (попробуем уложиться)

Отвечу на вопросы подписчиков:
- рекомендации по выбору железа для локального ИИ
- затронем тему прогноза цен, никто не знает но мы погадаем
- на чем поднять локальный инференс (ollama / lmstudio / llamacpp / vllm)
- как ускорить инференс и загружать большие модели на несколько видеокарт
- модели которыми я пользуюсь в личных целях и в рабочих задачах
- агенты, воркфлоу, skills / mcp

👉 Ссылка: https://youtube.com/live/kyC2SndjVNQ?feature=share

🧐 А может стрим в ближайшие дни?
🎬 На Youtube, примерно на 1-1.5 часа.

Посмотрим Авито, интересные штуки для локального ИИ, заглянем в мое избранное и удивимся на сколько изменились цены на видеокарты за год.

Напишите в комментариях под этим постом вопросы, которые хотели бы обсудить, я постараюсь подготовить ответы.

Ставьте 🔥 если придете.

👨‍🔬 Заменил плату на с Threadripper X399 на Supermicro H12SSL + горячий EPYC 7f52 (ROME). Все на Авито.

👾 Все видеокарты теперь работают на PCIe 4.0 x16, однако, это почти не дало скорости ни в prefill ни в decode. Причиной может быть урезанный P2P механизм драйверов для пользовательских (не серверных) видеокарт. Здесь есть обсуждение, это мне еще предстоит опробовать.

Отсюда следует вывод оно того не стоило:

Для локального инференса на нескольких видеокартах RTX 3090 достаточно PCIe 3.0 x8. Материнских плат на X299 / X399 для домашнего ИИ полностью хватит, а экономия бюджета в 2 раза.

🎩 В этой плате есть 8-ми канальный режим памяти DDR4 (против 4-ех канального на X399) и процессор более нового поколения. И здесь меня больше интересует промышленная фича дизагрегации KV-кэша. По простому: можно выгружать KV в RAM и если будет много объема то это позволит лучше кэшировать запросы, а значит вырастет prefill.

👾 На выходных навайбкодил попрактиковался в программировании через агентские фреймворки ИИ - сделал просмотрщик карт из Counter Strike 1.6 на C++ & OpenGL 4.6 под Linux.

👨‍💻 Все это делалось на установке из 4-ех RTX 3090 (ti) на модели gemma-4-31b-it под управлением vllm через агентский фреймворк Opencode.

👨‍🔬 Организовать правильную работу получилось только с третьего раза, одно дело описать то что нужно сделать, другое дело разработать схему взаимодействия. Последнее до сих пор довожу до ума, когда возникают проблемы с моделью.

🙈 Кроме того, у меня есть опыт разработки подобных продуктов (около 8-ми лет вел эту разработку без всяких ИИ и курсов), а умение гуглить спецификации и документацию оказало существенное ускорение для работы модели.

👻 В итоге это вышло очень занимательно и интересно, даже интереснее чем раздавать хеды на рандомных серверах))

📊 Прикрепляю графики со статистикой, здесь ttft, prefill / decode, KV и попадание в кэш.

⁉ Интересно посмотреть видео с процессом разработки?

🚀 Майнинговая CMP 170HX взлетела в цене на Авито после опубликования разблокировки 64гб вместо штатных 8гб. Ссылки на обсуждения вот и вот. Что делает ее младшим братом NVIDIA A100 (цена 700к). Теперь ее минимальная цена 85к, что на уровне RTX 3090.

👾 Мне очень интересно, но пока это штука не выглядит надежной, пока видимо ни у кого нет опыта продолжительной эксплуатации в локальном ИИ, отсюда большая волатильность на б/у рынке, что делает ее покупку весьма сомнительной.

❓ У кого есть эта карта, как она в LLM после анлока?

🙏 Если кто готов любезно предоставить на тест (с возвратом или могу выкупить) буду признателен)) Исследую и выложу видос с результатами.

❓ Есть ли жизнеспособный инфренес в бюджете на 50к или 80к?

На этот вопрос я постарался детально ответить в видео и статье на хабре:
🚀 https://youtu.be/uf9yDBy21pA
👉 https://habr.com/ru/articles/1053118/

Я взял 2 бюджетные материнские платы и 2 видеокарты, современные и не очень модели ИИ, провел разнообразные тесты. Получилось весьма объемно, а готовил я это около 3-х месяцев. Внутри:
📟 оборудование и цена
🔌 как определить пропускную способность памяти, прямо на практике
🎬 тесты: канальность, частота, кванты, контейнер vs хост, что будет если добавить одну карту, а две и так далее (все это приправлено графиками и моими комментариями)
💶 какие есть ценовые варианты
🎩 рассмотрим альтернативные сборки, в том же ценовом диапазоне и на развитие

Если вы задумывались о персональном приватном ИИ, то теперь вы можете узнать как это все будет работать в бюджете до 100к рублей. Также вам могут помочь другие мои видео:
👉 Запускам GPT на ноутбуках без подписок и облаков
👉 Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга

Все инструкции по настройке и развертыванию вы можете найти у меня на сайте:
- Установка NVIDIA‑драйвера на Debian
- Запуск локальных модели ИИ через llama.cpp

⁉️ Если у вас есть вопросы по сборке пишите в комментариях.

Я долго зрел и наконец созрел)) Новостей много, пройдемся кратко, а в следующих постах постараюсь больше деталей. Начнем с моего основного фокуса, из-за которого я долго не писал, и это работа)

👨‍💻 Последние полгода на работе были достаточно ... потрясающими. Уже как ~1,5 года я занимаю позицию тимлида команды DevOps на текущем месте работы. За это время мы с командой добились колоссальных успехов и произвели реформу нашей работы (наладили дежурства / улучшили процессы и для инженеров и для бизнеса / собрали команду). Детали позже.
Однако, я решил уйти с этой позиции в роль инженера в этой же команде DevOps, в связи с культурными особенностями. Это было неудобное и трудное решение лично для меня, но именно так и должен поступать управленец - уметь принимать сложные решения в моменты неопределенности, когда простое ожидание перестает быть эффективным. Я приобрел драгоценный опыт, о котором расскажу позже.

А теперь мое любимое: эксперименты и с ИИ и железо))

👨‍🔬 Закончил тесты локального ИИ на бюджетных решениях (материнские платы + процессоры + самые дешевые видеокарты). Спойлер: есть там жизнь, статью уже пишу.
Прикрепляю график результатов теста модели gpt-oss-120b, на нем видно какой профит дает добавление видеокарт в смешанный инференс на CPU + GPU.

🏭 Пересобрал свой стенд для локального ИИ на каркас для майнинга и заменил материнскую плата на Asus ROG STRIX X399-E GAMING + AMD Ryzen Threadripper 2920X. Видеокарты подключил через Oculink'и. Скорость инференса выросла до 150т/с на gpt-oss-120b. Видео прикрепляю.
А после того как грянул гром двух спаленных проводов купил нормальный блок питания SUPER FLOWER Leadex VII Gold 2200W 80+ Titanium.
Райзеры уже едут, а на выходных буду менять термоинтерфейсы на двух видеокартах.

👾 Осваиваю вайбкодинг Harness AI, на данный момент использую Open Code (пробовал Kilo Code, Claude Code, Qwen Code, Codex) с локальной моделью Gemma4-31B-it (недавний релиз). На удивление эта маленькая, но плотная модель хорошо справляется как с программированием, так и с анализом. Постепенно слезаю с GPT 5.2 Chat в пользу локальной Gemma.

🎥 А тем временем видео
Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга наборало уже ~65к просмотров и более 2к лайков, подписчиков на канале в 2 раза больше чем здесь в ТГ. Удивительно как все может перевернуться))
Видимо действительно актуальная тема.

🎉 Прошел почти месяц и на удивление видео про сборку из 3-х RTX 3090 на майнерской плате для локального ИИ набрало почти 40к просмотров, более 400 комментариев и ~1.4к лайков. Спасибо всем кто оценил 🙏
Кто еще не успел посмотреть - заходите, посмотрите)
😆 Комментарии забавные, почитайте))

👉 А свою статью на хабре Локальный ИИ: майнинг плата + 3 RTX 3090 я отправил на конкурс Технотекст8.

👨‍💻 Тем временем я провожу новый эксперимент: что можно выжать для локального ИИ на CPU, а именно на am4 и на threadripper.
Не совсем only CPU, скорее смешанный инференс на CPU + доступная для большинства GPU Tesla V100, чтобы была приемлемая скорость инференса для персонального использования. По ценам пытаюсь вместиться в народную сборку чтобы каждый мог у себя такое разместить. Результатами поделюсь позже.