Occasional notes

Не все новые модели LLM одинаково полезны 🤖

Последнее время я работаю с двумя семействами — Qwen3.x-27b и Ornith1.x-35b. Они отлично справляются и с агентными задачами, и с разработкой. Но новые модели выходят постоянно, и у меня накопился беклог для тестирования.

Сегодня попробовал Kimi-linear-48b и Nex2.5-mini — и они показали себя плохо.

🧪 Задача №1 — простая: обновить конфига llama-swap
Добавить новые модели, почистить удалённые, где в названии есть MTP — прописать.

С Kimi-linear всё понятно: моделям уже год, а это вечность в мире LLM. При редактировании она привела настройки всех моделей к одному виду, удалила всё, что касается MTP, и не смогла восстановить. Лишь после этого Qwen3.x-27b перечитала данные из сессии и вернула нужные настройки.

📄 Задача №2 — взять PDF, переименовать и перенести в папку
Ornith с этим справляется без проблем. Nex2.5-mini же долго думал, как прочитать название книги и какое имя использовать — запустил для этого субагента, и я устал ждать.

💡 Вывод: берите проверенные модели. Не все новинки оправдывают ожидания — несмотря на высокие результаты в тестах.

Вышел Qwen3.8-27b, локальная модель, которая в некоторых кодинг тестах обходит Opus 4.6 и выдает 70+ т/c на двух 3090. Прошлая 3.6-27b прекрасна в разработке, посмотрим, что покажет новая версия.

Порой баги попадаются в железе

Уже несоколько дней тестирую скиллы для разработки от Matt Pocock - это прямо новый уровень после обычного режима планирования в opencode. Рекомендую всем попробовать

Пишу сюда редко, а зря. За последние полгода локальный AI превратился из игрушки в рабочий инструмент.
Из железа:
- MI50 проданы - слишком медленные и некуда девать такой объем памяти.
- 2xRTX 3090 с моделями Qwen3.6 или Gemma4 закрывают задачи локальной разработки или запуска агента.
- MI50 в два раза выросли в цене за полгода. Я брал их новыми осенью по 16-18 тысяч за штуку, сейчас у них по 40+ за б.у.
- На Авито RTX3090 разлетаются как горячие пирожки. Думал прикупить себе еще парочку и ситуация такова, что добавляешь объявление в избранное - через пару часов оно уже неактульно. Вряд ли их скупают для игр.

По моделям:
- Qwen3.6-35B - лучшая модель для локального запуска прямо здесь и сейчас. Особенно добученная на ризонинге Opus 4.6.
- Выдает 110+ токенов на 2x3090 в Q8
- Gemma4-26B - тоже хороша, если бы не проблема с утечкой памятью.

Из агентов пока остановился на Hermes и Opencode

- Hermes - хороший вариант на каждый день.
- Opencode тоже показал себя неплохо как агент на каждый день. Причем в некоторых задачах даже лучше, чем Hermes - меньше галлюцинаций.

Наконец-то локальные модели начали решать реальные задачи. Вот, что я сделал за последнюю пару недель:

- Найти pdf версии книг по списку на одном известном сайте
- поискать отели и составить план поездки (тут еще не очень хорошо)
- посмотреть логи сервера и составить отчет по проблемам
- посмотреть документацию и подобрать параметры запуска для сложной cli-тулзы
- транскрибировать mp3 с упражнениями по английскому языку и составить запись для удобной навигации

Работа с агентом - новый уровень взаимодействия с миром. Ты говоришь, что ты хочешь и получаешь на выходе результат. Не надо часами гуглить как что-то сделать, буквально дал задачу, ушел пить кофе, вернулся - задача готова. Да, пока это работает не с первого раза, но полгода назад не было и такого.

Минусы тоже есть, сам с таким подходом ничему не научишься.

Для агентов важна производительность. Получилось достичь +75% к скорости процессинга промпта и +10% к скорости генерации на llama.cpp по сравнению с LMStudio.

Использование AI-агентов вызывает привыкание. Вчера блок питания в моем компе приказал долго жить и пришлось заменить на менее мощный и снять видеокарты, так что я второй день страдаю без возможности приказать агенту сделать еще какую-нибудь фигню.

Openrouter на бесплатном плане - ни о чем, 10 запросов заканчиваются моментально.

Наткнулся на мысль, что AGI это не про какой-то сверхразумную модель, это про проникновение AI во все сферы жизни, широкий уровень распространения в быту, как сейчас с интернетом. Тогда аббревиатуру можно расшифровать как Assisted General Intelligence.

Попробовал еще LLM Wiki - пока не ощутил выгоды. Вроде LLM и смотрит по записям, но порой из-за них же и галлюцинирует.

Какие новости у вас? Как идет адаптация в этом дивном новом мире?

Вышло второе издание кабана. Помню первое издание пару лет назад я читал взахлёб. Правда на русском. В новой версии обещают актуализированную информацию по архитектуре современных систем с учётом последних трендов с упором на облака и AI.
Что ж, посмотрим.
У кого есть желание почитать, пообсуждать?

It's alive
Наконец-то дособрал свой AI-сервер — и он реально работает.

Как водится, всё пошло не по плану. Купленная изначально майнинговая материнка так и не запустилась ни с MI50, ни с RTX 3070. Пришлось срочно брать замену — в итоге остановился на MACHINIST X99 MR9S.

Неожиданно удачный вариант: спокойно завелась с 4× MI50 и 256 ГБ RAM. Одна из самых дешёвых X99-плат с 8 слотами под память. Минус — однопроцессорная, второй Xeon пока лежит без дела, но по скорости одного хватает.

По GPU:
- 3 карты в слотах
- 1 через PCI-E x1 райзер

Итого: X16–X16–X4–X1. Не идеально, но для старта нормально. Позже попробую сравнить влияние на инференс.

Пришлось заменить и корпус — и это скорее плюс. Майнинговые корпуса выглядят так себе, а нормальный ATX сильно упрощает жизнь при сборке с несколькими GPU. Взял Deepcool CH780.

По температурам всё ок: максимум, что видел — 70 °C на карте, зажатой между соседними, при неполных оборотах вентиляторов.
Ещё перепечатал кожухи охлаждения и заменил вентиляторы, чтобы MI50 гарантированно укладывались в два слота.

Результат: GPT-OSS-120B, Qwen-3-Coder-Next (80B) работают без проблем, скорость 20–30 токенов/с — комфортно для чата. Для агентов маловато, но сам факт запуска таких моделей дома уже радует.

Софт:
- Ubuntu 24.04
- пока LM Studio + Vulkan
- ROCm завёлся только версии 6.4.4, но LM Studio держит whitelist по GPU
В планах пробовать завести ROCm с llama.cpp или vLLM.

У MI50, кстати, есть живое комьюнити, которое продолжает допиливать софт. Несмотря на возраст, железо всё ещё вполне боевое.

А вы как проводите выходные?

Сегодня будет небольшая детективная история

Есть такой способ бэкапа Github - импорт организации в self-hosted Gitlab и сохранение данных где-то у себя. У меня на сервере этот процесс начал неожиданно сбоить. Попробовал воспроизвести локально, а тут импорт вообще не запускался, запрос падал с тайм-аутом:

==> /var/log/gitlab/gitlab-rails/production.log <== Rack::Timeout::RequestTimeoutException (Request ran for longer than 60000ms ):

Посмотрел интернет по этой ошибке, ничего похожего не нашел. Поискал как увеличить тайм-ауты Rack и Puma - изменения настроек не помогли, тайм-аут оставался.

Попробовал разные версии Gitlab, изначально была использовалась 16, на 17 и 18 без изменений.

Включил debug логи, новых данных не добавилось.

Параллельно с этим общался с ChatGPT и в какой-то момент он предложил проверить сеть в контейнере. DNS и подключение по 443 порту к api.github.com через netcat работал нормально

root@4aed0d800013:/var/log/gitlab# netcat -zv api.github.com 443
Warning: inverse host lookup failed for 4.208.26.200:
Unknown host api.github.com [4.208.26.200] 443 (?) open

а вот curl в контейнере тоже падал по тайм-ауту:

root@4aed0d800013:/var/log/gitlab# curl --connect-timeout 5 https://api.github.com
curl: (28) Connection timed out after 5001 milliseconds

Никаких прокси не использовалось, но был включен VPN. И с такими симптомами вывод один - проблемы с MTU. ChatGPT предложил несколько решений:
* В настройках Dockerd:

# cat /etc/docker/daemon.json|
{
    "mtu": 1380
}

* Через iptables:

  # iptables -t mangle -A POSTROUTING \
  -p tcp --tcp-flags SYN,RST SYN \
  -j TCPMSS --clamp-mss-to-pmtu
  

- Использовать прокси:

$ docker run \
  -e HTTPS_PROXY=http://host.docker.internal:3128 \
  -e HTTP_PROXY=http://host.docker.internal:3128 \
  gitlab/gitlab-ce

Остановился на первом, подключение к api.github.com заработало.

Не первый раз сталкиваюсь с проблемами MTU и каждый раз не сразу понятно куда копать.

Вывод такой: если у вас проблемы c подключением, но при этом DNS работает и подключение по порту через netcat проходит, a http - нет - проверяйте MTU.

Итоги 2025

Поддержу традицию подведения итогов года. Не хотелось подробно расписывать каким был этот год, поэтому решил выделить несколько номинаций и рассказать о своих впечатлениях.

Книга года

Влад Хононов - Изучаем DDD - предметно-ориентированное проектирование
Первое мое знакомство с DDD. Небольшая книга, поначалу немного сумбурная, кажется, что главы совсем не связаны, но в итоге все складывается в общую картину. Однозначно рекомендую всем кто связан с разработкой.

Блюдо года

Aнна Павлова в ресторане Гроза
Павлова - достаточно простое в исполнении блюдо: меренга, масляный крем, ягоды или фрукты. Но, заказывая его в этом месте, ты точно не представляешь, что тебя ожидает целое представление с жидким азотом.

Десерт года

Мороженое с икрой морского ежа
Самое необычное сочетание, которое я пробовал. И на удивление вкусно. Рекомендую.

Приключение года

Фестиваль воздухоплавания Небо Костромы
Не люблю летать на самолетах и к воздушным шарам относился очень скептически, но тут все сложилось. Несмотря на долгое ожидание и неопределенность из-за погоды, нам все-таки удалось подняться в небо и осмотреть Кострому с высоты птичьего полета.

Гаджет года

BOSE QuietComfort Ultra
Мне очень сложно сосредоточиться когда вокруг шумно. А когда работаешь из дома, и вокруг тебя бегает первоклашка, тихо не бывает. Не первые мои наушники с активным шумоподавлением (по факту четвертые), но только в них оно реально ощущается. AirPods Pro, Realme Buds 7 Pro не идут с ними ни в какое сравнение.

Приложение года

Obsidian
То ли я стар стал, то ли количество новой информации вокруг увеличилось настолько, что перестало влезать в голову. Я начал вести заметки в Obsidian и это позволило структурировать мысли и разгрузить голову.

Разочарование года

Creality K1 SE
Это мой второй 3D-принтер. Брал его для более быстрой и качественной печати, но не сложилось. Со скоростью проблем действительно нет, рябь я так и не смог победить. Рецепты с блогов и форумов результата не дали, надо дальше разбираться. Предыдущий Artillery Genius печатал хоть и медленнее, но лучше по качеству.

Вы задавались вопросом, что в разработке вам нравится больше: процесс или результат, писать код или сдавать фичи. Или их нельзя отделить друг от друга? Решение не существует без задачи, как и фича без кода. С появлением LLM что-то сломалось в процессе разработки.
Код, написанный Claude, будь хоть полностью правильным, обложенный тестами (тоже написанными Claude) не приносит столько удовольствия, как твой кривой, косой, выстраданный кусочек кода, любовно продуманный и как-то протестированный. Это утраченное чувство восторга, когда осознаешь, что вот оно - заработало!.
Теперь за тебя код пишет машина, а ты ей в сотый раз говоришь - тут нужно немного поправить, а тут ты поняла меня неправильно, на самом деле я хотел другое.
Код написанный LLM, пусть и по твоему промпту, воспринимается чужим, ты не испытываешь к нему чувств, привязанности. Ты не потратил на него силы и он для тебя ничего не стоит. В любой момент можно попросить LLM его переписать и это также не будет стоить никаких усилий.
Мне не очень нравится смотреть код от LLM, часто он избыточен, переусложнен и кишит ненужными проверками. "Написано не мной". Может людям, которые получают удовольствие от code review с этим проще? - у них прямо бесконечная возможность читать и проверять код.
Вроде бы вывод напрашивается сам собой: не пользуйся LLM или хотя бы не пользуйся ими постоянно. Тот же DHH говорил об этом в подкасте у Лекса Фридмана. Он любит писать код и хочет этим дальше заниматься.
Но тут есть одно но: бизнес требует отдачи - вам дали инструмент, где результат? Интернет полон success-story о написанном LLM продукте, который уже приносит сотни тысяч долларов. И конечно, OpenAI, Anthropic и прочие уверяют, что с их моделями разработка будет в 100 раз эффективнее.
Что движет людьми, выпускающими такие продукты? Явно не любовь к процессу написания кода. Они хотят сделать продукт, получить деньги, решить свою проблему и LLM для них просто инструмент, позволяющий достичь результата. Получают ли они от этого удовольствие? Хочется верить, что да.
Что остается тем кто любит писать код сам? Писать пет-проекты самостоятельно, без LLM. В промышленной разработке прогресс не стоит на месте, LLM никуда не денутся, как не делись IDE, языки ВУ, no-code решения и другие средства, облегчающие жизнь. Второй вариант - поменять свое отношение, переориентироваться на результат. Развиваться больше в продуктовую сторону. Эту тему также поднимали на недавней конфе ПСБ.
Что думаете вы? Вам нравится писать код с LLM?

Заключение

Поработав некоторое время в VR я сделал вывод, что пока рано. Хотя быть в Apple Vision Pro и решили проблемы с экранами, но вес стал больше и баланс гарнитуры хуже. Да и деньги это уже совсем другие. Новые версии Xreal больше не требуют приложения для создания виртуального монитора, но все равно смущает угол обзора. Хотелось бы устройство, сочетающее в себе плюсы обоих типов. В итоге поигравшись с Xreal очки я продал. Pico 4 пока еще лежит, раз в пару месяцев играю в нем во что-нибудь с ПК. Для ноутбука я остановился на портативном мониторе, а как только появилась возможность собрал себе рабочее место с 34-дюймовым монитором.

Как я пытался работать в виртуальной реальности

Вступление

Несколько лет назад я столкнулся с серьезной проблемой дома - у меня пропало рабочее место. Мы жили с семьей в однушке, ребенок уже подрастал и ему требовалась отдельная большая кровать, а другого подходящего место, где бы я мог расположиться в квартире не нашлось. Пришлось избавиться от стола, ПК и главное большого монитора и переехать на ноутбук. Впрочем я не унывал - была возможность работать из офиса, где можно было достать даже два монитора, а в случае чего поработать и с экрана ноутбука. И все было хорошо до февраля 2020. Офис закрылся, и я стал думать как бы поудобней обустроить свой быт разработчика в стесненных обстоятельствах двух рабочих мест на одной кухне.
Первое, что я попробовал были портативные мониторы, о них я расскажу как нибудь в другой раз. Уже после я наткнулся на возможность использования VR-гарнитур в качестве монитора(-ов). Познакомиться с виртуальной реальностью мне хотелось еще с детства. Фильмы вроде Газонокосильщика или Джонни Мнемоника на момент выхода поражали своим видением будущего и предоставляемыми возможностями, а доступные цены на такого рода устройства так и манили. И я решил попробовать приобщиться к прогрессу. На тот момент, да и сейчас в общем-то, в продаже есть два типа устройств - игровые VR-гарнитуры(есть и не игровые, но те дороже и сложнее купить) и AR-очки.

Pico 4 + Immersed

Среди VR гарнитур по сочетанию цена-качество была выбрана Pico 4. Удобный формат, баланс, неплохое качество изображения и железо, нет заморочек с активацией в отличие от Quest 3.
В качестве эмулятора нескольких мониторов - Immersed. Такая связка в сочетании с Macbook Air показала себя достаточно хорошо. В бесплатной версии Immersed сразу доступно три монитора, еще два можно получить работая в программе 5 дней подряд. И это киллер фича для обладателей Macbook Air на M1, ведь он умеет работать только с двумя физическими экранами - своим и одним дополнительным. Доступно несколько цифровых окружений, мое любимое - шале в дождь. Можно настроить порталы - дырки, где через встроенные камеры будет показываться реальный мир (для клавиатуры и мыши это просто необходимо).
Камеры в VR шлеме так себе и разглядеть что-то в них на телефоне невозможно, но тут Immersed позволяет стримить экран телефона прямо в VR и работать с ним также, как экраном ноутбука. Минусов у такого сетапа тоже хватает. Первое - в гарнитуре жарко, снятие маски в помогает, но тогда теряется окружение. Второе это пикселизация, для игр это не так критично, как для работы с текстом, поэтому при проектировании никто на это не расчитывал. Третье - питание, в режиме стриминга шлем держит заряд полтора - два часа, а значит на рабочий день его нужно подключать к питанию по проводу. И четвертое это стабильность соединения - раз в полчаса - час связь отваливалась, изображение зависало и приходилось в него перезаходить на гарнитуре, а грузится оно вполне ощутимое время.

Xreal Air 2 Pro

Решить большинство этих проблемы представлялось возможным с использованием AR-очков. В целом так и получилось - меньше вес, нет проблем с вентиляцией, нет приложения на очках, больше плотность пикселей. Но огромным минусом Xreal оказалось приложение для мака Nebula. Принцип его работы - такой же как у Immersed - создается виртуальный рабочий стол и при повороте головы ты видишь нужную ему часть. Но главная проблема с которой я столкнулся - сломанный жест обзора открытых приложений, вместо них показывалась часть растянутого виртуального монитора. Можно, конечно, было пользоваться Xreal просто как экраном - но это вообще неудобно, разрешение меньше, чем у экрана ноутбука, нет стабилизации - картинка дергается вместе с головой.

позволяют создавать единый продукт. Теперь хочется послушать про что-то софтовое про организацию межкомандного и межпродуктового взаимодействия. У нас с этим скажем так есть к чему стремиться.

Команде Сбера спасибо за организацию и доклады и успехов.

Конец года - время неожиданных IT конференций. На прошлой неделе прошла Тренды в ИТ взгляд в будущее, а на этой IT Talk by Sber 3.0, на этот раз в Вологде. Сбер не так часто проводит подобного рода мероприятия у нас в городе и это первый раз когда мне удалось туда попасть. Интересно насколько разные были темы на этих конференциях. Если у ПСБ говорили о новых технологиях: LLM, RAG, агенты и их потенциальное применение, то тут исключительно практические вещи - миграция с импортного ПО на открытое и его доработка внутри компании. Раньше в Сбере в основном использовался Oracle и была хорошая экспертиза по нему, но теперь старые решения недоступны и приходится адаптировать open source под свои нужды. Так у Сбера теперь есть свой Postgres, Kafka, Kubernetes, Ignite, Linux и много чего еще.

Еще это выглядело как местный филиал конференции Highload++, что не доклад - дикие тысячи транзакций в секунду, три контура резервирования и гонка за миллисекундами ответа. И глядя на свою работу после этого становится грустно, все кажется каким-то мелким и незначительным, а докладчики представляются сверх людьми, постигшими тайны мироздания.

Докладов было всего четыре, но это максимум, что можно уместить в будний день после работы.

1. One Nio vs кастомная Java-сериализация - Чернов Андрей

Далекая от меня тема, я не специалист по Java и особенностям сериализации в ней. Докладчик рассказывал о доработке библиотеки под новые версии Jdk, возникшие проблемы и различные варианты их решения, а также сравнения их производительности. Это был наиболее технически сложный доклад на этой конференции и он занял первое место по оценке зрителей, что лично для меня было удивительно(в течение всего доклада меня жутко клонило в сон)

2. Процессинг Сбербанка: Путь к независимости и надежности - Караваев Иван

Со второго доклада начались истории про переезд с Oracle, Golden gate (средство синхронизации) и проприетарного процессингового софта, плюс серверов от вендора на собственные разработки на основе open source (Ignite + Kafka). По итогу удалось убрать ограничения предыдущего решения по rps и количеству карт, на выходе получили масштабируемое решение, добавили еще ЦОД-ов и контуров для повышения надежности, что опять же раньше было невозможно

3. Монолит в разрезе: еще одно решение старой как мир задачи - Кожемякин Александр

Рассказ о разделении монолита на несколько сервисов сервисы и про возникшие проблемы. Вроде и делали все по уму, но все равно наступили на грабли с общей базой для нескольких сервисов, и дублированием записей при синхронизации. По этой теме есть хорошая книжка От монолита к микросервисам, там как раз описываются возможные проблемы и способы их решения.

4. Как переписать все, не привлекая внимание - Василенко Владимир

Самый интересный на мой взгляд доклад. Правда название звучит обманчиво, сначала думаешь, что речь идет про санитаров, а по факту оказывается что пользователей. Очередная история про переход с Oracle (на этот раз плюс Kotlin) на Postgres (удивительно что никто не вспоминает про MariaDb) и Go (вдвойне удивительно, учитывая предыдущие доклады). По словам спикера Postgres почти во всем хуже Oracle, требует дополнительной тонкой настройки и сторонних средств мониторинга, причем каждая компания пишет для этого свой велосипед. Для себя я выписал pg_profile, обязательно надо посмотреть. Интересная проблема с prepare statement и generic plan, напомнила, что документацию надо читать, и желательно в нее вникать (кто бы дал на это время?). Go показал себя с лучшей стороны, как в плане простоты освоения, так и в плане производительности (аналогичный прототип на Java проиграл по итогам нагрузочного тестирования). Это убедило руководство утвердить выбор в пользу Go, несмотря на первоначальный скепсис.

Послушав истории разных команд, я до сих пор удивляюсь, как настолько разные озвученные подходы

Конец 2025 года странное время для сборки PC (а тем более сервера). Всего за три месяца цены на память выросли на порядок, на SSD - в два раза. К счастью память я покупал в конце лета и по вполне вменяемой, как сейчас кажется цене (по текущей цене я бы вряд ли что-то себе бы собрал) - 256GB DDR4 ECC. Тут критерий простой - платформой поддерживается, цена устраивает, надо брать.

5. Корпус

Сначала думал собрать это все на каркасе для майнинга, но сначала промахнулся с размером (взял на 11 видеокарт), а потом понял, что хочется чего-то более компактного. Со второй попытки получилось найти подходящий корпус опять же от майнинг рига, куда влезает вся система в сборе. К сожалению крепления комплектной материнки от рига и моей не совпадают и эту проблему мне еще предстоит решить.

6. Первый запуск

Чтобы хоть как-то протестить железо запускал его собранным на каркасном риге с одной видеокартой Mi50. И тут меня ждало разочарование - ни один дистрибутив линукса, что я пробовал, не загружался - показывал черный экран, что в графическом режиме, что в текстовом. При этом BIOS и memtest работали без проблем. Видел сообщения, что проблема в Mi50, они не предназначены для вывода изображения( а как их собирают с mini diplay port - вообще загадка), поэтому приобрел еще RTX3070 для подключения монитора.

7. Что имеем

В общем-то все для сборки приобретено и теперь ждет, пока у меня появится время. Очень надеюсь, что получится все собрать и установить систему хотя бы на новогодних праздниках. Дальше уже будем смотреть по результату.

Свой AI сервер

1. Начало

Желание поиграться с локальными нейросетями возникло у меня год назад вместе с организацией рабочего место и сборкой PC. С этой целью (ну и еще изредка поиграть) была куплена RTX3080 на 10GB. Она позволяла довольно комфортно запускать доступные на тот момент 7B модели вроде llama-2, vicuna и что-то еще. Быстро наигравшись с ними я понял, что хочется большего и следующей покупкой стала P102-100 10 GB – майнинговый обрезок то ли GTX1080TI, то ли еще чего-то, с целью проверки работы 2-GPU. На удивление особых проблем не возникло и в такую конфигурации помещались уже 14B модели. Так, постепенно меняя GPU, я остановился на 2xRTX3090 24 GB в рабочем PC. Эта конфигурация позволяет запускать модели до 70b с небольшим контекстом, и вполне уверенно работать Qwen3-Coder 30B в агентном режиме. Но и этого кажется мало, ведь есть есть куда более интересные модели вроде GLM 4.5 Air, GPT-OSS-120B и Qwen3-Next 80B, которые никак не влезут в 48GB. К сожалению мой корпус (да и мало какой) не вмещает больше двух RTX3090, да PC лишний раз трогать не хочется, т.к. сейчас это мой главный рабочий инструмент. Поэтому в конце лета я решил собрать себе отдельный сервер под AI, тем более на WB подвернулось интересное предложение по видеокартам.

2. Видеокарты

Основа AI сервера - видеокарты, чем они мощнее и чем больше у них памяти - тем больше возможностей, но и выше цена и энергопотребление. Мне не хотелось вкладывать много - уже был довольно неплохой PC с двумя RTX3090 и однажды, увидев на WB AMD Radeon Mi50 Instinct по небольшой цене и почитав про эти ускорители я решился их приобрести. Получалось, что за цену одной RTX3090 четыре Mi50 давали в 5 раз больше памяти с половинной производительностью по GPU. Конечно 5 RTX3090 выглядят гораздо интереснее, но тратить столько денег я не был готов (RTX3090 сейчас чуть ли не лучший выбор по соотношению цена/производительность). Варианты с Tesla M и K серии отмел из-за недостаточной производительности, P100 была примерно в ту же цену, но 16GB, а V100 по привлекательной цене появилась только сейчас (правда тоже только на 16GB еще и с китайским адаптером SXM2 - PCI-E, версия на 32GB все еще в два раза дороже Mi50)

3. Охлаждение видеокарт

Проблема этими видеокартами еще в том, что они рассчитаны на продув вентиляторами в серверном корпусе, а желания ставить их в жилое помещение у меня никакого нет. К счастью из-за небольшой цены у этих видеокарт быстро набралось сообщество фанатов в [дискорде](https://discord.gg/svMRdGFs), которые разработали несколько вариантов охлаждения с приемлемым уровнем шума. Несколько часов печати на 3D принтере и месяц ожидания, и вот турбинное охлаждение для видеокарт выглядит почти как заводское.

3. Платформа

Кроме видеокарт нужны еще прочие компоненты - материнская плата, процессор(ы) и оперативная память. Обычные материнские платы не позволяют так просто подключить четыре видеокарты, обычно не хватает слотов PCI-Ex16 и их расположение. В моем текущем десктопе стоит одна из немногих материнских плат, имеющих расстояние в 4 слота между разъемами PCI-Ex16, но при этом второй разъем фактически только x1. Плюс обычные процессоры имеют ограниченное число линий PCI-E, например для AMD Ryzen 5 9600x который, стоит у меня в PC доступно только 24 линии. Мне же для четырех видеокарт в идеале иметь 64 линии (в теории количество линий влияет лишь на скорость загрузки моделей, но лучше больше, чем меньше). Такую возможность предоставляют серверные платформы на XEON и EPYC, а также HEDT вроде Threadreaper. Проблемы с ними в том, что серверы сильно шумят и никак не рассчитаны на работу в жилом помешении, а HEDT решения обычно представляют из себя обычные ATX или EATX платы с теми же проблемами с подключением нескольких GPU. Тут могли бы помочь райзеры, но это увеличивает размер корпуса и усложняет сборку. В результате поисков на Aliexpress была найдена двухпроцессорная материнская плата на платформе 2011-3 и два процессора Xeon E5-2687WV3, каждый из них дает по 40 линий PCI-E, чего вполне должно хватить.

4. Память

Посчастливилось вчера побывать на конференции ПСБ Тренды в ИТ: взгляд в будущее. Вообще на конференции я попадаю крайне редко, не дешевое это удовольствие сейчас. Тут же участие бесплатное, отличная организация, интересные темы, атмосфера, мерч и даже вкусная еда.

Немного про доклады:

1. «Будущее управления требованиями: GitOps-подход как основа прозрачных и безопасных изменений». Лев Немировский, руководитель проектов ПСБ - концепция превращения репозитория в единственный испочник правды о системе. Заведение задачи аналитиком, разработка контрактов, генерация по ним тестов и клиентов, автоматическая проверка соблюдения конкрактов в CI/CD или precommit hook, периодическая проверка соблюдения контрактов на продакшне. Shift left во всей красе. Как раз недавно задумывался об удобной системе документации, хранящейся рядом с кодом. Особенно актуально это становится при использовании Spec-kit или Openspec для написания кода агентами. Выписал себе тулзы чтобы посмотреть: AsyncAPI, Schemathesis, Docusaurus, GitBook.

2. «Прежний Agile мёртв. Новая реальность — спринты в один день. Да здравствует промт!». Андрей Шумаков, скрам-мастер ПСБ - Докладчик очень воодушевлен текущими возможностями агентов. В его будущем команда будет давать задания агентам на ночь, а утром проверять результат, выяснять требования у бизнеса, формировать новые задачи и так каждый день. Этакие переводчики - верификаторы. Главные компетенции для будущих разработчиков - понимание бизнес целей, промпт инжениринг, код ревью. Пока по опыту в это слабо верится. Какой-то простой код LLM генерируют в лет, даже локальные вроде Qwen3-coder. Но часто встречаются задачи где агент ходит по кругу без какого-либо результата, или выдает неверно работающий код. Еще вызывает сомнение возможность агентов параллельно работать над несколькими задачами, затрагивающими один и тот же код, как это сейчас частенько бывает у нас в команде. Пока не слышал, чтобы кто-то из крупных игроков двигался в эту сторону, да и в целом не было опыта использования автономных агентов. Интересно будет посмотреть как это будет развиваться. Еще одна мысль вызывает беспокойство в этом дивном новом мире: стоимость и время реализации фич при таком подходе снижается чуть ли не до нуля, и в чем тогда компании будут отличаться от конкурентов? Взять идею из похожего продукта и адаптировать ее в свой - дело не месяцев работы команды, а буквально дней. Когда OpenAI представила Canvas, а также появились Lovable, Replit , Google AI Studio ниша разработки небольших сайтов и приложений уменьшается. Некоторые люди считают, что в конечном итоге LLM смогут генерировать приложения на-лету, а может и сами заменять их, как тот-же Gemini 3 генерирует инфографику. Интересное будущее нас ждет.

3. Воркшоп «Цена невышедшей задачи». Алексей Колесников, Екатерина Агеева, скрам-мастеры ПСБ - Обучающая игра на удачу(выигрыш определяет кубик), помогающая понять из чего складывается стоимость задачи для бизнеса. За 5 спринтов нужно было выполнить задачу, которая при успешном раскладе вписывается два, но вмешиваются негативные факторы и разные события на рынке, не дают приступить к выполнению задачи, снижают выгоду от реализации и т.д. Игра скорее для менеджеров, но и разработчикам будет полезна, чтобы вглянуть на процесс с другой стороны, и не считать, что стоимость задачи - это их рабочее время. Ребята молодцы, было весело, хоть и очевидно для тех кто давно в разработке. Нашей команде не повезло, мы так и не приступили к выполнению задачи.

4. Доклад «Когда RAG на горе свистнет. Оцениваем качество генерации с дополненной выборкой». Михаил Костецкий, управляющий эксперт (QA) ПСБ - хронологически это был первый доклад, но тут мне нечего особо сказать, супер специфичная тема для тех, кто этим интересуется.

Хочется верить, что эта конференция не последняя в таком формате в свете переезда ПСБ в Ярославль. Желаю команде ПСБ успехов в этом начинании.