День экспериментов

Сегодня у меня был план - довести до ума мой кластер из мак мини и запустить на них модель (выбрал себе Qwen3 30B A3B 4bit) - если расшифровать, то модель на 30В параметров, которая MoE - mixture of experts, каждый размером 3В, квантованная на 4 бита. На самом деле, там 3 модели разные с этими характеристиками, но не суть.

Дожал установку пакета EXO на третьем компьютере - этот пакет позволяет строить кластер из нескольких машин. Проблема, почему не ставилось все нормально с самого начала - включенный VPN, пара часов ушла на то, чтобы в этом разобраться. Ну ок, все встало, машинки связались, показали общую вычислительную мощь больше, чем у М4 Мах. Не удивительно. Кстати, увидел в Х приглашение в ЕХО на работу в Лондон - 300К в год + акции. Нормально..

Дальше выбрал модель и попытался ее установить. И вот тут меня ждал большой облом - оказалось, что в EXO есть ограниченный набор моделей, которые поддерживаются пакетом. И все они не так, чтобы новые. Ну, скажем, Qwen 2.5, Gemini 2... Прямо скажу, смысла их ставить большого не вижу.

Других пакетов, объединяющих маки в кластеры, как я понимаю, нет. В общем, приплыли. Не делайте как я. Купите сразу одну машинку помощнее.

Посмотрел попутно другие варианты - установить на мак Linux и пр. Пока сыро, смысла нет.

Ну, делать нечего, ставлю модельку на отдельно взятый мак мини. Тоже интересная задачка. Выбрал ERNIE-4.5-21B-A3B-Thinking в 2-х битном квантовании. Казалось бы, должен быть трэш, ан нет - это умное динамическое квантование от Unsloth, где разные веса, в зависимости, от значимости, квантуются с разной потерей точности. Как оказалось, модели MoE в целом лучше работают с динамическим квантованием - эксперты, которые используются чаще, квантуются слабее. Посмотрим, что получится.

Теперь думаю, что делать с моим кластером - если вам вдруг нужен новенький мак мини (покупал по 45 тыс. руб.), отдам в хорошие руки, пишите в личку. Могу и что-нибудь интересное сразу на него поставить ))