Приехали еще 2 машинки - минимальные мак мини м4 с 16гб памяти. Последние два вечера настраивал их (ранее купил за 9 тыс. простейший монитор - без него никак). Теперь колдую над организацией машин в кластер. Новости есть и плохие, и хорошие. Начну с плохих.

Кластер я начинал создавать исходя из того, что базовые машины очень дешевые. Цена одной - 45 тыс., при увеличении памяти до 32 цена вырастает до 100 тыс. при всех тех же самых характеристиках. Мой эпик фейл заключается в том, что я очень сильно недооценил потребление памяти самой операционкой. В обычном режиме она жрет около 12гб (!) памяти. Убрав все, я сократил потребление примерно до 8, экстремальные варианты обрезания функционала дают около 5-6гб - это то, что использовать никак нельзя. Собственно, это причина, почему Apple поднял минималку с 8 до 16гб. Поэтому выигрыш от машины с большой памятью больше, чем может показаться.

Рассмотрел вариант установки Linux на мак - проблемы с памятью решаются (занимает 1-2 гб), но тут пропадает одна важная фишка. На маках есть библиотека MLX, которая сильно оптимизирует работу с нейронками и дает очень большой прирост и по скорости, и по использованию памяти. При использовании линукса все теряется. Сейчас идет разработка Asahi Linux под эти задачки, но как пишут нейронки, продукт еще сырой.

Ну а хорошая новость - купил кабели thunderbolt 5 (тоже недешевое удовольствие), объединил машины в кластер, они видят друг друга и скорость обмена данными по тандерболту максимальная - 37Гбит/сек, что для моих задачек очень важно, так как одна нейронка будет раскатываться на нескольких машинках.

Устанавливаю exo - пакет для распределенной работы с моделями и, пожалуй, еще поколдую с обрезанием потребителей памяти.