С выходом открытой модели от OpenAI, думаю, многие задумались - а можно ли ее запустить дома, и сколько это стоит. Вариант очевидный - Mac studio. В силу организации памяти, на нем такие модели работают во многих случаях быстрее, чем на видеокартах, а про объем памяти я и не говорю (основное ограничение здесь - память). Проблема здесь в том, что с ростом памяти стоимость компьютера растет в разы. Если базовая версия с 36Гб стоит около 200 т.р., то с 64Гб - уже более 300. В принципе, самый дешевый способ набрать памяти - купить себе стопку минимальных Mac mini c 16Гб каждый, по 45 тыс. руб. И, самое главное, в этом кластере модель работать будет - надо использовать пакет Exo Labs. Проблема в том, что из-за сетевых задержек модель будет работать сильно медленнее при одиночном запросе, так как токен проходит через все машины, используемые в системе. А вот при множественных работа будет распараллеливаться, и общее количество токенов в секунду будет больше. Так что, если к модели запросов много, стойка мини не только дешевле, но и быстрее. Вопрос в том, что скорость по отдельному запросу в 10-12 токенов слишком низка. Подожду, когда появятся видосики и комментарии от умельцев, которые погоняли все на практике. Уже близко к тому, чтобы разворачивать сетку дома, но цена в 300 тыс. руб. (и то пока не уверен, что машина потянет) колется. И да, это все на основе анализа от Клода, надо проверять