Да, среди доступных нет топовых американских моделей, что логично, Unsloth работает только с LLM с открытыми весами — но выбор неплохой и есть что попробовать. Cамое главное: Unsloth радикально снижает входной порог для начала использования локальных LLM. Не нужно понимать, что такое Docker, не надо знать, как настроить Sandbox и всякое прочее. Unsloth сам скачает что надо (придется подождать) и настроит.👍 Достаточно уметь скачать-установить приложение и уметь найти в списке моделей рекомендуемый вариант — исходя из вашего оборудования, Unsloth сам проверит ваше железо.
Какую модель выбрать? Не знаю, пробуйте — они по-разному показывают себя на разных задачах. Единственное, на что обращу ваше внимание, так это на необходимые ресурсы. Да, при нехватке VRAM LLM могут выгружать часть данных в системную память, но производительность при этом падает драматически. Так что если на своих 6GB VRAM я могу довольно комфортабельно пользоваться всякими квантованными моделями, занимающими до 5,5GB, то уже 10GB FLUX работает чисто в демонстрационном режиме, генерация небольшой картинки может занимать десятки минут.🤷🏻
👉 UPD: повозился с моделями, FLUX.2-klein-9B картинку 1024*1024 генерирует быстро. В VRAM жуется кусок в 3-4 GB, а еще 30 GB в основной памяти. С 64 GB DDR4 нормально выходит.
Можно ли использовать видеоадаптеры AMD? Можно, насколько я вижу, через ROCm или Vulcan на Radeon RX 6000/7000/9000, Instinct MI300/MI350 (вдруг скучающие миллионеры читают), Ryzen AI Max (Strix Halo). Экспериментально я этого еще не проверил. Нет под рукой системы с подходящим видеоадаптером AMD. Если появится или вы у себя попробуете и пришлете результаты — напишу UPDATE.
Можно ли работать на системах без дискретного видеоадаптера со своей памятью вообще? Можно. Но на более-менее серьезных задачах это будет мучительно медленно, даже если у вас двухканальная DDR5. На таких компьютерах имеет смысл использовать только минимальные квантованные модели с пониманием их ограниченности. Даже если вычислительная способность iGPU формально высокая, низкая пропускная способность памяти испортит всё дело.
Кроме того, Unsloth работает и на технике Apple Silicon, со всеми вытекающими из этого следствиями: на Мас Studio с M5 Ultra и 128...512 GB LPDDR5x все будет неплохо, на остальных пропорционально*.😁
Очень важно, что Unsloth, как я уже говорил, позволяет проводить дообучение моделей на своих датасетах. Но тут, конечно, на оборудовании экономить смысла нет, иначе датасет устареет до того, как вы завершите дообучение.🤷🏻
Приложение позволяет использовать агентов, связываясь с вашими аккаунтами на больших облачных сервисах и многое еще, далеко выходящее за формат поста в telegram.
Что мне еще понравилось? Безопасность. Локальный «искусственный интеллект», запертый в песочнице, никуда не сольет по своей небрежности ваши данные. Ради этого я готов подождать лишние 10 минут. То же приложение Unsloth регулирует и общение моделей с внешним миром, от режима полного доступа к компьютеру (не советую) до запроса подтверждения для каждого внешнего обращения, может служить сервисом для подключения через https и по локальной сети (скажем, семейный искусственный интеллект на довольно шумном** сервере в подвале или гараже).
#теория и где-то даже #полезныесоветы 😉
* - Конфигурации с 8GB RAM для серьезной работы не годятся. Только самые-самые минимальные модели со своими ограничениями.
** - если вы хотите чего-то по-настоящему серьезного, то смотрите в сторону 40x0 с 16GB GDDR6X и более (4090/24 — очень хорошо, лучше, чем 50x0/16). Но на _длительной_ полной мощности, что характерно для задач искусственного интеллекта, видеоадаптер разогревается гораздо сильнее, чем в играх с переменной нагрузкой, и шумит соответственно.