immers.cloud | Облако с GPU

🔩 Ваш гайд по освещению в Blender: топовые фишки и инструменты

Наш амбассадор Данил Грызлов написал новую статью на vc.ru:
«Как улучшить освещение в Blender: лучшие лайфхаки и аддоны».

Если вы хотите создавать потрясающие рендеры и анимации, освещение — это ключ к успеху! В статье вы узнаете:
✔️ Как быстро настроить источники света.
✔️ Какие аддоны упрощают работу.
✔️ Почему immers.cloud поможет в рендеринге сложных сцен.

Подробные советы и примеры уже ждут вас в материале!

💡 Смотрите видеоуроки и другие полезные материалы от Дани Грызлова:

📌 YouTube-канал
📌 Telegram-канал

Читайте статью и воплощайте свои идеи в Blender прямо сейчас!

Как правильно выбрать конфигурацию под задачи 🧐

Выбирая конфигурацию, важно учитывать особенности вашего проекта: рендеринг, обучение нейросетей, гейминг, стриминг или задачи с интенсивной нагрузкой на диск. Следующие рекомендации помогут вам сделать оптимальный выбор для каждой задачи!

Учитывайте тип задачи и выбирайте оптимальную конфигурацию с immers.cloud для лучшей производительности и экономии бюджета! 💻

🦾 Как использовать GenAI для анализа базы знаний

Одно из популярных практических применений GenAI - анализ базы знаний с помощью Retrieval Augmented Generation. Разработчики давно заметили, что ответы LLM становятся значительно полезнее, если они опираются на реальные данные, например, пользовательские файлы, документацию и так далее.

База может содержать очень много данных, но их польза зависит от того, как пользователь может их анализировать. Традиционные инструменты - SQL, различные алгоритмы поиска, построение графиков и диаграмм. Но AI оказался более мощным инструментом анализа данных, чем ранее известные разработчикам алгоритмы. На любой запрос в Гугле вы уже можете видеть результаты RAG со ссылками на различные документы в сети, которые LLM Гугла использовала в своем ответе.

Чтобы строить собственные RAG системы, нужно развернуть LLM на сервере достаточной вычислительной мощности. У нас в облаке immers.cloud есть GPU под разные нагрузки и виртуальные образы с программным стеком, необходимым для инференса моделей через интерфейс Pytorch или Tensorflow. Также нужно изучить векторные базы данных и фреймворки для создания RAG-процессов, такие как LangChain.

@ruslandevlive — мысли о современных AI/ML технологиях

🔔 Уведомления о доступности конфигураций GPU 

Хотим поделиться с вами удобным инструментом — Уведомлениях о доступности конфигураций GPU!

Если выбранная вами конфигурация Виртуальной Машины недоступна, вы можете установить уведомление, чтобы всегда быть в курсе её доступности. Благодаря посекундной тарификации, доступность оборудования может изменяться динамично, и вы сможете быстро получить доступ к нужной конфигурации, как только она станет свободной. 

Чтобы настроить уведомление, просто перейдите на страницу GPU по этой ссылке и нажмите на колокольчик (🔔) рядом с нужной конфигурацией. 

Как только оборудование станет доступным, вы получите уведомление на вашу электронную почту.

👩‍💻 Агенты Microsoft Copilot

В то время как разработчики экосистемы Llama делают ставку на кроссплатформенность, Microsoft вкладывается в нативную для Windows AI-платформу - Copilot и ее новую систему агентов.

Помимо агентов, сильными сторонами Microsoft Copilot являются глубокие интеграции с операционной системой Windows. Открытым экосистемам будет трудно конкурировать с Microsoft по части пользовательского опыта, и единственный способ предложить достойную альтернативу - это разрабатывать GenAI приложения под все доступные пользователям платформы, благо у разработчиков теперь есть возможности для этого. Достаточно развернуть необходимый программный стек на GPU immers.cloud и пользоваться преимуществами новых подходов к обучению моделей.

Microsoft тоже побуждает пользователей создавать AI-приложения на своей платформе - теперь можно создавать агентов в Copilot Studio и публиковать прямо в Copilot. Но так как OpenAI модели остаются закрытыми, разработчики экосистемы Llama и подобный открытых моделей сохраняют уникальное преимущество - доступ к низкоуровневым ML алгоритмам, возможность обучения, файнтюнинга, промпт-инжиниринга и квантизации моделей.

@ruslandevlive — мысли о современных AI/ML технологиях

🏡Дайджест IT-новостей

1. Nvidia и MediaTek создают ARM-процессоры для ПК
Nvidia готовится выйти на рынок ARM-устройств для потребителей, работая над новой платформой с MediaTek. Ожидается, что релиз состоится в сентябре 2025 года и будет нацелен на премиум-устройства с Windows. Эта новинка обещает конкурировать с традиционными x86-решениями от Intel и AMD, а также предложит высокую производительность для игр и ресурсоемких задач.

2. AI-генерация в играх: Etched представили Oasis
Стартап Etched совместно с Decart выпустил демо-версию первой в мире игры, полностью созданной искусственным интеллектом. Игра Oasis работает на основе графических процессоров Nvidia H100 и напоминает Minecraft: генерация и визуализация игрового мира происходят в реальном времени под управлением ИИ. Проект привлек внимание благодаря открытию кода и использованию собственного чипа Sohu, который планируется для будущих версий.

3. Бигтех инвестирует $200 млрд в ИИ
Amazon, Microsoft, Meta* и Alphabet продолжают масштабные вложения в искусственный интеллект. В 2024 году их расходы на ИИ превысят $200 млрд, включая строительство дата-центров и закупку процессоров для ИИ. Несмотря на недовольство инвесторов темпами возврата вложений, компании уверены в долгосрочной пользе, считая ИИ важным элементом будущего роста.

⚡️ Как Llama 3.2 заработала на мобильных устройствах: квантизация и новые горизонты

Теперь даже мобильные устройства могут работать с последней версией Llama 3.2 благодаря новым подходам к квантизации. В статье наш амбассадор immers.cloud Ruslan Dev рассказывает, как технологии QLoRA и SpinQuant сделали возможным запуск языковых моделей на iOS и Android, сохранив их потенциал и экономя ресурсы. Вы узнаете об особенностях ExecuTorch и Llama Stack, которые обеспечивают высокую скорость инференса и кроссплатформенность.

📌 Хабр
📌 vc.ru

🚀 Портировать Llama 3.2 на Android и iOS - легко

AI разработчики могут сконвертировать веса моделей llama 3.2 1B и 3B в формат, поддерживаемый мобильными устройствами. Для этого есть официальная открытая реализация нового метода post-training квантизации SpinQuant, который оптимизирует названные модели для работы на мобильных платформах. Оптимизация заключается в сокращении потребляемой памяти и повышении скорости инференса.

Этот метод проще, чем QLoRA, потому что вам не нужно файнтюнить модель. Достаточно взять готовые несжатые веса, выполнить подготовительный шаг - ротацию матриц весов и активации, для чего есть готовый скрипт в названном репозитории. Для этого понадобится видеокарта - можно выбрать любую на immers.cloud, RTX 3090 более чем достаточно, так как речь идет о легковесных 1B и 3B моделях.

После ротации можно выполнить обычную post-training квантизацию - для этого тоже есть готовый скрипт - и экспортировать модель для запуска на мобильном устройстве. Но как именно запустить Llama, скажем, на Android? Для этого служит ExecuTorch, фреймворк для создания Pytorch-программ под мобильные процессоры. И да, репозиторий SpinQuant предоставляет скрипты для экспорта весов в совместимый с ExecuTorch формат.

@ruslandevlive - мысли о современных AI/ML технологиях

Мы информируем вас о изменении условий аренды предоплаченных тарифов на GPU Nvidia A100 и H100.
Обратите внимание на новые тарифы и скидки на аренду:

Актуальные тарифы:

• При предоплате за 30 дней — скидка 10%
• При предоплате за 60 дней — скидка 15%
• Новый тариф: 180 дней — скидка 20%

Важно отметить, что пользователи, которые уже арендовали виртуальные машины, могут продлить аренду по старым тарифам (скидкам), установленным на момент запуска ВМ.
Это позволит вам сохранить более выгодные условия на текущий период.

☀️Квантованные модели Llama 3.2 на Android

Llama продолжает покорять мобильные устройства. Вышла версия Llama 3.2 1B с весами, квантованными до 4-битного формата. Согласно опубликованным результатам бенчмарков, эта версия вполне способна конкурировать с несжатой моделью в формате BF16. Скорость инференса на ARM-процессорах для Android значительно возросла.

Разработчики использовали несколько методов квантизации, и наилучшие результаты показал хорошо известный метод QLoRA.

Чтобы самостоятельно сжать веса крупной языковой модели до 4-битного формата, улучшив её скорость и экономичность по памяти, потребуется подходящий графический процессор.

На платформе immers.cloud доступны видеокарты для различных типов нагрузок. Также понадобятся базовые теоретические знания и навыки работы с инструментами квантизации, такими как библиотека bitsandbytes.

➡️Подробнее о том, как работает метод QLoRA, вы можете узнать из этого видео.

@ruslandevlive — мысли о современных AI/ML технологиях

🔥Не знаете, какой тип инстанса выбрать — Local или Volume-backed?

Мы подготовили гайд, чтобы помочь вам сделать правильный выбор! В новом посте мы подробно объясняем, как работают локальные диски и сетевые тома, какие у них преимущества и в каких сценариях лучше использовать каждый из вариантов. Независимо от того, ищете ли вы максимальную скорость или гибкость масштабирования, этот пост поможет вам разобраться в тонкостях настройки инстансов для ваших задач.

➡️Пролистайте карусель и выберите решение, которое подойдет именно вам!