TGViewer
Channel Public Channel
Машинное обучение RU

Машинное обучение RU

@machinelearning_ru

Все о машинном обучении

админ - @workakkk

@data_analysis_ml - анализ даннных

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram -лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python 📚

@datascienceiot - 📚

РКН: clck.ru/3FmrUw
Subscribers
18.2K
Photos
1.8K
Videos
258
Links
2.3K

Showing posts older than #2070 · Back to latest

Older Posts 15 shown
Post #2065 2.43K
🖥 o1-engineer — это консольный инструмент, созданный для помощи разработчикам в управлении и взаимодействии с проектами. Он использует API OpenAI для таких функций, как генерация кода, редактирование файлов и планирование проекта, упрощая рабочие процессы

🔐 Лицензия: не указана

▪️Github

@machinelearning_ru
  • 👍 5
  • ❤ 3
  • 🔥 1
Post #2062 2.38K
🤖 Объясняемая AI: применение LIME для интерпретации моделей


LIME (Local Interpretable Model-agnostic Explanations) позволяет пользователям интерпретировать и понимать выводы машинного обучения. 📉



Используется для объяснения результатов любых моделей и улучшает доверие к предсказаниям.


🔗 Узнайте больше: LIME Documentation

💭 Делайте свои модели более понятными и объясняемыми!

@machinelearning_ru
  • ❤ 3
  • 🔥 2
  • 👍 1
  • 👎 1
Post #2060 2.6K
Post #2059 2.93K
🖥 Aibase — огромная коллекция нейросетей для любых задач! 🔥

🌟 Здесь на множество категорий разобраны сотни, если не тысячи различных нейросеток — для создания текста, кода, фото, видео, аудио и другого контента!

🔗 Посмотреть можно здесь: *клик*

@machinelearning_ru
  • 👍 7
  • ❤ 2
  • 👎 2
  • 🥰 2
  • 🤔 1
Post #2057 2.88K
🌟 Пространственно-временное прогнозирование с помощью Байесовских нейронных полей.

Байесовские нейронные поля (Bayes NF) - метод масштабируемого пространственно-временного прогнозирования, объединяющий архитектуру глубокой нейронной сети моделирования функций с иерархическим Байесовским моделированием для точной оценки неопределенности в сложных пространственно-временных полях.

Bayes NF строятся на основе Байесовской нейронной сети, отображающей многомерные пространственно-временные координаты в действительное поле.

Для получения высокой априорной вероятности для данных как с низко-, так и с высокочастотными вариациями, к исходным данным о времени и положении, подающимся в сеть, добавляются признаки Фурье, а чтобы учитывать априорные неопределенности, параметры сети получают априорное распределение.

Апостериорный вывод осуществляется с помощью стохастических ансамблей оценки максимального апостериори (MAP) или вариационно обученных суррогатов.

Метод Bayes NF относительно прост, он может обрабатывать пропущенные данные и обучаться по полному распределению вероятностей для произвольных пространственно-временных индексов.

Bayes NF универсален и применим к различным наборам данных без необходимости разработки новой модели для каждого случая или применения специфических для набора данных аппроксимаций вывода.

⚠️ Для локального запуска BayesNF на средних и больших объемах данных требуется GPU.


▶️ Практические туториалы с возможностью запуска на Google Coolab:

🟢анализ на основе пространственно-временного набора данных из 20 временных рядов еженедельных случаев заболевания ветряной оспой в Венгрии в период с 2005 по 2015 гг. Блокнот;

🟢анализ данных из об уровне загрязнения воздуха, измеряемом датчиками по всему Лондону каждый час. Блокнот.


▶️Локальная установка:

# Install bayesnf from PIP into venv:
$ python -m venv pyenv
$ source pyenv/bin/activate
$ python -m pip install -U bayesnf

# Install dependencies for Python 3.10
$ python -m pip install -r requirements.Python3.10.14.txt



📌Лицензирование : Apache 2.0 License.


🟡Документация
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Predictions #BAYESNF
  • 👍 6
  • 🔥 5
  • ❤ 2
Post #2056 2.61K
💡 AMD выпустила модель размером 135M, натренированную на 690 млрд токенов

Модель слабая, единственная ее фича - тренировка на амд.

https://huggingface.co/amd/AMD-Llama-135m

@machinelearning_ru
  • 😁 5
  • 👍 3
  • 🔥 2
  • 🤔 2
  • ❤ 1
Post #2055 2.66K
🖥 Qocker — это удобное приложение с графическим интерфейсом для управления контейнерами Docker

🔍 Функции:
🌟 Обзор контейнеров: просматривайте все свои контейнеры Docker в древовидной структуре.
🌟 Быстрый доступ к терминалу: откройте терминал для любого контейнера двойным щелчком мыши.
🌟 Управление контейнерами: запуск, остановка и удаление контейнеров непосредственно из графического интерфейса.
🌟 Обновления в режиме реального времени: статусы контейнеров обновляются в режиме реального времени.
🌟 Кроссплатформенность: работает на Windows, macOS и Linux.

💡 Установка:

🌟 Клонируйте этот репозиторий:

git clone https://github.com/xlmnxp/qocker.git

🌟 Перейдите в каталог проекта:

cd qocker

🌟 Установите необходимые зависимости:

pip install -r requirements.txt


💡 Использование:


python3 main.py


🔐 Лицензия: GNU

▪️Github

@machinelearning_ru
  • 😁 8
  • ❤ 5
  • 👍 4
  • 👎 2
  • 🔥 2
Post #2054 2.47K
⚡️ Редактирование выражений лица в режиме реального времени

Grog преобразовывает изображение Cog в Gradio, используя серверную часть ComfyUI - магия открытого исходного кода 🤝

▶️Модель: https://huggingface.co/spaces/fffiloni/expression-editor

@machinelearning_ru
  • 👍 10
  • ❤ 1
  • 🔥 1
Post #2051 2.28K

Forwarded from Machinelearning

🌟 vGPU NVIDIA на базе драйвера Nouveau для Linux.

NVIDIA представила набор патчей для ядра Linux с технологией vGPU для использования виртуальных графических процессоров в системах виртуализации. vGPU разделяет ресурсы физического графического процессора NVIDIA, привязывая каждый виртуальный GPU к виртуальной функции PCI Express.

Драйвер vGPU работает с видеокартами NVIDIA на архитектуре Ada Lovelace, создавая от одного до нескольких виртуальных GPU в зависимости от модели карты. В хост-системе создание и сопряжение виртуальных GPU с гостевыми системами выполняются изменённым драйвером Nouveau. В гостевых системах используются штатные драйверы NVIDIA, как для обычного графического процессора.

Каждый vGPU получает часть памяти из фреймбуфера физического GPU, различаясь типами, назначением, размером видеопамяти, количеством дисплеев и максимальным разрешением экрана.

Реализация технологии vGPU включает базовый драйвер nvkm на основе Nouveau и менеджер vgpu_mgr, реализованный как модуль VFIO. Менеджер создает и удаляет виртуальные GPU, выбирает тип, управляет ресурсами и предоставляет API для управления. Он взаимодействует с базовым драйвером GPU для загрузки прошивки GSP, управления ресурсами, обработки исключений, конфигурации и системных событий.

Также в Mesa Vulkan-драйвер добавлен gfxstream (Graphics Streaming Kit) для доступа к API Vulkan из гостевых систем Linux, Android и Fuchsia. Драйвер, разработанный Google, перенаправляет обращения к графическим API при виртуализации API Vulkan. Он используется в эмуляторе Android, виртуальном устройстве Cuttlefish, сервисе Google Play Games и операционной системе Fuchsia. Gfxstream включен в QEMU и crosvm и поддерживается совместно с устройствами virtio-gpu и goldish.


🟡Страница релиза
🟡Документация
🟡Host Kernel
🟡Guest driver package


@ai_machinelearning_big_data

#AI #ML #vGPU #Linux #NVIDIA
  • 👍 5
  • ❤ 2
  • 🔥 2
Post #2050 2.73K
🖥 Довольно интересная статья, в которой авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Анализируют такие возможности, как рассуждение, возможность к обучению, математика и кодинг, а также затраты на запуск, задержку ответов и многое другое.

🔗 Ссылка: *клик*

@machinelearning_ru
  • 👍 8
  • ❤ 6
  • 👏 2
Post #2048 2.79K
🖥 CUDA Programming Course – High-Performance Computing with GPUs

Свежий Бесплатный курс от freeCodeCamp по программированию CUDA.

Этот 12 -ти часовой бесплатный курс научит вас программировать с помощью Nvidia CUDA и использовать графические процессоры для высокопроизводительных вычислений и Deep learning.

Содержание:
🔜 (0:00:00) Вступление
🔜 (0:16:52) Глава 1 (Экосистема глубокого обучения)
🔜 (0:37:43) Глава 2 (Настройка CUDA)
🔜 (0:47:03) Глава 3 (Обзор C/C++)
🔜(1:35:47) Глава 4 (Введение в графические процессоры)
🔜 (1:51:40) Глава 5 (Написание ваших первых ядер)
🔜 (3:55:26) Глава 6 (CUDA API)
🔜 (5:35:22) Глава 7 (Быстрое умножение матриц)
🔜 (8:22:36) Глава 8 (Triton)
🔜 (9:04:43) Глава 9 (Расширения PyTorch)
🔜 (9:18:10) Глава 10 (Многослойный персептрон MNIST)
🔜 (11:41:13) Глава 11 (Что изучать дальше?)
🔜 (11:54:38) Заключение

▪Video: https://www.youtube.com/watch?v=86FAWCzIe_4
▪Code: https://github.com/Infatoshi/cuda-course
▪Github https://github.com/Infatoshi/mnist-cuda

#cuda #deeplearning #cpp #c #bigdata #courses #бесплатныйкурс

@machinelearning_ru
  • 🔥 13
  • 👍 5
  • ❤ 3
  • 🎉 2
  • 🤩 2
  • 👏 1
Post #2046 1.94K

Forwarded from Machinelearning

🌟 Параллельные стратегии с Jax: обучающий туториал.

Обучение LLM требует огромных вычислительных ресурсов. Поскольку размеры моделей исчисляются миллиардами параметров, специализированные методы распараллеливания необходимы для того, чтобы сделать обучение выполнимым.

В статье "Исследование параллельных стратегий с Jax" подробно рассматривается реализация некоторых стратегий масштабирования в Jax - фреймворке Python, предназначенном для высокопроизводительных численных вычислений с поддержкой ускорителей GPU и TPU.

Стратегии, описанные в туториале с примерами кода и иллюстрациями:

🟢Data Parallelism - распределение данных между несколькими устройствами, которые одновременно обучают модель;  

🟢Tensor Parallelism - распределение весов модели между устройствами, позволяет каждому устройству обрабатывать свою часть тензора параллельно; 

🟢Pipeline Parallelism разделяет модель на этапы, которые выполняются последовательно на разных устройствах; 

🟢Mixture-of-Experts использует множество специализированных экспертов для обработки различных частей входных данных, что позволяет масштабировать модель до огромных размеров.


▶️ Автор статьи - Александр Самарин, Lead ML Engineer в Huawei c 5-ти летнем опытом в глубоком обучении.


@ai_machinelearning_big_data

#AI #ML #LLM #JAX #Tutorial
  • 👍 5
  • 🔥 2
Post #2044 2.4K
⚡️Converting a From-Scratch GPT Architecture to Llama 2

Хотите посмотреть сравнение GPT и Llama под капотом?

Здесь пошаговый учебник-гайд с кодом, где разобраны ключевые различия:

Github


@machinelearning_ru
  • 👍 6
  • ❤ 2
  • 🔥 2
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →