Data Science | Machinelearning [ru]

🥳Строим ETL-конвейер для машинного обучения с помощью Kafka, Clickhouse и Go

В этой статье я поделюсь с вами своим опытом использования Golang, Kafka и Clickhouse на примере простого ETL-конвейера для параллельной передачи JSON-данных в базу данных с последующим прогнозированием температуры на основе машинного обучения.

Читать...

🐍Как проверить свои модели ONNX на Python: кратко

В этой статье разберем, что такое ONNX, как экспортировать модели в этот универсальный формат и, что самое главное, как протестировать их с помощью Python.

Читать...

🖥 Самые интересные статьи за последние дни:

• Эффективные запросы к ChatGPT и подобным моделям: Полное руководство по идеальной формуле

• Защита LLM в разработке чат-ботов в корпоративной среде: как избежать утечек данных и других угроз

• Как оценить качество LLM модели

🗣Как общаться с базой знаний на естественном языке с помощью LLM и объективно оценить работу полученной системы

В этой статье расскажу про особенности применения больших языковых моделей для оптимизации бизнес-процессов.

Читать...

😎Эффективные запросы к ChatGPT и подобным моделям: Полное руководство по идеальной формуле

В этой статье я расскажу вам о единственной формуле, которую нужно знать, чтобы мастерски составлять запросы (промты) к ChatGPT и получать точные и полезные результаты.

Читать...

🛡Защита LLM в разработке чат-ботов в корпоративной среде: как избежать утечек данных и других угроз

В этой статье расскажу про основные риски, связанные с использованием LLM в корпоративной среде, и способы от них защититься.

Читать...

🤩MIO: A Foundation Model on Multimodal Tokens

Новая базовая модель, построенную на многомодальных токенах, способную понимать и генерировать речь, текст, изображения и видео сквозным авторегрессивным способом.

Экспериментальные результаты показывают, что MIO демонстрирует конкурентоспособную, а в некоторых случаях и превосходящую производительность по сравнению с предыдущими двухмодальными базовыми линиями, базовыми линиями моделей any-to-any и даже базовыми линиями, специфичными для модальности.

Более того, MIO демонстрирует расширенные возможности, присущие его функции any-to-any, такие как чередующееся создание видеотекста, цепочка визуально-мысленных рассуждений, создание визуальных руководств, редактирование обучающих изображений и т. д.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

🤔Как оценить качество LLM модели

В этой статье мы представим общий обзор текущего состояния исследований оценок LLM, а также расскажем о некоторых опенсорсных реализациях в этой области.

Читать...

🖥 Самые интересные статьи за последние дни:

• Безопасность приложений больших языковых моделей (LLM, GenAI)

• Как настроить LLM на локальном сервере? Пошаговое руководство для ML-специалистов

• Геймдев и ИИ: как нейросети меняют правила игры

🤨Можно ли доверять GPT-4o конфиденциальные данные?

В этой статье мы разберемся в политике конфиденциальности Open AI и выясняем, почему эксперты окрестили GPT-4o «турбопылесосом данных».

Читать...

🔍MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models

Обучаемый метод обрезки, который устанавливает полуструктурированную разреженность в LLM, направленный на снижение вычислительных издержек во время вывода.

Вместо разработки нового критерия важности MaskLLM явно моделирует шаблоны N:M как обучаемое распределение с помощью выборки Gumbel Softmax.

Этот подход облегчает сквозное обучение на больших наборах данных.

Он позволяет настраивать маски для безпотерьного применения разреженности 2:4 к нижестоящим задачам или доменам.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

🔒Безопасность приложений больших языковых моделей (LLM, GenAI)

В этой статье мы рассмотрим основные стратегии защиты ваших моделей и приложений искусственного интеллекта.

Читать...

🤨Как настроить LLM на локальном сервере? Пошаговое руководство для ML-специалистов

В этой статье мы рассмотрим инструменты для оптимизации расходов, включая квантизацию и LoRA-адаптеры.

Читать...

🤖Геймдев и ИИ: как нейросети меняют правила игры

В этой статье мы рассмотрим различные аспекты применения ИИ в индустрии, его влияние на будущее видеоигр и даже рассмотрим первый в мире нейросетевой игровой движок.

Читать...

🧐Что такое Sampling method и как он работает в моделях нейросети Stable Diffusion

В этой статье мы рассмотрим метод выборки (sampling method) в генеративных моделях, таких как Stable Diffusion или FLUX.

Читать...

😎DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

Новая обучающая структура для генерации анимируемых 3D-аватаров из текста.

Ядро этой структуры лежит в скелетно-управляемой перегонке оценок и гибридном 3D-представлении гауссова аватара.

В частности, предлагаемая скелетно-управляемая перегонка оценок интегрирует элементы управления скелета из 3D-шаблонов человека в 2D-модели диффузии, повышая согласованность надзора SDS с точки зрения вида и позы человека.

Это облегчает генерацию высококачественных аватаров, смягчая такие проблемы, как множественные лица, дополнительные конечности и размытие.

Обширные эксперименты показывают, что DreamWaltz-G очень эффективен в создании и анимации 3D-аватаров, превосходя существующие методы как по визуальному качеству, так и по выразительности анимации.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

🖥 Самые интересные статьи за последние дни:

• От промптов к дообучению: четыре уровня адаптации open-source моделей

• Обнаружение DGA доменов или тестовое задание на позицию intern ML-engineer

• Полный гид по бенчмаркам LLM

🤙Полный гид по бенчмаркам LLM

В этой статье мы рассмотрим подробный каталог бенчмарков, разбитый на категории по сложности, динамике, целям оценки, спецификациям конечных задач и типам рисков.

Читать...

😎Обнаружение DGA доменов или тестовое задание на позицию intern ML-engineer

В этой статье мы рассмотрим простую задачу, которая используется одной компанией в качестве тестового задания для стажеров на позицию ML-engineer.

Читать...

🔒Шифруй то, шифруй это, или LLM под замком

В этой статье мы поговорим о безопасном обращении с коммерческим контентом, шифровании данных, моделях и подходах к безопасному обращению и встраиванию коммерческих данных в модель.

Читать...