Data Science | Machinelearning [ru]

​​🌟Omost — использование мощи LLM, пишущих код, для генерации изображений

Omost — это проект по преобразованию возможностей кодирования LLM в возможности генерации изображений (или, точнее, создания изображений).

Он предоставляет модели LLM, которые будут писать коды для составления визуального содержимого изображений с помощью виртуального агента Omost Canvas.

В настоящее время мы предоставляем 3 предварительно обученные модели LLM, основанные на вариациях Llama3 и Phi3 (см. также примечания к модели в конце этой страницы).

🖥GitHub
🤗 Попробовать на Hugging Face

@Devsp — Подписаться

​​🌟Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами

Dot — это автономное приложение с открытым исходным кодом, предназначенное для беспрепятственного взаимодействия с документами и файлами с использованием локальных LLM и поисковой дополненной генерации (RAG).

Он вдохновлен такими решениями, как Chat with RTX от Nvidia, обеспечивающими удобный интерфейс для тех, у кого нет опыта программирования.

Используя Phi-3 LLM по умолчанию, Dot обеспечивает доступность и простоту сразу после установки.

🖥GitHub
🟡Страничка Dot

@Devsp — Подписаться

​​😉Использование генеративного ИИ для автоматизации дата инжиниринга

В этой статье автор расскажет о генеративном искусственном интеллекте (Gen AI) и его использовании в инженерии данных, а также о LLM и ее характеристиках, способах использования в различных приложениях и важности качества данных и дизайна платформы данных для эффективного использования LLM-моделей.

Читать...

​​🫥 Как устроен Representation Finetuning, родившийся из идеи интерпретируемости LLM

В этой статье мы расскажем о том, к каким конструктивным идеям приводит исследование интерпретируемости.

Читать...

​​⏳Как построить MVP AI-сервис и сэкономить время

В этой статье мы расскажем, как и зачем нужно генерировать картинки, в нашем случае реалистичные концепты архитектурных объектов, с помощью ИИ и за минимальное количество ресурсов.

Читать...

​​🔥Burn — свежий open-source фреймворк для Deep Learning на Rust с упором на гибкость, эффективность вычислений и переносимость

Весь рабочий процесс глубокого обучения упрощается с помощью Burn, поскольку вы можете отслеживать прогресс своего обучения с помощью эргономичной панели управления и выполнять логические выводы повсюду, от встроенных устройств до больших кластеров графических процессоров.

Burn был создан с нуля с учетом обучения и умозаключений. Также стоит отметить, насколько Burn по сравнению с такими фреймворками, как PyTorch, упрощает переход от обучения к развертыванию, устраняя необходимость изменения кода.

🖥GitHub
🟡Доки

@Devsp — Подписаться

​​🤖Обзор новых Open Source LLM. Или как локально запустить аналог ChatGPT

В этой статье мы расскажем что в них особенного, а также как и зачем их запускать локально.

Читать...

​​⚡️ Cortex — AI-движок для создания LLM-приложений

Cortex — это open-source AI-движок для создания LLM-приложений.

Можно импортировать в виде библиотеки Cortex или использовать как сервер.

🖥GitHub
🟡Доки

@Devsp — Подписаться

⚡️ Хабр подвел итоги конкурса «Технотекст», в тройку лидеров в номинации ML попали:

• Статья Виктора Юрченко из Яндекса с рассказом о том, как нейросети помогают беспилотным автомобилям планировать своё движение
• Научно-популярная статья Игоря Котенкова из Open Data Science с разбором работы ChatGPT
• Статья Мурата Апишева о методах позиционного кодирования в Transformer.

@Devsp — Подписаться

​​⚡️Scribble SDXL — позволяет превратить каракули в шедевр

Scribble SDXL создан на основе SDXL ControlNet и его можно без проблем запустить на Hugging Face.

Можно выбирать разные стили и экспериментировать.

🤗 Scribble SDXL

@Devsp — Подписаться

​​🔥MiniCPM-Llama3-V 2.5 — мультимодальная LLM-ка уровня GPT-4 (почти), которую можно запустить на телефоне

MiniCPM-V — это серия конечных мультимодальных LLM (MLLM), предназначенных для понимания визуального языка.

Модели принимают изображение и текст в качестве входных данных и обеспечивают высококачественный текстовый вывод.

Модель может обрабатывать изображения с количеством пикселей до 1.8 млн, показывает всего 10.3% галлюцинаций на Object HalBench, поддерживает ~30 языков, активно используется квантование для общей оптимизации.

🖥GitHub

@Devsp — Подписаться

​​👾 Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend

В этой статье автор расскажет как можно объединить GPT-4 с бэкендом машинного обучения (ML Backend) Label Studio.

Читать...

​​💻 Elia — UI для получения ответов от LLM прямо в терминале

Elia- это приложение для взаимодействия с LLM, которое полностью работает на вашем терминале и предназначено для работы с клавиатурой, эффективно и интересно в использовании.

Он хранит ваши разговоры в локальной базе данных SQLite и позволяет вам взаимодействовать с различными моделями.

🖥 GitHub

@Devsp — Подписаться

​​🖥 Дайджест самых интересных публикаций за последние дни:

• Быстрая Data Quality проверка на базе алгоритма adversarial validation

• Sweep — AI-джун, который самостоятельно исправит мелкие ошибки в коде

• Open WebUI — удобный веб-интерфейс для LLM

​​🚀 Open WebUI — удобный веб-интерфейс для LLM

Open WebUI — это расширяемый, многофункциональный и удобный автономный веб-интерфейс, предназначенный для работы полностью в автономном режиме.

Он поддерживает различные программы LLM, включая Ollama и API-интерфейсы, совместимые с OpenAI.

🖥GitHub
🟡Доки

@Devsp — Подписаться

🌟 Релиз YandexGPT 3 Lite

Стала доступна облегченная версия генеративной модели Яндекса третьего поколения. YandexGPT 3 Lite лучше и быстрее решает задачи в режиме реального времени, поэтому будет полезна в разных сценариях бизнеса. Особенно там, где важна оперативность ответов. Например, для колл-центра или при ответе в чат-боте на сайте.

На Хабре вышла статья, где команда YandexGPT подробно рассказала о ключевых этапах обучения. Например, об этапе выравнивания (Alignment), включающем в том числе стадию обучения с подкреплением (RL). Без него команда не смогла бы добиться такого роста в качестве, который был необходим для запуска новых возможностей и сервисов (например, Нейро).

✍️ Habr: https://habr.com/ru/companies/yandex/articles/817391/

@Devsp — Подписаться

​​🌟Sweep — AI-джун, который самостоятельно исправит мелкие ошибки в коде

Sweep — младший разработчик искусственного интеллекта, который превращает ошибки и запросы функций в изменения кода.

Sweep автоматически обрабатывает улучшения Devex, такие как добавление подсказок или улучшение тестового покрытия.

🖥GitHub
🟡Доки

@Devsp — Подписаться

​​🚀Быстрая Data Quality проверка на базе алгоритма adversarial validation

Из этой статьи вы узнаете, как оценивать качество данных при помощи алгоритма adversarial validation с использованием spark user defined function.

Читать...

​​⚡️ Adobe выпустила DMD2!

Новый усовершенствованный метод дистилляции, который может превратить диффузионные модели, такие как SDXL, в мощные одношаговые генераторы изображений.

▪Project page: https://tianweiy.github.io/dmd2/
▪Code: https://github.com/tianweiy/DMD2
▪Demo: https://4e4a5c6a8b08f76802.gradio.live

@Devsp — Подписаться

​​🖥 Дайджест самых интересных публикаций за последние дни:

• Prompt engineering — путь к эффективной работе с ChatGPT

• Чем новый ChatGPT-4o отличается от GPT-4, что умеет и почему это супер-важно

• Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация