Data Science | Machinelearning [ru]

​​🌟WhisperKit — распознавание речи на устройствах Apple с помощью Whisper

WhisperKit — это пакет Swift, который интегрирует популярную модель распознавания речи Whisper от OpenAI с платформой Apple CoreML для эффективного локального вывода на устройствах Apple.

🖥GitHub
🟡Hugging Face

@Devsp — Подписаться

​​😎Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация

В этой статье мы расскажем о том, что такое NER, о его принципах работы и о том, как оно используется в реальной жизни.

Читать...

​​🔥 YOLOv10: Real-Time End-to-End Object Detection

В новой версии добавлена новая функция сквозного обнаружения объектов в реальном времени. Код выпущен под лицензией GNU GPL v3.0

По сравнению с YOLOv9-C, YOLOv10-B имеет на 46% меньшую задержку и использует на 25% меньше параметров при той же производительности.

▪Paper: arxiv.org/pdf/2405.14458
▪Github: https://github.com/THU-MIG/yolov10/
▪Demo :https://huggingface.co/spaces/kadirnar/Yolov10
▪Colab: https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/train-yolov10-object-detection-on-custom-dataset.ipynb#scrollTo=SaKTSzSWnG7s

@Devsp — Подписаться

​​🧠Prompt engineering — путь к эффективной работе с ChatGPT

В этой статье расскажу, как эффективно работать с ChatGPT в разных задачах и архитектуре.

Читать...

​​🔥open_clip — open-source реализация CLIP

CLIP — это нейросеть, разработанная OpenAI для выполнения задач визуального, а также языкового понимания. Алгоритмы нацелены на понимание связи между текстом и изображениями.

🖥GitHub
🟡Google Colab

@Devsp — Подписаться

​​👤Чем новый ChatGPT-4o отличается от GPT-4, что умеет и почему это супер-важно

В этой статье вы узнаете о новых способах взаимодействия с нейросетью, включая возможность выбора голоса и тембра, а также возможность поделиться экраном и обрабатывать визуальную информацию.

Читать...

​​⚡️Cover-Agent — инструмент с открытым исходным кодом, включающий в себя реализацию TestGen-LLM от Meta для автоматического улучшения наборов тестов

Cover-Agent использует генеративный искусственный интеллект для автоматизации и улучшения генерации тестов (сейчас в основном юнит-тестов).
Cover-Agent может запускаться через терминал, в будущем его планируется интегрировать в популярные CI-платформы.

Cover-Agent может работать через терминал, и его планируется интегрировать в популярные CI-платформы.

🖥GitHub
🟡Связанная статья Arxiv

@Devsp — Подписаться

​​🚀 MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

MoRA - новый метод использования высокоранговых обновлений весов для файнтюнига моделей при сохранении того же количества обучаемых параметров, как и при использовании матриц низкого ранга.

▪repo: https://github.com/kongds/MoRA
▪abs: https://arxiv.org/abs/2405.12130

@Devsp — Подписаться

​​⚡️Phi-3-medium-4k-instruct

Phi-3 Vision — это легкая, современная открытая мультимодальная модель, построенная на наборах данных, которые включают в себя синтетические данные и отфильтрованные общедоступные веб-сайты с упором на очень высококачественные, аргументированные и плотные данные как в текстовом, так и в визуальном виде.

Модель прошла тщательный процесс усовершенствования, включающий как контролируемую точную настройку, так и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности.

- Phi-3-Vision: https://huggingface.co/microsoft/Phi-3-vision-128k-instruct
- Phi-3-Small:
 ~8k: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
 ~128k: https://huggingface.co/microsoft/Phi-3-small-128k-instruct
- Phi-3-Medium:
 ~4k: https://huggingface.co/microsoft/Phi-3-medium-4k-instruct
 ~128k: https://huggingface.co/microsoft/Phi-3-medium-128k-instruct

@Devsp — Подписаться

​​⚡️Devon — open-source AI-программист

Devon — AI-помощник, которого можно использовать для парного программирования;
open-source аналог Devin.
Использует API Anthropic, или OpenAI, или Groq.

🖥GitHub
🟡Пример использования

@Devsp — Подписаться

​​⚡️ Layer-Condensed KV Cache

Layer-Condensed KV Cache — новый вариант декодеров-трансформеров, в котором запросы всех уровней сочетаются с ключами и значениями только верхнего уровня.

Обеспечивает в 26 раз более высокую пропускную способность по сравнению со стандартными трансформерами и помогает увеличить производительность больших языковых моделей.

▪repo: https://github.com/whyNLP/LCKV
▪abs: https://arxiv.org/abs/2405.10637

@Devsp — Подписаться

​​🔥 GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

GaussianObject — платформа для представления и рендеринга 3D-объектов с помощью гауссовских пятен, которая обеспечивает высокое качество рендеринга всего с четырьмя входными изображениями.

▪️Github: https://github.com/GaussianObject/GaussianObject
▪️Colab: https://colab.research.google.com/drive/1WIZgM--tJ3aq25t9g238JAuAoXrQYVMs?usp=sharing#scrollTo=TlrxF62GNePB
▪️Project: https://gaussianobject.github.io

@Devsp — Подписаться

​​⚡️PHUDGE3: Phi-3 как масштабируемая система оценивания LLM

PHUDGE — тонко настроенная модель Phi3, которая достигла результатов SOTA в 4 задачах: Feedback Test, Feedback OOD, MT Human, Preference Test, превзойдя все существующие модели по задержке и пропускной способности.

PHUDGE демонстрирует очень сильную корреляцию не только с GPT4, но и с человеческими аннотаторами на непросмотренных данных, а также в задачах абсолютного и относительного оценивания.

📎Arxiv

@Devsp — Подписаться

​​🌟Verba — open-source приложение для обеспечения сквозного, оптимизированного и удобного интерфейса для Retrieval-Augmented Generation

Verba — это полностью настраиваемый персональный помощник для запроса и взаимодействия с вашими данными, локально или развернутыми через облако.

Отвечает на вопросы, связанные с вашими документами, получает информацию из существующих баз знаний.

Verba сочетает в себе современные технологии RAG и контекстно-зависимую базу данных Weaviate.

🖥GitHub

@Devsp — Подписаться

​​⚡️ Grounding DINO 1.5: Most Capable Open-World Object Detection Model Series.

Grounding DINO 1.5 - набор усовершенствованных моделей обнаружения объектов открытого набора, разработанный IDEA Research , целью которого является усовершенствование «края» обнаружения объектов открытого набора.

Это наиболее эффективный опенсорс инструмент для запуска на edge девайсах, с хорошей оптимизацией и высокой скоростью работы.

▪Github
▪Paper
▪Demo

@Devsp — Подписаться

​​😐Toon3D: Seeing Cartoons from a New Perspective

Toon 3D может восстанавливать ракурсы камеры и плотную геометрию помещений.

Такие методы, как COLMAP, не могут реконструировать негеометрические изображения, нарисованные от руки, но Toon 3D справляется с этой задачей.

▪Github: https://github.com/ethanweber/toon3d
▪Paper: https://arxiv.org/abs/2405.10320
Dem
▪Proj: https://toon3d.studio

@Devsp — Подписаться

​​🔥Встречайте CAT3D от Google

CAT3D использует модель скрытой диффузии с несколькими видами для создания новых видов сцены.

Эта модель может быть обусловлена ​​любым количеством наблюдаемых видов (входные изображения с соответствующими положениями камеры, встроенными в лучевые координаты) и обучена создавать несколько согласованных новых изображений сцены в указанных целевых точках обзора.

Эта архитектура аналогична моделям диффузии видео, но с встраиванием позы камеры для каждого изображения вместо встраивания времени.

▶️Страничка CAT3D
🟡Arxiv

@Devsp — Подписаться

​​⚡️ Zeus Новый инструмент экосистемы Pytorch

Zeus — это набор инструментов с открытым исходным кодом для измерения и оптимизации энергопотребления при рабочих нагрузках глубокого обучения.

▪️Github
▪️Подробнее
▪️Docs

@Devsp — Подписаться

​​🌟LibreChat — улучшенный свободный клон ChatGPT

LibreChat объединяет будущее ИИ-помощников с революционной технологией ChatGPT OpenAI.

Отдавая должное оригинальному стилю, LibreChat дает вам возможность интегрировать несколько моделей искусственного интеллекта.

Он интегрирует и расширяет оригинальные клиентские функции, такие как поиск разговоров и сообщений, шаблоны подсказок и плагины.

🖥GitHub
🟡Подробнее о локальном запуске
🟡Использовать онлайн

@Devsp — Подписаться

​​🔥DocsGPT — open-source AI-помощник для работы с документами и не только

DocsGPT — это передовое решение с открытым исходным кодом, которое упрощает процесс поиска информации в проектной документации.

Благодаря интеграции мощных моделей GPT разработчики могут легко задавать вопросы о проекте и получать точные ответы.

Модели на Hugging Face:
🟡Docsgpt-7b-mistral — требует 1×A10G GPU
🟡Docsgpt-14b — требует 2×A10 GPU
🟡Docsgpt-40b-falcon — требует 8×A10G GPU

🖥GitHub

@Devsp — Подписаться