Data Science | Machinelearning [ru]

​​⭐️PaliGemma by Google is out! A family of 116 new models

PaliGemma — это модель открытого языка видения от Google, вдохновленная PaLI-3 и построенная на основе открытых компонентов, таких как модель видения SigLIP и языковая модель Gemma.

PaliGemma спроектирована как универсальная модель для решения широкого круга задач, связанных с визуальным языком, таких как создание изображений и коротких подписей к видео, визуальный ответ на вопросы, чтение текста, обнаружение объектов и сегментация объектов.

▪Блог: https://hf.co/blog/paligemma
▪Модели: https://hf.co/collections/google/paligemma-release-6643a9ffbf57de2ae0448dda
▪Demo: https://hf.co/spaces/google/paligemma

@Devsp — Подписаться

​​⚡️ AT-EDM: Attention-Driven Training-Free Efficiency Enhancement of Diffusion Models

Компания Adobe нашла способ снизить вычислительные затраты на диффузионные модели данных без переобучения.

AT-EDM - структура, которая использует карты внимания для выполнения сокращения избыточных токенов во время выполнения без повторного обучения.

▪️Почитать подробнее: https://atedm.github.io
▪️Видео: https://www.youtube.com/watch?v=ZmOdN4F_8Ew
▪️Статья: https://arxiv.org/abs/2405.05252

@Devsp — Подписаться

​​⚡️ You Only Cache Once: Decoder-Decoder Architectures for Large Language Models

YOCO существенно снижает потребление памяти GPU и состоит из двух компонентов - cross decoder'а, объединенного с self-decoder'ом.

Результаты экспериментов показывают, что YOCO достигает более высокой производительности по сравнению с архитектурой Трансформеров при различных настройках масштабирования размера модели и количества обучающих токенов, подробнее тут.

▪️Github: https://github.com/microsoft/unilm/tree/master/YOCO
▪️ABS: https://arxiv.org/abs/2405.05254

@Devsp — Подписаться

​​🔥 FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

Сквозной дифференцируемый метод, который определяет точные позы камеры, внутренние характеристики камеры и покадровую плотную глубину видеопоследовательности.

Этот метод не только намного превосходит предшествующие методы корректировки пакетов на основе градиентного спуска, но и удивительно работает наравне с COLMAP, современным методом SfM, в последующей задаче синтеза новых представлений на 360 градусов.

• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY

@Devsp — Подписаться

​​🧬 AlphaFold 3 predicts the structure and interactions of all of life’s molecules

AlphaFold 3 - новая модель искусственного интеллекта, разработанную Google DeepMind и Isomorphic Labs.

Модель может предсказывать структуру и взаимодействие всех молекул жизни с беспрецедентной точностью.

▪Blog: https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/
▪Nature: https://www.nature.com/articles/s41586-024-07487-w
▪Two Minute Papers: https://www.youtube.com/watch?v=Mz7Qp73lj9o

@Devsp — Подписаться

​​⚡️ LLaVA-NeXT: A Strong Zero-shot Video Understanding Model

LLaVA-NeXT - большая мультимодальную модель (LMM) с открытым исходным кодом, обученную исключительно на данных текстового изображения.

Она демонстрирует высокую скорость передачи данных и демонстрирует отличные результаты при zero-shot обучении.

▪️Github: https://github.com/LLaVA-VL/LLaVA-NeXT
▪️Blog: https://llava-vl.github.io/blog/2024-04-30-llava-next-video/
▪️HF: https://huggingface.co/shi-labs/CuMo-mistral-7b
▪️Dataset: https://huggingface.co/datasets/shi-labs/CuMo_dataset

@Devsp — Подписаться

​​📊 Time Series Foundation Model by Google

TimesFM — это предварительно обученная базовая модель временных рядов, разработанная Google Research для прогнозирования временных рядов.

Модель демонстрирует впечатляющую производительность при zero-shot обучении на множестве бенчмарков.

▪️Github: https://github.com/google-research/timesfm
▪️Paper: https://arxiv.org/abs/2310.10688
▪️Blog: https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/
▪️HF: https://huggingface.co/google/timesfm-1.0-200m

@Devsp — Подписаться

​​🔦 IC-Light: Imposing Consistent Light

IC-Light — проект по управлению освещением изображений.

Внутри два типа моделей: модель изменения освещения с из тектовых промптов и модель изменения подсветки фона изображений.

▪️Github: https://github.com/lllyasviel/IC-Light
▪️Jupyter: https://github.com/camenduru/IC-Light-jupyter
▪️Demo: https://huggingface.co/spaces/lllyasviel/IC-Light

@Devsp — Подписаться

​​🔦 IC-Light: Imposing Consistent Light

IC-Light — проект по управлению освещением изображений.

Внутри два типа моделей: модель изменения освещения с из тектовых промптов и модель изменения подсветки фона изображений.

▪️Github: https://github.com/lllyasviel/IC-Light
▪️Jupyter: https://github.com/camenduru/IC-Light-jupyter
▪️Demo: https://huggingface.co/spaces/lllyasviel/IC-Light

@Devsp — Подписаться

​​⚡️ Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images

Новый метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки.

Deblur-GS неизменно обеспечивает превосходную производительность и качество рендеринга по сравнению с предыдущими методами, о чем свидетельствуют оценки, проведенные как на синтетических, так и на реальных наборах данных.

▪️Code: https://github.com/Chaphlagical/Deblur-GS
▪️Paper: https://chaphlagical.icu/Deblur-GS/static/paper/Deblur_GS_author_version.pdf
▪️Project: https://chaphlagical.icu/Deblur-GS/

@Devsp — Подписаться

​​⚡️ Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images

Новый метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки.

Deblur-GS неизменно обеспечивает превосходную производительность и качество рендеринга по сравнению с предыдущими методами, о чем свидетельствуют оценки, проведенные как на синтетических, так и на реальных наборах данных.

▪️Code: https://github.com/Chaphlagical/Deblur-GS
▪️Paper: https://chaphlagical.icu/Deblur-GS/static/paper/Deblur_GS_author_version.pdf
▪️Project: https://chaphlagical.icu/Deblur-GS/

@Devsp — Подписаться

​​🌟 Introduction to Granite Code Models

IBM выпустили Granite Code Models: семейство моделей Open Foundation для интеллектуального анализа и генерации кода.

Модели Granite Code Base обучаются на токенах 3–4T кодовых данных и наборах данных естественного языка, связанных с кодом.

Данные токенизируются посредством кодирования пар байтов (BPE) с использованием того же токенизатора, что и StarCoder.

Модели отлично справляются с задачами генерации кода, исправления багов объяснения кода, генерации документации к кода.

▪Github: https://github.com/ibm-granite/granite-code-models
▪Paper: https://arxiv.org/abs/2405.04324
▪HF: https://huggingface.co/collections/ibm-granite/granite-code-models-6624c5cec322e4c148c8b330

@Devsp — Подписаться

​​🔉 AudioSeal is the state of art audio watermarking model

AudioSeal - метод локализации речевых водяных знаков, обладающий высочайшей надежностью и скоростью обнаружения.

Он совместно обучает генератор, который встраивает водяной знак в аудио, и детектор, который обнаруживает фрагменты с водяными знаками в более длинных аудиофайлах, даже при наличии редактирования.

Audioseal оснащен быстрым однопроходным детектором, который значительно превосходит по скорости существующие модели: обнаружение происходит на два порядка быстрее, что делает его идеальным для крупномасштабных приложений, работающих в режиме реального времени.

▪Github: https://github.com/facebookresearch/audioseal
▪Paper: https://arxiv.org/abs/2401.17264
▪Colab: https://colab.research.google.com/github/facebookresearch/audioseal/blob/master/examples/colab.ipynb
▪HF: https://huggingface.co/facebook/audioseal

@Devsp — Подписаться

​​🧑‍💻StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation

StarCoder2-Instruct - это первый полностью самонастраивающийся LLM-разработчик кода с помощью конвейера Hugging Face.

Этот конвейер с открытым исходным кодом использует StarCoder2-15B для генерации тысяч пар инструкция-ответ, которые затем используются для точной настройки самого StarCoder-15B без каких-либо человеческих аннотаций или дистиллированных данных из огромных и проприетарных LLM.

▪️Blog: https://huggingface.co/blog/sc2-instruct
▪️Model: https://huggingface.co/bigcode/starcoder2-15b-instruct-v0.1
▪️Dataset: https://huggingface.co/datasets/bigcode/self-oss-instruct-sc2-exec-filter-50k
▪️Code: https://github.com/bigcode-project/starcoder2-self-align

@Devsp — Подписаться

🔥 SDK для YandexGPT API

При внедрении модели от Яндекса в свои проекты могут возникнуть некоторые проблемы: отсутствие официального SDK, множество способов авторизации, видов моделей и эндпоинтов API.

Команда AllSee решила эти проблемы, а также рассказала, зачем YandexGPT, когда есть ChatGPT.

Внутри готовый SDK для быстрой интеграции YandexGPT в любые python-приложения.

📝 Статья: https://habr.com/ru/articles/812979/

@Devsp — Подписаться

​​😎 OpenDevin

OpenDevin, проект с открытым исходным кодом, целью которого является копирование Devin, автономного инженера-программиста с искусственным интеллектом, который способен выполнять сложные инженерные задачи и активно сотрудничать с пользователями в проектах разработки программного обеспечения.

Этот проект стремится воспроизвести, улучшить и внедрить Devin с помощью сообщества открытого исходного кода.

▪️GitHub
▪️Страничка OpenDevin

@Devsp — Подписаться

​​⚡️Quivr — "Obsidian" с ИИ

Quivr, ваш второй мозг, который использует возможности GenerativeAI в качестве вашего личного помощника.

Даёт возможность легко делится своей базой знаний через публичную ссылку.

Quivr работает в автономном режиме, поэтому вы можете получить доступ к своим данным в любое время и в любом месте.

🖥GitHub
🟡Страничка Quivr

@Devsp — Подписаться