Машинное обучение RU

🔍 Perplexity Search — инструмент для построения поискового движка, вдохновленного Perplexity AI!

🌟 Этот проект использует LLM и интеграцию с Google Search для обработки пользовательских запросов. После анализа запроса инструмент формирует поисковый запрос, извлекает контекст из релевантных веб-страниц и с помощью LLM создает ответ. Это позволяет получить консолидированную и информативную информацию из различных источников, обеспечивая автоматическую генерацию текста на основе найденных данных.

🌟 Проект предназначен для разработчиков, изучающих интеграцию языковых моделей в поисковые приложения. Реализация минималистична и предоставляет базовый функционал, что делает её полезной для понимания архитектуры подобных систем. Репозиторий может быть использован как стартовая точка для создания кастомизированных поисковых решений.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

🔥 Курс Математика Машинного обучения: Что такое тензоры.

📌 Видео
📌Colab с кодом

@machinelearning_ru

👩‍💻 pydantic-ai — это проект, который интегрирует возможности Pydantic (популярной библиотеки для валидации данных и работы с моделями данных в Python) с искусственным интеллектом!

🌟 Он предоставляет инструменты для создания и использования моделей данных, которые взаимодействуют с искусственным интеллектом.

🌟 С помощью этого проекта можно более эффективно обрабатывать и валидировать данные, которые поступают из моделей ИИ, а также использовать возможности Pydantic для работы с типами данных и обеспечением их правильности в контексте AI-приложений.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

🔥 Omegance — ИИ-инструмент, который может контролировать уровни детализации в синтезе на основе диффузии, используя всего один параметр!

🔐 Лицензия: S-Lab 1.0


🔗 Страница проекта: *клик*
🖥 Github

@machinelearning_ru

🚨 Хакеры атаковали Ultralytics YOLO и установили криптомайнеры через PyPI

🐍 Пострадали версии YOLO 8.3.41 и 8.3.42.

📂 Вредоносная библиотека размещает майнер XMRig в папке /tmp/ultralytics_runner и подключается к серверу по адресу connect.consrensys[.]com: 8080.

Гленн Йохер, основатель и генеральный директор Ultralytics, заявил, что заражённые версии были заменены чистой версией 8.3.43. По его словам, атака произошла через два пулл-запроса от пользователя из Гонконга.

🛡 На данный момент неизвестно, ограничились ли хакеры лишь установкой майнера или смогли получить доступ к пользовательским данным. Пользователям, установившим скомпрометированные версии, настоятельно рекомендуется провести глубокое сканирование системы.

🌟 TGI v3: Новая архитектура ускоренного инференса LLMs.

TGI v3 — новая версия архитектуры для обработки естественного языка, разработанная Hugging Face. TGI v3 демонстрирует значительный прирост производительности, особенно при работе с длинными запросами.

Улучшения v3:

🟢оптимизированные ядра;
🟢эффективная структура кэширования префиксов;
🟢улучшенное управление вычислительными ресурсами.

Flashinfer и flashdecoding — новые ядра быстрой обработки текста. Оптимизированная структура кэширования позволяет быстро находить совпадения даже для очень длинных запросов.

TGI v3 оценивалась в реалистичных сценариях на коротких и длинные запросах. Результаты тестов показали, что TGI v3 обрабатывает в 3 раза больше токенов, чем vLLM, а скорость обработки увеличилась в 13 раз для запросов длиной 200K+ токенов.

Хотя результаты работы TGI v3 впечатляют, следует учитывать некоторые ограничения:

⚠️ Если в среде не хватает места в kv-кэше, это может привести к конфликту. Чтобы избежать этого эффекта, следует установить ограничение --max-total-tokens.

⚠️ В сценариях, где несколько реплик находятся за одним эндпоинтом рекомендуется использовать балансировку нагрузки на зависимые сеансы, чтобы заставить каждого пользователя отправлять свои запросы на одну и ту же реплику.

🔜 Полная статья с описанием TGI v3 доступна на HF.


🖥 GIthub


@ai_machinelearning_big_data

#AI #ML #LLM #HuggingFace #TGI

✔️ OpenAI представила Sora: новую модель для создания видеороликов по текстовому описанию.

Компания OpenAI на онлайн-стриме анонсировала запуск Sora – инструмента для создания видео по текстовому запросу. Sora доступна подписчикам ChatGPT Plus и Pro, с ограничениями по региону (недоступна на территории ЕС и Великобритании), количеству генераций и качеству видео. Plus-пользователи смогут создавать до 5 видео в месяц длиной до 5 секунд в разрешении до 720p.

Pro-подписка позволяет сгенерировать до 500 коротких видео длиной до 20 секунд в разрешении до 1080p. Sora предлагает различные инструменты для редактирования и управления процессом создания видео: Storyboard для покадровой режиссуры и функции для добавления начала, концовки и объединения нескольких видео.
openai.com

@machinelearning_ru

💡 AQLM․rs — сервис для запуска ИИ на пользовательских девайсах, позволяющий сэкономить на вычислительных мощностях. Опенсорс-проект разработал исследователь из научного отдела Яндекса.

С помощью сервиса можно запустить большую языковую модель с 8 млрд параметров на обычном компьютере или смартфоне через интерфейс любого браузера. Скорость ответов нейросети будет зависеть от производительности устройства.

🔗 Ссылка: *клик*

@machinelearning_ru

📖 Эта статья представляет SC-MCTS*: новый алгоритм Монте-Карло Tree Search (MCTS) для больших языковых моделей (LLM), который значительно улучшает точность и скорость рассуждений!

🌟 Авторы отмечают, что предыдущие работы по применению MCTS в LLM часто упускали из виду его главный недостаток — медленную скорость по сравнению с Chain of Thought (CoT). Кроме того, ранее MCTS использовался как инструмент для различных задач LLM без глубокого количественного анализа или исследований его компонентов с точки зрения интерпретируемости рассуждений. Наконец, модель вознаграждения, являющаяся ключевым компонентом MCTS, редко подвергалась глубокому изучению или улучшению.

💡 В ответ на эти вызовы авторы провели обширные исследования и количественный анализ компонентов MCTS, выявив их влияние на производительность рассуждений LLM. На основе этих исследований они разработали интерпретируемую модель вознаграждения, основанную на принципе контрастивного декодирования, и достигли среднего улучшения скорости на 51,9% на узел с использованием спекулятивного декодирования. Дополнительно были улучшены стратегии выбора узлов UCT и обратного распространения, что привело к значительному повышению производительности. Используя SC-MCTS* с моделью Llama-3.1-70B, они превзошли o1-mini в среднем на 17,4% на наборе данных Blocksworld для многошаговых рассуждений.

🔗 Ссылка: *клик*

@machinelearning_ru

🔥 Эта статья посвящена тонкой настройке больших языковых моделей (LLM)!

🌟 Здесь рассмотрены ключевые этапы настройки, от подготовки данных до развертывания модели, описаны подходы (например, LoRA и DPO) и обсуждаются проблемы, включая оптимизацию производительности, управление данными и использование мультимодальных моделей. Автор подчеркивает перспективы применения LLM и предлагает рекомендации для исследователей и практиков.

📖 Читать: *клик*

@machinelearning_ru

🌟 Fish Speech V1.5: модель преобразования текста в речь и клонирования голоса.

Fish Speech - модель генерации TTS обновилась до версии 1.5. Эта версия обучалась на 1 млн.часов мультиязычных аудиоданных и заняла 2 место в бенчмарке TTS-Arena (как "Anonymous Sparkle").

Заявлена задержка <150 мс с высококачественным мгновенным клонированием голоса.

▶️Языковая структура обучающего корпуса версии 1.5:

🟢Английский (en) >300 тыс. часов
🟢Китайский (zh) >300 тыс. часов
🟢Японский (ja) >100 тыс. часов
🟢Немецкий (de) ~20 тыс. часов
🟢Французский (fr) ~20 тыс. часов
🟢Испанский (es) ~20 тыс. часов
🟢Корейский (ko) ~20 тыс. часов
🟢Арабский (ar) ~20 тыс. часов
🟠Русский (ru) ~20 тыс. часов
🟢Голландский (nl) <10 тыс. часов
🟢Итальянский (it) <10 тыс. часов
🟢Польский (pl) <10 тыс. часов
🟢Португальский (pt) <10 тыс. часов

Fish Speech для локального инференса требует 4Gb GPU и 8 BG GPU для файнтюна. Запуск возможен на MacOS, Linux и Windows в режимах CLI, GUI и WebUI и Docker.

Подробные инструкции по установке, инференсу в различных режимах для каждой платформы, туториал по файнтюну и примеры доступны в документации проекта Fish Speech.

⚠️ Репозиторий на Github еще не обновлен информацией о версии 1.5, а официальное демо от разработчиков поддерживает синтез только на английском, китайском и японском.


📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Модель
🟡Demo
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TTS #FIshSpeech

⚡️ Новый искусственный интеллект DeepMind для игр Делает Невозможное!

Google DeepMind совершила значительный прорыв, представив Genie 2 – модель, которая способна создавать бесконечное множество интерактивных 3D-миров.

Genie 2 представляет собой мировую модель с автогрессивной латентной диффузией, обученную на большом объеме видеоданных. Модель умеет строить играбельные миры всего лишь на основе одного изображения, а также реагировать на действия пользователя с помощью клавиатуры и мыши.

Основные возможности системы включают:

🔹Создание последовательных миров продолжительностью до одной минуты
🔹Запоминание и точное воспроизведение частей мира, которые временно выходят за пределы видимости
🔹Моделирование сложных физических процессов, таких как гравитация, дым, вода и освещение
🔹Анимация персонажей и их взаимодействия с окружающей средой
🔹Генерация NPC с продвинутыми поведенческими моделями
🔹Поддержка различных перспектив, начиная от вида от первого лица и заканчивая изометрическим видом

Особо стоит отметить возможность быстрого прототипирования. Дизайнерам теперь легко преобразовывать концептуальные рисунки в полноценные интерактивные среды, что значительно ускоряет процесс создания игр. Кроме того, Genie 2 способна работать с реальными фотографиями, воссоздавая мелкие детали вроде колеблющейся травы или текущей воды.

Мы собрали для вас целую коллекцию примеров – это просто невероятно!

Несмотря на то, что технология пока находится на начальной стадии развития, мы уверены, что через несколько лет она произведет настоящую революцию в индустрии компьютерных игр.

🎯 Источник
🎯Статья

@machinelearning_ru

👩‍💻 pypyr — это инструмент для автоматизации задач и выполнения пайплайнов, который сочетает команды, скрипты на разных языках программирования и приложения в единый процесс! Pypyr позволяет определять пайплайны в формате YAML, что делает его удобным для управления сложными задачами.

💡 Инструмент предоставляет интерфейс командной строки (CLI) и API для выполнения пайплайнов. Он может быть расширен за счёт плагинов, таких как поддержка AWS или Slack. Это делает pypyr подходящим для самых разных сценариев автоматизации, включая управление ресурсами, отправку уведомлений и интеграцию с внешними сервисами. Для использования достаточно установить библиотеку через pip и задать конфигурацию пайплайнов!

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru

🌟 PydanticAI: фреймворк для создания AI-агентов на основе Pydantic.

PydanticAI - фреймворк для Python, созданный командой разработчиков Pydantic, который упрощает создание приложений с использованием LLM. Фреймворк имеет простой и интуитивно понятный интерфейс для взаимодействия с LLMs, поддерживающими Async OpenAI (Ollama) и openAI API (ChatGPT, Gemini и Groq), с поддержкой Anthropic в ближайшем будущем.

Основная особенность PydanticAI - система внедрения зависимостей, которая передает данные, соединения и логику в целевую модель. Она упрощает тестирование и оценку агентов и позволяет динамически формировать системные промпты и определять инструменты, доступные LLM.

PydanticAI имеет возможность потоковой обработки ответов с валидацией структурированных данных, позволяя контролировать корректность соответствие данных ожидаемому ответу, тем самым повышая эффективность и интерактивность приложений.

Для отладки и мониторинга работы агентов предусмотрена интеграция с Pydantic Logfire, с которым можно отслеживать запросы к базам данных, анализировать поведение модели и оценивать производительность.

▶️ В документации к проекту доступны примеры применения PydanticAI в сценариях:

🟢Построение Pydantic-модели на основе текстового ввода;
🟢Погодный агент;
🟢Агент поддержки клиентов банка;
🟢Генерация SQL-запросов на основе пользовательского ввода;
🟢RAG-поиск по массиву markdown-документам;
🟢Вывод результатов работы агента в терминале;
🟢Пример проверки потокового структурированного ответа на примере информации о видах китов;
🟢Простой чат-приложение.

⚠️ PydanticAI находится на ранней стадии бета-тестирования.

▶️Установка и простой пример "Hello Word" с Gemini-1.5-flash:

# Install via  PyPI
pip install pydantic-ai

# Set Gemini API key
export GEMINI_API_KEY=your-api-key

# Run example
from pydantic_ai import Agent
agent = Agent(
    'gemini-1.5-flash',
    system_prompt='Be concise, reply with one sentence.',
)
result = agent.run_sync('Where does "hello world" come from?')
print(result.data)
"""
The first known use of "hello, world" was in a 1974 textbook about the C programming language.
"""

📌Лицензирование: MIT License.


🟡Документация
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Agents #Framework #PydanticAI

🔍 Podcastfy — инструмент с открытым исходным кодом для генерации подкастов с использованием возможностей ИИ!

🌟 Он позволяет автоматически создавать диалоги на основе текстов, добавлять персонализированные элементы, а также настраивать стиль беседы, структуру диалогов и даже текстовые параметры для подкаста.

🌟 Программа поддерживает интеграцию с текстовыми и голосовыми сервисами, такими как ElevenLabs, OpenAI и Edge TTS, для преобразования текста в речь и создания аудиофайлов. Включены настройки для работы с голосами, стилем речи и другими параметрами. Это делает инструмент полезным для разработчиков, желающих автоматизировать производство подкастов или эксперименты с генеративным контентом.

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru