Big data world

Платформа для анализа данных за вечер.

Текущее состояние российского рынка аналитических и ML-решений сложно назвать стабильным. Какие-то инструменты более недоступны, а на их место регулярно приходят новые. Причем не только вендорские, но еще и open source, а также облачные сервисы.

Инструменты «из коробки» не всегда подходят для решения всех необходимых задач. Какие-то слишком сложны для базовой аналитики, другие стоят больших денег, третьи заточены под определенный тип данных или более узкие задачи.

Один из набирающих популярность вариантов — собрать собственное решение, можно сказать, небольшую платформу данных. Варианты могут быть разнообразные — от разработки софта до интеграции готовых open source-элементов. Касаться первого варианта сегодня бы не хотелось, а вот второй рассмотрим подробнее.

В статье рассказываем, как всего за час (или почти) подготовить облачное окружение, создать свою небольшую платформу для анализа данных и спарсить весь Hugging Face.

Читать дальше →https://habr.com/ru/companies/selectel/articles/761948

Классические уравнения и диаграммы в машинном обучении

https://github.com/soulmachine/machine-learning-cheat-sheet

Разработка систем генеративного ИИ на базе ML Platform: создаем конкурента ChatGPT без миллионных инвестиций.

2023-й — однозначно год генеративного искусственного интеллекта и сервисов на его основе, которые используют в разных кейсах и сценариях. Но даже при этом для многих сфера генеративного ИИ остается на уровне пользовательского интереса. Это упущение, ведь потенциал GPT-моделей и им подобных не ограничен поиском ответов на классические вопросы и даже ассистированием в процессе разработки. А их создание не относится к числу нерешаемых задач тысячелетия. GPT — технология, которую можно приручить, и это проще, чем кажется.

Читать дальше →https://habr.com/ru/companies/vk/articles/761092

Создаём субтитры для любого видео в интернете с помощью нейросети в браузере.

Довольно часто пользователи смотрят видео с субтитрами, и тому есть разные причины. Например, кто-то хочет посмотреть видео там, где нужно соблюдать тишину или, наоборот, где слишком шумно. Или пользователь включает субтитры, когда ему непонятно, что говорит спикер. Для слабослышащих людей субтитры — это один из немногих способов ознакомиться с содержанием видеороликов.

Но чаще всего включить субтитры в видеоплеере сайта доступны, только когда владелец веб-ресурса предусмотрел такую возможность. Яндекс Браузер решил эту проблему: он научился самостоятельно генерировать субтитры для видео на русском языке. Новая функция работает на любых сайтах: видеохостинги, социальные сети, страницы телеканалов. Также субтитры работают для роликов, которые доступны только после авторизации или загружены в облачные хранилища. Это стало возможным благодаря нейросети, встроенной в десктопную версию Браузера.

В этой статье я расскажу, как мы построили модель для генерации субтитров и на что нам пришлось пойти, чтобы она стала потреблять в 5 раз меньше оперативной памяти. А ещё поговорим про квантизацию свёрток и трансформеров и почему fp16 не так прост, как кажется.

Читать далее https://habr.com/ru/companies/yandex/articles/758782/

Комплексное руководство по созданию приложений LLM на основе RAG

https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb

Создание модели линейной регрессии в Python

В этом посте я создам модель линейной регрессии, используя библиотеку scipy , и сравню эту модель с моделью линейной регрессии, найденной в библиотеке sklearn . Конечно, наша цель здесь — не конкурировать с библиотекой sklearn, однако по мере построения модели вы узнаете больше о том, как работает линейная регрессия и лежащая в ее основе динамика. https://medium.com/@ozzgur.sanli/creating-a-linear-regression-model-in-python-c5ee20b50aec

Новая модель сегментации видео для "отслеживания чего угодно" без обучения по видео для любой отдельной задачи.

🖥 Github: https://github.com/hkchengrex/Tracking-Anything-with-DEVA

🖥 Colab: https://colab.research.google.com/drive/1OsyNVoV_7ETD1zIE8UWxL3NXxu12m_YZ?usp=sharing

⏩ Project: https://hkchengrex.github.io/Tracking-Anything-with-DEVA/

📕 Paper: https://arxiv.org/abs/2309.03903v1

⭐️ Docs: https://paperswithcode.com/dataset/burst

В последнее время HN проявляет большой интерес к тонкой настройке LLM с открытым исходным кодом. Я несколько лет экспериментировал с тонкой настройкой моделей и хотел поделиться некоторыми идеями и практическим кодом. Я собрал все, что узнал, в небольшой набор блокнотов по адресу

https://github.com/OpenPipe/OpenPipe/tree/main/examples/classify-recipes

📝Построение моделей на основе SQL в MLflow для оптимизированного управления жизненным циклом машинного обучения

Пошаговое руководство по интеграции моделей SQL в экосистему MLflow

https://levelup.gitconnected.com/bridging-the-gap-constructing-sql-based-models-in-mlflow-for-streamlined-ml-lifecycle-management-f7c4b9e4e667

📝Точная настройка больших языковых моделей (LLM)

https://towardsdatascience.com/fine-tuning-large-language-models-llms-23473d763b91
Концептуальный обзор с примером кода Python

Обучение LLM: RLHF и его альтернативы

Я часто ссылаюсь на процесс под названием «Обучение с подкреплением с обратной связью с человеком» (RLHF) при обсуждении LLM, будь то в исследовательских новостях или в учебных пособиях. RLHF является неотъемлемой частью современного процесса обучения LLM благодаря своей способности учитывать человеческие предпочтения в среде оптимизации, что может повысить полезность и безопасность модели.

В этой статье я пошагово разберу RLHF

https://magazine.sebastianraschka.com/p/llm-training-rlhf-and-its-alternatives

Список, поясняющий основные концепции и работы в области ML

https://github.com/dair-ai/ML-Papers-Explained

Углубленное изучение фундаментальных принципов и широкого спектра применения LLM

Модели больших языков (LLM) являются центральной темой современного машинного обучения. Это статистические модели, обученные на огромных объемах текста, позволяющие им понимать и генерировать язык. Их сила заключается в обработке сложной информации, понимании контекста и предоставлении соответствующих результатов. Продолжая, мы обсудим основы и применение программ LLM, а также их роль в современном технологическом ландшафте. https://dev.to/ulianaev/in-depth-exploration-of-the-fundamental-principles-and-broad-spectrum-applications-of-llms-3p90

Как (быстро) сделать русский локальный ChatGPT.

Эта история началась в начале марта этого года. ChatGPT тогда был в самом расцвете. Мне в Telegram пришёл Саша Кукушкин, с которым мы знакомы довольно давно. Спросил, не занимаемся ли мы с Сашей Николичем языковыми моделями для русского языка, и как можно нам помочь.

И так вышло, что мы действительно занимались, я пытался собрать набор данных для обучения нормальной базовой модели, rulm, а Саша экспериментировал с существующими русскими базовыми моделями и кустарными инструктивными наборами данных.

После этого мы какое-то время продолжали какое-то время делать всё то же самое. Я потихоньку по инерции расширял rulm новыми наборами данных. Посчитав, что обучить базовую модель нам в ближайшее время не светит, мы решили сосредоточиться на дообучении на инструкциях и почти начали конвертировать то, что есть, в формат инструкций по аналогии с Flan. И тут меня угораздило внимательно перечитать статью.

Читать далее https://habr.com/ru/articles/759386

Лучшие практики в области науки о данных, часть 1. Тестируйте свои запросы

Как убедиться, что наши запросы выполняют то, что мы от них ожидаем, и другие будущие блага.
https://towardsdatascience.com/data-science-better-practices-part-1-test-your-queries-629ad5209f28

Клонирование голоса, замена лица по фото, удаления объектов в видео и все в одном open-source проекте Wunjo AI.

Привет, читатель! В этой статье вы погрузитесь в захватывающий мир новых возможностей для создания дипфейков и синтеза речи в Wunjo AI v1.5, проект полностью с открытым исходным кодом. Вы узнаете о последних фичах, которые позволяют помимо синтеза речи, теперь клонировать голос из аудиофайлов или даже в режиме реального времени, меняют лица на видео с использованием всего одной фотографии, удаляют объекты с видеороликов и значительно повышают качество дипфейков с помощью нейронных сетей для ретуширования. К тому же остается возможность создавать анимацию лица из обычных картинок и анимирования движение губ по аудио в Wunjo AI, Вы не только увидите и услышите результаты этих функций, но и окунетесь в мир приложения, которое делает это возможным.

Важно отметить, что Wunjo AI с открытым исходным кодом доступен для установки локально на операционных системах Windows, Ubuntu и MacOS, и это абсолютно бесплатно, без ограничений.

Готовы? Погнали! https://habr.com/ru/articles/759566

Data больше не Big: как данные перестали быть большими и почему это полезно для бизнеса.

Большие данные мертвы. В той их части, которая характеризуется как “большие”. Так считает Джордан Тигани, инженер-основатель Google BigQuery, человек, который больше 10 лет рассказывал всем о пользе big data. Что он имеет в виду и что это значит для бизнеса? Давайте разбираться.

Читать далее https://habr.com/ru/companies/itsumma/articles/758996

Представляем freeCodeCamp Press — бесплатные книги для разработчиков

Сообщество freeCodeCamp за годы опубликовало более 10 000 руководств. Но в последнее время мы сосредоточились на создании еще более объемных ресурсов для изучения математики, программирования и информатики.

Вот почему мы создали freeCodeCamp Press — подразделение freeCodeCamp, где мы публикуем полноформатные книги и справочники — все они доступны каждому бесплатно. https://www.freecodecamp.org/news/freecodecamp-press-books-handbooks/

RecMind: Агент для рекомендаций на основе больших языковых моделей

Недавние достижения значительно расширили возможности больших языковых моделей (LLM) в различных задачах, однако их потенциал в области персонализированных рекомендаций остается относительно неизученным. Для устранения этого пробела был разработан новый автономный агент-рекомендатор на базе LLM под названием RecMind. RecMind предназначен для предоставления высокоперсонализированных рекомендаций за счет использования алгоритмов планирования, подключения к внешним источникам данных и использования индивидуальных данных.

Paper: https://arxiv.org/abs/2308.14296

Подробный неофициальный обзор статьи:
https://andlukyane.com/blog/paper-review-recmind

🤖 🔥AI Copilot для вашего собственного SaaS-продукта. Помощник по искусственному интеллекту с открытым исходным кодом для всех.

https://github.com/openchatai/OpenCopilot

Сегментация медицинских изображений достигла впечатляющих успехов! Специальная группа исследователей из Шанхайской лаборатории искусственного интеллекта при Сычуаньском университете добилась значительных успехов в анализе медицинских изображений. Они значительно улучшили интерпретацию медицинских изображений, используя безграничный потенциал модели Segment Anything для 2D (SAM-Med2D).

SAM-Med2D предлагает современные методы повышения точности и эффективности сегментации медицинских изображений. Это достижение может изменить то, как врачи классифицируют и идентифицируют заболевания, улучшая лечение пациентов и улучшая результаты.

Github: https://github.com/uni-medical/sam-med2d

Colab: https://colab.research.google.com/github/uni-medical/SAM-Med2D/blob/main/predictor_example.ipynb

Paper: https://arxiv.org/abs/2308.16184

Dataset: https://paperswithcode.com/dataset/sa-1b