Big data world

Развертывание моделей машинного обучения: пошаговое руководство
Давайте рассмотрим процесс развертывания моделей в производстве.

https://www.kdnuggets.com/deploying-machine-learning-models-a-step-by-step-tutorial

Уроки, извлеченные из масштабирования до многотерабайтных наборов данных.
Этот пост предназначен для того, чтобы познакомить вас с некоторыми уроками, которые я усвоил при работе с многотерабайтными наборами данных…

https://v2thegreat.com/2024/06/19/lessons-learned-from-scaling-to-multi-terabyte-datasets/

Эмпирическое исследование использования энергии и производительности библиотек Python для анализа данных Pandas и Polars [PDF]
Мы стремимся оценить энергопотребление Pandas, широко используемой библиотеки манипулирования данными Python, и Polars, библиотеки на основе Rust, известной своей производительность. Целью исследования является предоставление аналитикам данных информации путем определения сценариев, в которых одна библиотека превосходит другую с точки зрения энергопотребления, а также изучения возможных корреляций между показателями энергопотребления и производительности… https://www.ivanomalavolta.com/files/papers/EASE_2024.pdf

Справочник по генеративному искусственному интеллекту: план учебных ресурсов

https://genai-handbook.github.io/

Написание быстрых строковых функций для NumPy 2.0

https://labs.quansight.org/blog/numpy-string-ufuncs

Воспроизводим GPT-2 (124М) с нуля. В этом видео показан весь процесс

https://www.youtube.com/watch?v=l8pRSuU81PU

🧵 Блокнот Jupyter на базе искусственного интеллекта, созданный с использованием React. 🧵
Блокнот Python на базе искусственного интеллекта, встроенный в React: создавайте и редактируйте ячейки кода, автоматически исправляйте ошибки и общайтесь с вашим кодом. Самое приятное то, что Thread работает локально и его можно бесплатно использовать с вашим собственным ключом API…

https://github.com/squaredtechnologies/thread

Модель авторегрессии превосходит диффузию: лама для создания масштабируемых изображений

Мы представляем LlamaGen, новое семейство моделей генерации изображений, которые применяют оригинальную парадигму «предсказания следующего токена» больших языковых моделей к области визуальной генерации.

https://github.com/foundationvision/llamagen

Warp — это среда Python для написания высокопроизводительного кода моделирования и графики.

https://github.com/NVIDIA/warp

Практическое руководство по масштабированию обучения модели машинного обучения

https://blog.dailydoseofds.com/p/a-practical-guide-to-scaling-ml-model

Масштабируемое языковое моделирование без MatMul

Наши эксперименты показывают, что предлагаемые нами модели без MatMul достигают производительности на уровне современных трансформаторов, которым требуется гораздо больше памяти во время вывода в масштабе как минимум до 2,7B параметров.

https://github.com/ridgerchu/matmulfreellm

Создание приложений LLM: четкое пошаговое руководство
Комплексные шаги по созданию собственных приложений LLM: от первоначальной идеи до экспериментов, оценки и производства

https://towardsdatascience.com/building-llm-apps-a-clear-step-by-step-guide-1fe1e6ef60fd

Бесплатная книга по байесовскому анализу данных


Одна из лучших книг по байесовскому анализу данных доступна бесплатно и охватывает такие ключевые основы, как вероятность и вывод, одно- и многопараметрические модели, а также иерархические модели. Это отличный ресурс, позволяющий перейти от основ к более сложным нюансам

https://stat.columbia.edu/~gelman/book/

Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU

Сегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.

В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них. https://habr.com/ru/companies/yandex/articles/817509/

Анализ главных компонентов стал проще: пошаговое руководство
Реализуйте алгоритм PCA с нуля с помощью Python

https://towardsdatascience.com/principal-component-analysis-made-easy-a-step-by-step-tutorial-184f295e97fe

Создание универсальных агентов, способных выполнять разнообразные задачи и развиваться в различных средах, является долгосрочной целью сообщества ИИ. Большие языковые модели (LLM) считаются многообещающей основой для создания таких агентов из-за их обобщенных возможностей.

AgentGym — это новая платформа, включающая множество сред и задач для широкого, унифицированного и одновременного исследования агентов в режиме реального времени.

https://github.com/woooodyy/agentgym

Путешествие LLM: от POC к производству


https://medium.com/cyberark-engineering/an-llm-journey-from-poc-to-production-6c5ec6a172fb

Gaussian: Фотореалистичная 3D-реконструкция уличных сцен — важнейший метод разработки реальных симуляторов автономного вождения. Несмотря на эффективность Neural Radiance Fields (NeRF) для сцен вождения, 3D Gaussian Splatting (3DGS) становится многообещающим направлением из-за его более высокой скорости и более четкого представления.

https://github.com/nnanhuang/s3gaussian

Опасная зона в науке о данных

Почему посредственное машинное обучение так опасно для бизнеса
https://delphinaai.substack.com/p/the-danger-zone-in-data-science

Точная настройка моделей трансформаторов меньшего размера: текстовая классификация
Использование Microsoft Phi-3 для генерации синтетических данных

https://towardsdatascience.com/fine-tune-smaller-transformer-models-text-classification-77cbbd3bf02b

AutoCoder: улучшение модели большого языка кода с помощью \textsc{AIEV-Instruct}

Мы представили новую модель, предназначенную для задачи генерации кода. Точность его испытаний на базовом наборе данных HumanEval превосходит точность GPT-4 Turbo (апрель 2024 г.) и GPT-4o. https://github.com/bin123apple/autocoder