Big Data AI

🖥 Большая шпаргалка по построению графиков в Matplotlib с примерами кода

Matplotlib — мощная библиотека построения графиков на Python, используемая для создания статических, анимированных и интерактивных визуализаций.

Основные характеристики Matplotlib:

Универсальность: может генерировать широкий спектр графиков, включая линейные графики, диаграммы рассеяния, столбчатые диаграммы, гистограммы и круговые диаграммы.

Настройка: предлагает обширные возможности для управления каждым аспектом графика, таким как стили линий, цвета, маркеры, метки и аннотации.

Интеграция с NumPy: легко интегрируется с NumPy, что упрощает построение графиков массивов данных напрямую.

Качество публикации: создает высококачественные графики, подходящие для публикации, с точным контролем эстетики.

Расширяемость: легко расширяется с большой экосистемой дополнительных наборов инструментов и расширений, таких как функции построения графиков Seaborn и Pandas.

Кроссплатформенность: не зависит от платформы и может работать на различных операционных системах, включая Windows, macOS и Linux.

Интерактивные графики: поддерживает интерактивное построение графиков с помощью виджетов и обработки событий, позволяя пользователям динамически исследовать данные.

💸💵 AI Startup Cohere Valued at $5.5 Billion in New Funding Round

Канадский стартап Cohere Inc., занимающийся разработкой крупномасштабных языковых моделей для бизнеса, поднял $500 млн в новом раунде финансирования и оценивается в $5.5 млрд. 💰

Cohere, работающий с крупными клиентами вроде Oracle и Notion Labs, предлагает альтернативу популярным чатботам, сосредотачиваясь на практическом применении ИИ для улучшения бизнес-процессов.

Компания планирует удвоить численность своих сотрудников и сохранить свою главную базу в Торонто, несмотря на наличие офисов в Сан-Франциско и Лондоне.

#аналитика #bigdata #бизнес #IT #менеджмент #управление_продуктом #технологии

@bigdatai

Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов

💡 Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов, используя метод CoWoS. Основатель Nvidia Дженсен Хуанг встретился с руководителями TSMC, но получил отказ. TSMC признала, что не сможет удовлетворить спрос на компоненты для ИИ-систем до 2026 года, и решила сохранять равные условия для всех клиентов. Хотя TSMC ранее предоставляла привилегии крупным клиентам, как Apple, ситуация с Nvidia отличается. Компания будет жестко отстаивать свои интересы в переговорах. 🌐

#python #machinelearning #neuralnetwork #ml

@bigdatai

😱😱😱Inside the 78 minutes that took down millions of Windows machines

На прошлой неделе ошибка в обновлении CrowdStrike Falcon вызвала массовые сбои Windows по всему миру. Ошибка в драйвере привела к «синему экрану смерти» на миллионах ПК. CrowdStrike быстро выпустила исправление через 78 минут, но ущерб уже был нанесен.

🚨Проблема показала необходимость улучшения тестирования обновлений и возможности отключения проблемных драйверов в Windows. Microsoft, возможно, потребуется ужесточить доступ к ядру Windows для сторонних приложений, несмотря на возможное сопротивление со стороны поставщиков безопасности и регуляторов.

#crowdstrike #аналитика #bigdata #microsoft

📎 Статья

@bigdatai

✨Яндекс разработал алгоритм, позволяющий сжимать языковые модели в 8 раз без потери качества

Команда Yandex Research совместно с исследователями IST Austria разработала новые методы сжатия больших языковых моделей и выложила их в опенсорс. При уменьшении моделей этим способом в 8 раз исследователям удалось сохранить качество ответов в среднем на 95%.

Решение позволит компаниям и независимым разработчикам значительно сэкономить потребляемые ресурсы и ускорить работу нейросетей. Например, запускать модели на устройствах с небольшой вычислительной мощностью.

Статья о новом подходе вошла в программу международной конференции по машинному обучению ICML: https://habr.com/ru/companies/yandex/articles/830410

@bigdatai

🌟 ZebraLogic: Комплексная оценка логического мышления крупных языковых моделей.

ZebraLogic - бенчмарк, основанный на логических головоломках и представляет собой набор из 1000 программно сгенерированных заданий различной сложности - с сеткой от 2x2 до 6x6.

Каждая головоломка состоит из N домов (пронумерованных слева направо) и M характеристик для каждого дома. Задача заключается в том, чтобы на основе предоставленных подсказок определить уникальное распределение значений характеристик по домам.
Языковым моделям предоставляется один пример решения головоломки с подробным объяснением хода рассуждений и ответом в формате JSON. Затем модели должны решить новую задачу, предоставив как ход рассуждений, так и окончательное решение в заданном формате.

⏩Метрики оценки:
1. Точность на уровне головоломки (процент полностью правильно решенных головоломок).
2. Точность на уровне ячеек (доля правильно заполненных ячеек в матрице решения).

⏩Головоломки разделены на два уровня по сложности:
1. Легкие (сетка менее 3x3)
2. Сложные (сетка размером 3x3) и более.

✔️ Результаты оценки популярных моделей, представленные в публичном лидерборде:

🟢лучшие результаты показала Claude 3.5 Sonnet, решившая 33,4% всех головоломок и 12,4% сложных задач
🟢лучший результат среди открытых моделей у DeepSeek-v2-Chat (0628)
🟢модели с 7-10B параметров продемонстрировали крайне низкую эффективность на сложных головоломках (менее 1% решенных задач)
🟢Gemini-1.5-Pro оказалась сопоставима с более легкой Gemini-1.5-Flash
🟢Greedy decoding в большинстве случаев дает лучшие результаты, чем сэмплирование.

✔️ Для сравнения, средняя время выполнение теста человеком:

2x2 ~ 15 секунд
3х3 ~ 1 минута 30 секунд
4х4 ~ от 10 до 15 минут


▶️ Локальный запуск ZebraLogic в рамках фреймфорка ZeroEval

# Install via conda

conda create -n zeroeval python=3.10
conda activate zeroeval

# pip install vllm -U # pip install -e vllm 

pip install vllm==0.5.1
pip install -r requirements.txt
# export HF_HOME=/path/to/your/custom/cache_dir/

# Run Meta-Llama-3-8B-Instruct via local, with greedy decoding on `zebra-grid`
bash zero_eval_local.sh -d zebra-grid -m meta-llama/Meta-Llama-3-8B-Instruct -p Meta-Llama-3-8B-Instruct -s 4

📌Лицензирование: Apache-2.0 license


🟡Страница проекта
🟡Датасет на HF
🟡Leaderboard
🖥Github [ Stars: 38 | Issues: 1 | Forks: 1]


@ai_machinelearning_big_data

#AI #Benchmark #LLM #Evaluation #ML

✨Наборы данных NuminaMath: крупнейшая коллекция из ~ 1 млн пар задач и решений для математических соревнований, варьирующихся по сложности от юношеских олимпиад до университетских экзаменов.

➡️ Цепочка рассуждений (CoT): 860 тысяч пар задач и решений, созданных с помощью CoT.

🛠️ Инструментально-интегрированные рассуждения (TIR): 73 тысячи синтетических решений, полученных на основе GPT-4, с обратной связью по выполнению кода для разбивки сложных задач на более простые подзадачи, которые могут быть решены с помощью Python.

Модели, обученные на NuminaMath, демонстрируют лучшие в своем классе показатели среди моделей с открытым весом и приближаются или превосходят собственные модели по показателям математических соревнований 🔥

🤗 Hub: https://huggingface.co/collections/AI-MO/numinamath-6697df380293bcfdbc1d978c

@bigdatai

"PetFace: крупный набор данных и бенчмарк для идентификации животных" будет представлен на #ECCV2024!! 🐶🐱🐦🐷🐰


Веб-сайт: https://dahlian00.github.io/PetFacePage/
Статья: https://arxiv.org/abs/2407.13555

@bigdatai

🌟 Athene-Llama3-70B: улучшенная чат-модель Llama-3-70B-Instruct от Nexusflow.

Athene-Llama3-70B - это чат-ориентированная модель, дообученная с помощью RLHF на основе Llama-3-70B-Instruct.
Значительное повышение производительности - это результат строгих оценочных показателей в процессе обучения, качественный собственный датасет и уникальный посттренинговый конвейер Nexusflow.

Улучшения по сравнению с исходной Llama-3-70B-Instruct:
🟢Более точное следование инструкциям, модель лучше реагирует на сложные промпты, выдавая четкие и лаконичные ответы;
🟢Повышена способность в математике и рассуждениях, способность решать вопросы, требующие большого количества аргументов;
🟢Улучшен навык помощи написания кода в виде расширенных предложений по коду для более легкого создания и внедрения;
🟢Доработана креативность в написании текстов, писем, эссэ;
🟢Улучшена поддержка мультиязычности и повышено качество семантического перевода с одного языка на другой.

Athene-70B показала результат 77,8% в Arena-Hard-Auto, что ставит ее в один ряд с GPT-4o (79,2%) laude-3.5-Sonnet (79,3%).
Для сравнения, базовая Llama-3-70B-Instruct в Arena-Hard-Auto демонстрировала результат в 46,6%.

▶️Внимание, размер модели составляет ~ 140 Gb

Athene-70B использует тот же шаблон системного промпта, что и Llama-3-70B-Instruct.

📌Лицензирование: CC-BY-NC-4.0

🟡Страница проекта
🟡Модель на HF
🟡Сообщество и поддержка
🖥Github Nexusflow [ Stars: 349 | Issues: 9 | Forks: 30 ]

@ai_machinelearning_big_data

#AI #Nexusflow #LLM #ML #Athene70B

🗃 Библиотеки для работы с временными рядами

🔴Прогнозирование
• [17,9k stars] https://github.com/facebook/prophet
• [9,6k stars] https://github.com/statsmodels/statsmodels
• [7,5k stars] https://github.com/alan-turing-institute/sktime
• [7,4k stars] https://github.com/unit8co/darts
• [4,8k stars] https://github.com/facebookresearch/Kats
• [4,7k stars] https://github.com/thuml/Time-Series-Library
• [3,7k stars] https://github.com/jdb78/pytorch-forecasting
• [3,3k stars] https://github.com/salesforce/Merlion
• [1,8k stars] https://github.com/linkedin/greykite
• [840 stars] https://github.com/etna-team/etna
• [610 stars] https://github.com/aimclub/FEDOT

🟢Классификация
• [7,5k stars] https://github.com/alan-turing-institute/sktime
• [4,7k stars] https://github.com/thuml/Time-Series-Library
• [2,8k stars] https://github.com/tslearn-team/tslearn/
• [1,7k stars] https://github.com/johannfaouzi/pyts
• [1,5k stars] https://github.com/hfawaz/dl-4-tsc
• [840 stars] https://github.com/tinkoff-ai/etna

🟣Кластеризация
• [7,5k stars] https://github.com/alan-turing-institute/sktime
• [2,8k stars] https://github.com/tslearn-team/tslearn/

🟡Агрегация (выделение признаков)
• [8,2k stars] https://github.com/blue-yonder/tsfresh
• [4,8k stars] https://github.com/facebookresearch/Kats
• [800 stars] https://github.com/fraunhoferportugal/tsfel
• [370 stars] https://github.com/predict-idlab/tsflex

🔵Поиск аномалий (changepoint detection)
• [1,5k stars] https://github.com/deepcharles/ruptures
• [17,9k stars] https://github.com/facebook/prophet
• [4,8k stars] https://github.com/facebookresearch/Kats
• [4,7k stars] https://github.com/thuml/Time-Series-Library
• [3,3k stars] https://github.com/salesforce/Merlion
• [2,1k stars] https://github.com/SeldonIO/alibi-detect
• [1,8k stars] https://github.com/linkedin/greykite
• [1,2k stars] https://github.com/linkedin/luminol
• [1k stars] https://github.com/arundo/adtk

🔴Поиск аномалий (outlier detection)
• [8k stars] https://github.com/yzhao062/pyod
• [1,3 stars] https://github.com/datamllab/tods
• [840 stars] https://github.com/tinkoff-ai/etna
• [750 stars] https://github.com/zillow/luminaire/
• [220 stars] https://github.com/selimfirat/pysad

🟢Аугментация и генерация
• [4,8k stars] https://github.com/timeseriesAI/tsai
• [630 stars] https://github.com/ratschlab/RGAN
• [330 stars] https://github.com/arundo/tsaug
• [330 stars] https://github.com/TimeSynth/TimeSynth
• [320 stars] https://github.com/uchidalab/time_series_augmentation

@bigdatai

💻 HugeGraph — open-source графовая БД, реализованная на фреймворке Apache TinkerPop3 и полностью совместимая с языком запросов Gremlin

HugeGraph поддерживает импорт более 10 миллиардов вершин и ребер и может очень быстро обрабатывать запросы (на уровне мс).

Типичные сценарии применения HugeGraph — это исследование связей между объектами, анализ ассоциаций, поиск путей, извлечение признаков, кластеризация данных, обнаружение сообществ, построение графа.

Быстрый старт с Docker:

docker run -itd --name=graph -p 8080:8080 hugegraph/hugegraph
# docker exec -it graph bash

🖥 GitHub
🟡 Доки

@bigdatai

⚡️ Обход капчи с GPT4o

Мощный инструмент для обхода различных капч (головоломок, текста, рекапчи) с использованием Python, Selenium и Open air GPT-4o.


📌 Github

#Python #Selenium #OpenAI #GPT4


@bigdatai

Прикольная, но глубоко платная штука: https://app.on-demand.io/

Кратко, что заявлено:
Обзор платформы On-Demand
• Обзор платформы On-Demand, которая предлагает хранилище, плагины, маркетплейс, игровую площадку, языковые модели и функции для создания собственных приложений.
• Ограничение в 50 гигабайт для учетной записи разработчика.
• Возможность просмотра используемых файлов, плагинов и языковых моделей.
• Кредитные гранты для стартапов.

Плагины и маркетплейс
• Более 50 плагинов на маркетплейсе, доступных для использования.
• Возможность сортировки и фильтрации плагинов по категориям.
• Возможность оценки и просмотра плагинов.
• Создание собственных плагинов с помощью схемы Open API или визуального builder.

Playground и создание приложений
• Playground - ядро платформы, где можно тестировать плагины, языковые модели и создавать свои приложения.
• Возможность использования плагинов, языковых моделей и встроенных функций.
• Экспорт кода для использования в собственных приложениях.

Бессерверные приложения и агенты
• Возможность развертывания языковых моделей на платформе для использования в собственных приложениях.
• Создание собственных агентов для автоматизации процессов.
• Примеры использования: финансовый агент, агент по подбору персонала.

Уникальные функции платформы
• Платформа предлагает децентрализованную операционную систему с большой языковой моделью, что делает ее уникальной.
• Платформа адаптирована для агентских рабочих нагрузок и оснащена для быстрого развертывания.
Возможности платформы
• Возможности платформы безграничны, и она может быть использована для различных задач.

Безграничны!))
Цены: от самой дорогой (Gpt-4о) до BYOM (если есть своя модель) и есть бесплатный Tier (см.скрин по возможностям)
Вход по Google

@bigdatai