Big Data AI

⚡️ Руководство по установке для проекта Dark GPT

DarkGPT - это помощник по искусственному интеллекту на базе GPT-4-200K, предназначенный для выполнения запросов к взломанным базам данных.

Это руководство поможет вам настроить и запустить проект в вашей локальной среде.

github.com/luijait/DarkGPT

@bigdatai

⚡️ Третье поколение языковых моделей YandexGPT

В компании анонсировали линейку YandexGPT 3. Нейросеть YandexGPT 3 Pro стала первой языковой моделью, которую компании смогут самостоятельно дообучать на конретных задачах в сервисе ML-разработки Yandex DataSphere. Чтобы запустить процесс дообучения, нужно загрузить в DataSphere файл с примерами запросов и эталонными ответами на них. Такая нейросеть будет доступна только дообучившей её компании.

Работу YandexGPT 3 Pro можно оценить в демке и встроить в продукты бизнеса через API. Её стоимость для бизнеса снизилась почти в два раза. Плюс это базовая модель, которую сам Яндекс будет использовать в новых запусках и интеграциях генеративных технологий в продукты и инфраструктуру.

@bigdatai

⚡️ Обнаружение текста, сгенерированного искусственным интеллектом

Исследователи изучили влияние ChatGPT на экспертные оценки конференций по искусственному интеллекту, подтвердив то, что мы все знали

статья: https://arxiv.org/pdf/2403.07183.pdf

@bigdatai

🌍 𝗠𝗮𝗷𝗼𝗿 𝗧𝗢𝗠: 𝗣𝗹𝗮𝗻𝗲𝘁 𝗘𝗮𝗿𝘁𝗵 𝗶𝘀 𝗯̶𝗹̶𝘂̶𝗲̶ 𝟱.𝟰𝟬𝟱 𝗚𝗛𝘇

MajorTom-Core-S1RTC новый стандарт изображений со спутников и датасет, который содержит 1 469 955 снимков.

16 ТБ радиометрически откалиброванных изображений.

▪HF: https://huggingface.co/Major-TOM
▪Github: https://github.com/ESA-PhiLab/Major-TOM/
▪Colab: https://colab.research.google.com/github/ESA-PhiLab/Major-TOM/blob/main/03-Filtering-in-Colab.ipynb
▪Paper: https://www.arxiv.org/abs/2402.12095
▪MajorTOM-Core-Viewer: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer

@ai_machinelearning_big_data

🚀 Intel предствавили полностью интегрированные многослойные персептроны на графических процессорах Intel для центров обработки данных

Intel Max 1550 превосходит графический процессор H100 в 2,84 раза при выводе и в 1,75 раза при обучении

https://arxiv.org/abs/2403.17607

@bigdatai

🌟 Нейросеть NVIDIA LATTE3D создаёт модели для 3D-принтера по текстовому описанию

⏩Компания NVIDIA представила новую генеративную ИИ-модель модель под названием LATTE3D. Разработчики позиционируют её как скоростной виртуальный 3D-принтер — она способна создавать трёхмерные объекты по текстовому описанию менее чем за секунду.

⏩LATTE3D создаёт 3D-модели в популярном формате, который используется для стандартных приложений рендеринга и применим в разработке видеоигр, рекламы, дизайн-проектов, а также в большинстве VR- и AR-приложений. Само по себе такое решение не ново, однако преимуществом ИИ-модели NVIDIA над другими проектами стала очень высокая скорость генерации.

⏩Согласно внутренним тестам компании, другим ИИ-моделям для создания готового результата требуется от 20 секунд до более 30 минут, в то время как LATTE3D справляется с задачей в среднем за 400 мс. Пока что разработчики научили LATTE3D генерировать только повседневные предметы и животных, но при наличии подходящих наборов данных портфолио модели можно расширить.

⏩Фирменный ИИ был обучен с использованием графических процессоров NVIDIA A100 Tensor Core, а его демоверсия работает на сборке с видеокартой NVIDIA RTX A6000.
Сейчас NVIDIA LATTE3D всё ещё находится в стадии разработки. О сроках выпуска общедоступной версии сервиса информации пока нет.

@bigdatai

ComCLIP: Training-Free Compositional Image and Text Matching

📄 Paper: http://arxiv.org/abs/2211.13854
🌐 Project: https://sites.google.com/view/comclip
🛠️ Code/Data: https://github.com/eric-ai-lab/ComCLIP (

@bigdatai

🤖 Phi-2 Теперь на #KaggleModels!

Phi-2 - это языковая модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности к рассуждению и пониманию языка.

https://www.kaggle.com/models/Microsoft/phi

@bigdatai

🔝 Google опубликовали новый датасет изображений состояния кожи (SCIN) в сотрудничестве с врачами StanfordMed.

Он доступен в свободном доступе в качестве ресурса для исследователей, преподавателей и разработчиков

https://blog.research.google/2024/03/scin-new-resource-for-representative.html

@bigdatai

📌 Что такое квантизация моделей и зачем она нужна

На Хабре вышла статья, в которой ML-разработчик Яндекса рассказал о квантизации и рассмотрел разные типы данных и современные методы квантизации. Будет полезно не только ML-инженерам, но и всем, кто хочет уметь заставлять модели работать эффективней.

@bigdatai

⭐️ Проекты с открытым исходным кодом, которые изменили мир

▪ Веб: Node.js, React, Apache
▪ Базы данных: PostgreSQL, Redis, Elasticsearch
▪ Инструменты разработчика: Git, VSCode, Jupyter Notebook
▪ ML и Big Data: Tensorflow, Apache Spark, Kafka
▪ DevOps: Docker, Kubernetes, Linux

@bigdatai

💻 Изучайте Математику для Data Science бесплатно с помощью этих бесплатных курсов с Udacity

1. Linear Algebra Refresher Course
2. Intro to Statistics
3. Intro to Inferential Statistics
4. Intro to Descriptive Statistics
5. Eigenvectors and Eigenvalues
6. Intro to Artificial Intelligence
7. Differential Equations in Action

📌 Список

@bigdatai

⚡ Cappy: Outperforming and boosting large multi-task language models with a small scorer

Сегодня Googel представляем Cappy, небольшую предварительно обученную модель оценки, которая улучшает и превосходит производительность больших многозадачных языковых моделей.

Cappy был протестирован на множестве сложных задач с помощью Prompt Source и Big-Bench. Узнайте больше на: https://goo.gle/3Voludr

@bigdatai

⚡️ Global Generative AI Landscape 2024 от AlPort

Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ выкатили первый список самых заметных GenAI-моделей. Туда вошли сразу две российские генеративные нейросети — YandexGPT и YandexART.

В итоговый анализ попали 128 генеративных модели от 107 компаний. Среди них только 11 компаний, разрабатывающих более одного типа GenAI-моделей: Яндекс, Stability AI, Open AI, Google, Microsoft, Meta, Tencent и Baidu и другие.

▪️ https://habr.com/ru/news/800245/

@bigdatai

🍎 PJRT упрощает интеграцию Apple silicon и ML framework.

Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня

👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html

@bigdatai

🖥 SQL Translator - это инструмент для преобразования запросов на естественном языке в SQL-запросы с помощью искусственного интеллекта. Этот проект является 100% бесплатным и с открытым исходным кодом.

git clone https://github.com/whoiskatrin/sql-translator.git

▪Github
▪Проект

@bigdatai

🗡 Sensei (先生)

Простой, мощный, инструментдля генерации синтетических данных с использованием Openal, Mistralair или AnthropicAI.

▪Github

@bigdatai

🔥 Weights_biases выпустили серию бесплатных курсов, связанных с Lms и искусственным интеллектом.

Вот несколько, которые кажутся интересными:
- https://wandb.courses/courses/take/training-fine-tuning-LLM
- https://wandb.courses/courses/steering-language-models
- https://wandb.courses/courses/enterprise-model-management

@bigdatai

Выпущен Moon dream 2!

MD2 - это миниатюрная, быстрая и с открытым исходным кодом модель языка 1.8B parameter vision, для запуска которой требуется менее 5 ГБ памяти.

▪Проект: https://moondream.ai
▪Код: https://github.com/vikhyat/moondream
▪Demo: https://huggingface.co/spaces/vikhyatk/moondream2

@bigdatai