DS & ML

Бомба: нейросеть удалит все посторонние звуки из вашего аудио.

За дело взялись разрабы из ElevenLabs — их Voise Isolator справляется даже с садовым пылесосом на фоне! Приготовьтесь — уже доступно всем абсолютно бесплатно.

Спасаем любое аудио от фоновых шумов — здесь.

@exploitex

Hugging Face обнародовала глобальный рейтинг самых мощных 🤖открытых больших языковых моделей - Open LLM Leaderboard.

Тор-10 выглядит следующим образом:

1️⃣ Qwen/Qwen2-72B- Instruct
2️⃣ meta-llama/Meta-Llama-3-70B-Instruct
3️⃣ microsoft/Phi-3-medium-4k-instruct
4️⃣ 01-ai/Yi-1.5-34B-Chat
5️⃣ CohereForAI/c4ai-command-r-plus
6️⃣ abacusai/Smaug-72B-v0.1
7️⃣ Qwen/Qwen1.5-110B
8️⃣ Qwen/Qwen1.5-110B-Chat
9️⃣ microsoft/Phi-3-small-128k-instruct
🔟 01-ai/Yi-1.5-9B-Chat

◀️https://huggingface.co/spaces/open-llm-leaderboard/blog

✋ @Russian_OSINT

*Деятельность Meta (соцсети Facebook, Instagram, Threads) запрещена в России как 🏴‍☠️ экстремистская.

​​Наконец-то появилось видео, которое помогло мне составить визуальную модель того, как выглядят и как работают под капотом современные нейросети.

Например, в случае системы распознавания изображений, можно показать всё «пространство смыслов» нейросети в виде наглядного атласа, где рядом находятся изображения схожих по смыслу объектов. Перемещаясь в этом пространстве, можно сделать фотографию человека постарее или помоложе, например.

А ещё автор наглядно демонстрирует экстенсивность развития нейросетей от первых вычислительных экспериментов в конце 90х до современных GPT — как для улучшения результатов нужно всё больше данных и всё большие вычислительные ресурсы.

В общем, отличное 17-минутное образовательное видео-эссе, рекомендую!

😱 AI faceswap — Дипфейк сервис, который заменит любое лицо на фото в один клик уже тут.

БББ:
📌 Без цензуры
📌 Бесплатно
📌 Без регистрации

Пробуем тут

Лайк не поставил — 1С программистом стал ☕️

#nn #soft

👨‍💻 Лучшие библиотеки Python для Data Science в 2024 году

Python — один из самых распространенных языков программирования в Data Science (третье место в опросе разработчиков StackOverflow). Популярность языка обусловлена наличием множества пакетов, которые можно использовать для решения различных задач в области науки о данных, включая машинное обучение, предварительную обработку данных, анализ данных и их визуализацию.

Новичку в этой области может быть сложно понять, с чего начать, особенно при таком обилии ресурсов — в Python имеется более 100 000 встроенных библиотек, и выучить их все просто невозможно. Именно поэтому в этой статье мы рассмотрим 8 самых полезных библиотек Python для Data Science.

#article #python #doc

Я с очередным гайдом — про Llama3

Вот шикарный гитхаб, на котором можно самому, словно Лего, собрать Llama 3. Причём там всё максимально пошагово и весь необходимый код прилагается, так что реально такое собрать даже если совсем не разбираешься. А если интересна теория, то можно спросить у нового чат GPT или Gemini.

За основу берутся веса лламы с официального сайта, ну а потом вся вот эта дребедень: трансформеры, эмбединги, матрицы, токенайзеры — всё ручками. Так что, как известно, лучший способ что-то понять — построить самостоятельно.

Ну а вишенка на торте — всё очень мило показывает аниме waifu.

Делитесь потом результатами, если кто вдруг возьмётся.

Пора бы уже самому новые гайды какие-нибудь написать. Подкиньте идеи для гайдов и ликбезов в комментарии😉

Гайд на гитхабе

#туториал #ликбез
@ai_newz

ох чего не сделаешь ради nsfw или Как запустить ЛЛМ на ноутбуке.

Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в Клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.

Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)

Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:

1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.

После того как освоились с этим, можно и поизвращаться)

Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык

LM Studio

#туториал
@ai_newz

Наконец-то дата аналитики проанализировали дату для дата аналитики.

Artificial Analysis собрали топ 100 LLM в одной таблице, чтобы можно было удобно выбрать свою ту самую💍 под свои задачи.

Выбираем по параметрам:

- Бенчмарки: Chatbot Arena, MMLU, HumanEval, Index of evals, MT-Bench.
- Стоимость: вход, выход, средняя
- Скорость в токенах/сек: median, P5, P25, P75, P95 (кто понял, тот понял).
- Задержка: median, P5, P25, P75, P95.
- Размер контекстного окна.
- Совместимость с библиотекой OpenAI.

Топ-1 из каждой категории:
- Бенчмарки: Claude 3 Opus, GPT-4 Turbo
- Стоимость: $0.06/1M токенов Llama 3 (8B) через API groq
- Скорость: 912.9 токенов/сек Llama 3 (8B) через API groq
- Задержка: 0.13s Mistral 7B через API baseten
- Размер контекстного окна: 1m Gemini 1.5 Pro

Сделали красиво.

Табличка на HF
Есть еще всякие графики

@ai_newz

GPT-4.5 вышла, но никто этого не заметил.

Вчера на арене чат-ботов LMSYS Arena появился новый боец — gpt2-chatbot. Несмотря на «2» в названии, модель довольно крутая и легко решает те задачи, которые GPT-4 не по силам.

Юзеры уже провели расследование и выяснили, что это 100% новая модель от OpenAI. Единственное сомнение — что это GPT-4.5, ведь это может оказаться и первой версией GPT-5!

Мы попросили написать Python-код для тетриса и модель действительно с первого раза выдала рабочий код для игры!

Если будете тестировать самостоятельно, учтите, что на один IP дают 8 запросов на сутки.

Microsoft выпустила Phi-3

Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Поздно запостил я потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки что это из-за того что их тренируют на бенчмарках, но авторы заявляют что это из-за того что их датасет лучше всех учит модельку размышлению. Через трое суток после релиза весов возможно, что автора правы, но я все ещё жду проверки этой модели на ChatBot Arena, так как доверия бенчмаркам нет.

Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета.

Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую.

--
На видео, демонстрации инференса в fp16 на M3 Max:  Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее.

А вы что думаете про Phi-3?

Technical report
4k версия модели
128k версия
Тут можно початиться с моделькой

@ai_newz

​🎨 YandexART обновилась: что нового?

В статье на Хабре старший разработчик в команде компьютерного зрения рассказал, почему в новой модели стали применять технологию латентной диффузии, зачем использовать два текстовых энкодера и что показали внутренние замеры.

Читать статью

#статья #ai

🔥LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели

@ai_newz

Пошла жара! Марк анонсирует новую LLaMa 3 и Meta AI штуки на meta.ai.

@ai_newz

⚡️ Маск сдержал слово: только что на GitHub опубликовали модель Grok.

Чат-бота от Илона тяжело назвать «убийцей ChatGPT», но у него есть один огромный минус — отсутствие цензуры.

На текущий момент это единственный ИИ, который расскажет вам, как украсть мороженное у ребенка.

А вот это интересно. Маск сказал, что они заопенсорсят свою LLM Grok на этой неделе.

Вы же слышали, что Маск пошел в атаку на OpenAI и даже подал в суд на них (если коротко, то из-за того, что они превратились из Open в Closed).

Любопытно увидеть, что же там у Grok под капотом. Модель, конечно, не Gpt4 и не Claude3 уровень, но опенсорс — это всегда замечательно.

@ai_newz

Курс Data Science и нейронные сети на Python
#cours

https://t.me/+H8nDslPSb-w4ZWQ6

🧭 Системы искусственного интеллекта

🧭 Просто Big Data