DS & ML

А вот и подоспел новый образовательный контент от Карпатого после его ухода из OpenAI. #ликбез

Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4.

Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM.

Идея BPE очень простая:
1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных.
2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем его на новый токен с номером (256 + i) → пример на скрине.
3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами.


Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться!

А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка.

@ai_newz

🤖 Несколько недавних новостей, но очередной важный прорыв в мире искусственного интеллекта!

1️⃣ Команда OpenAI представила text-to-video модель Sora.

☝️ Приведённое выше видео получено из следующего промта: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.

2️⃣ V-JEPA — модель от Meta* как симметричный ответ про обучение моделей на видео с целью улучшения понимания нейронками мира.

3️⃣ В Google анонсировали Gemini 1.5. Вот три главных фичи:

✔️ Увеличение длины контекста до миллиона токенов
✔️ Улучшение метрик Pro 1.5 до Ultra 1.0
✔️ Внедрение микстуры экспертов

*организация, деятельность которой запрещена на территории РФ

#чтопроисходит

Вот и настал тот день, когда ИИ разом «убил» десятки профессий — от клипмейкеров и мультипликаторов до трэвел-блогеров.

И даже мемные видео с животными теперь могут генерить нейросети!

@exploitex

Как приручить нейросеть: практический опыт https://habr.com/p/792496/

Состоялся релиз инструмента Galileo AI для генерации дизайна интерфейсов https://habr.com/p/793162/

Бесплатный курс «YandexGPT для начинающих» Яндекс Практикума https://habr.com/p/793080/

Тут челы запилили нейронку YOLO для обнаружения объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ.

Да да это та самая которую я юзал в нейросети для CSGO.
Под капотом у них YOLO-v8.

Но большая разница в том, что для обнаружения нужных объектов нейронку НЕ НАДО обучать.

То есть просто текстом пишите что ищете.
Вот например я потестил на скрины из CS.
Confidence конечно низкий, но учитывая что я её вообще не обучал — результат удивляет.

🖥 Github: https://github.com/AILab-CVC/YOLO-World
⚡️Demo: https://www.yoloworld.cc
🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World

Ваше мнение, господа?

👨‍🔬🇨🇳🔬 Нашел интересный исследовательский репозиторий с подборкой научных статей и других полезностей по большим языковым моделям (LLM).

Milestone Papers
Other Papers
Open LLM
LLM Training Frameworks
Tools for deploying LLM
Tutorials about LLM
Courses about LLM
Opinions about LLM
Other Useful Resources

↘️ https://github.com/Hannibal046/Awesome-LLM

✋ @Russian_OSINT

Ollama Web UI

Ollama Web UI — это удобный веб-интерфейс для взаимодействия в чате с ИИ Llama, аналогичный ChatGPT.

Он имеет интуитивно понятный интерфейс, адаптивный дизайн, быстрое реагирование и простую настройку с помощью Docker или Kubernetes.

Поддерживается подсветка синтаксиса кода, Markdown и LaTeX. локальная интеграция RAG и сохранение настроек.

Поддерживаются теги разговоров, загрузка и удаление моделей.

Включены такие функции, как история чата, импорт и экспорт истории чата и поддержка голосового ввода.

https://github.com/ollama-webui/ollama-webui

Зачем Yandex Cloud открыл доступ к API нейросети YandexGPT, как это может помочь бизнесу в создании своих продуктов – в новом выпуске yet another podcast обсудили для каких задач нейросеть пригодится другим компаниям.

Эпизод уже вышел на YouTube и получился очень интересным – команда создателей нейросети рассказала сколько будет стоить подключение YaGPT, для каких задач она лучше всего подходит и что делать, если вы работаете с конфиденциальной информацией. Смотрите его по ссылке прямо сейчас.

Реклама

🧭 Распознавание образов и машинное обучение

Streamlit - библиотека для создания интерактивных веб-приложений для анализа данных и машинного обучения в Python.

Она позволяет быстро создавать и развертывать веб-приложения с помощью всего нескольких строк кода.

Упрощает процесс создания веб-приложений, предоставляя простой и интуитивно понятный API. Она подходит для создания демонстрационных прототипов, аналитических инструментов и прочих веб-приложений.

Ставится командой ⚙️ pip install streamlit
Документация и примеры кода здесь

openai-cookbook — ресурс, ГДЕ подробно описаны примеры применения OpenAI API.

Прежде чем вносить свой вклад, ознакомьтесь с существующими проблемами и извлекайте запросы, чтобы узнать, работает ли кто-то еще над чем-то подобным. Таким образом, вы сможете избежать дублирования усилий.

⤷ Ссылка на проект

GitHub | #Interesting #AI