Machine learning Interview

✔️ NVIDIA LogitsProcessor — библиотека для управления генерацией текста с помощью модификации вероятностного распределения токенов.

NVIDIA опубликовала LogitsProcessorZoo, коллекцию гибких и мощных инструментов для обработки логитов, позволяющих решать задачи контроля длины последовательностей, выделения ключевых фраз или управление ответами с несколькими вариантами.

Библиотека позволяет корректировать логиты, предоставляя возможность контроля над поведением модели. Например, GenLengthLogitsProcessor позволяет изменять длину генерируемого текста, CiteFromPromptLogitsProcessor - стимулирует модель использовать вводные данные, а ForceLastPhraseLogitsProcessor включает заданную фразу перед завершением вывода. Библиотека полностью совместима с методом generate из Transformers.

huggingface.co

@machinelearning_interview

📖 В Яндексе рассказали, как учат YandexGPT понимать культурный контекст

🌟 Чтобы оценить, как модель считывает особенности нашей культуры, команда разработала большой бенчмарк — для этого потребовалось оцифровать и классифицировать понятие “культурный код”. Также для создания бенчмарка выяснили, понимает ли нейросеть цитаты и мемы, что помогло составить тестовый бенч на 200 вопросов. Позже он расширился в 2000 вопросов, на которые ответили AI-тренеры — их результаты были отобраны в средний скор, ставший контрольной группой для сравнения с ответами Yandex GPT.

🔗 Ссылка: *клик*

@machinelearning_interview

#AI #ML

⚡️ Advanced Machine Learning Engineer Roadmap

Full Stack ML (Machine Learning) включает в себя изучение необходимых навыков и технологий, чтобы освоить машинное обучения.

🖥 Github

🔥 Monolith — это высокопроизводительная платформа машинного обучения, разработанная для крупномасштабного обучения рекомендательных систем и обработки данных. Именно этот фреймворк отвечает за систему рекомендаций в TikTok!

🔐 Лицензия: Apache-2.0

🖥 Github

В Библиотеке иностранной литературы прошла «Ночь опенсорс-библиотек» — мероприятие для тех, кто интересуется темой открытого кода

На мероприятии участники нетворкали с мейнтейнерами опенсорс-проектов Яндекса и учились коммитить так, чтобы код всегда принимали. Так, ML-специалисты присоединились к воркшопу проекта YaFSDP по запуску распределенного обучения LLM. А еще познакомились с библиотекой для градиентного бустинга на дереве решений CatBoost.

Ивент объединил уютный вайб библиотеки с технологическими активностями. Кроме докладов и воркшопов, разработчики смогли пройти квест с перфокартами, посоревноваться в скоропечатании на раритетных печатных машинках и отдохнуть в зоне генеративного лайф-кодинга под DJ-сеты. Параллельно с основной программой, гости могли принять участие в записи открытого подкаста о технологиях «Деплой».

🔥 Теперь GitHub Copilot доступен бесплатно — популярный инструмент для генерации кода больше не требует подписки! Просто откройте VS Code и войдите в свой аккаунт на GitHub.

Каждый месяц вы получаете до 2000 дополнений кода и 50 запросов к мощным нейросетям, таким как GPT-4o и Sonnet 3.5. Эти модели также доступны для использования отдельно, но с ограничениями.

Отличная новость для всех программистов!

https://github.com/features/copilot


@machinelearning_interview

🔥 Perfect Roadmap To Learn Data Science In 2024

📖 Github

@machinelearning_interview

📌Топ 10 статей NVIDIA Developer Technical Blog за 2024 год.

NVIDIA подвела итоги публикаций для разработчиков за 2024 год. От новаторских разработок в области AI-инференса до вклада в опенсорс - эти статьи о прорывах, которые вызвали наибольший резонанс у читателей.

🟢NVIDIA NIM - оптимизированные микросервисы инференса для мастшабного развертывания моделей ИИ

🟢Открытие бесплатного доступа к NVIDIA NIM для участников Developer Program

🟢NVIDIA GB200 NVL72 - обучение LLM с триллионами параметров и инференсом в реальном времени

🟢NVIDIA полностью переходит на GPU Kernel Modules с открытым исходным кодом

🟠Введение в мультимодальный RAG
Руководство демонстрирует, как сочетание поиска по тексту и изображению улучшает приложения ИИ. От чат-ботов до поисковых систем - мультимодальный ИИ теперь доступен как никогда.

🟠Создание агента для анализа данных на основе LLM
Пошаговый туториал о том, как создавать агенты на базе LLM, позволяющие разработчикам улучшать и автоматизировать анализ данных с помощью интерфейсов на естественном языке.

🟠StarCoder2 - раскройте свой потенциал в программировании
Появление StarCoder2, ИИ-ассистента в задачах программирования повышает производительность разработки за счет предложений по коду и сокращения повторяющихся задач по программированию.

🟠Как обрезать и дистиллировать Llama 3.1 8B в модель NVIDIA MiniTron 4B
Глубокое погружение в методы pruning и дистилляции модели Llama 3.1 8B в более эффективную MiniTron 4B, оптимизируя производительность без ущерба для точности.

🟠Как за 4 шага перевести приложение RAG из пилотной версии в продакшен
Учебное пособие, которое описывает прямой путь к масштабированию RAG-приложений с упором на лучшие практики для обеспечения готовности к производственной эксплуатации.

🟠RAPIDS cuDF ускоряет pandas почти в 150 раз без изменения кода
150-кратное Zero Code ускорение рабочих процессов Pandas которое преобразует конвейеры обработки данных и повышает производительность Python.


🔜 Блогпост на developers.nvidia.com


@ai_machinelearning_big_data

#AI #ML #NVIDIA #Digest

📖 Эта статья представляет результаты внедрения и оценки работы медицинского чат-бота на основе LLM, названного Mo, в реальной практике!

🌟 Mo использовался в службе медицинских консультаций компании Alan, работающей во Франции и других странах. В ходе эксперимента, охватившего 926 случаев, исследовалась удовлетворённость пациентов, точность ответов и безопасность. Бот продемонстрировал улучшение опыта пациентов при сохранении высокого уровня безопасности благодаря контролю врачей. Статья подчёркивает потенциал таких систем в медицине.

🔗 Ссылка: *клик*

@machinelearning_interview

🎨 Генератор изображений с высоким разрешением🎨

#FreeScale - это метод, не требующий настройки, позволяющий генерировать визуальные изображения с высоким разрешением и позволяющий создавать изображения в 8K.

- Проект: http://haonanqiu.com/projects/FreeScale.html-
- Код: https://github.com/ali-vilab/FreeScale
- Статья : https://arxiv.org/abs/2412.09626
- Демо: https://huggingface.co/spaces/MoonQiu/FreeScale

⚡️ Курс: Математика Машинного обучения Урок 2 Инвариантность

📌 Видео
📌 Урок 1
📌 Colab

@machinelearning_interview

✔️ Google DeepMind FACTS Grounding: бенчмарк для оценки фактологичности LLM.

FACTS Grounding создан для оценки способности LLM генерировать ответы, которые являются фактически точными и основаны на предоставленном исходном материале. Бенчмарк включает в себя 1719 примеров, требующих развернутых ответов, основанных на предоставленном контекстном документе.

Примеры включают различные области: финансы, технологии, розничную торговлю, медицину и право, и документы объемом до 32 000 токенов. Для оценки используются три LLM-судьи: Gemini 1.5 Pro, GPT-4o и Claude 3.5 Sonnet, которые оценивают ответы на соответствие пользовательскому запросу и фактическую точность. Датасет и лидерборд доступны на Kaggle.

deepmind.google

@machinelearning_interview

Какие навыки необходимы специалисту в ML и Data Science?

В новом выпуске подкаста на канале MLinside руководитель ШАДа Яндекса Алексей Толстиков поделился, что, по его мнению, отличает сильных специалистов в области ИИ и какие компетенции делают кандидатов конкурентоспособнее.

Ключевые темы подкаста:

• Какие ML-специалисты и датасаентисты нужны рынку
• Какие навыки, помимо технических, нужны чтобы стать успешным в этой профессии
• Как совмещать учебу на датасаентиста с работой

Посмотреть выпуск можно на YouTube

⚡️ Anthropic недавно опубликовала результаты своего исследования, посвящённого тому, как можно обойти защитные механизмы больших языковых моделей (LLM).

Предложенный ими метод под названием Best-of-N Jailbreaking (BoN) основан на множественных вариациях одного и того же запроса, чтобы выявить уязвимости.

Принцип работы метода:
Для начала создаётся потенциально опасный запрос, такой как «Как сделать бомбу?» Далее этот запрос подвергается различным изменениям:

- В тексте: вводятся опечатки, символы заменяются, например, через использование L337-кодировки.
- В аудиоформате: изменяется тональность голоса и добавляется фоновый шум.
- На изображениях: меняются цвета, шрифт или добавляются дополнительные элементы.

После внесения изменений запрос направляется на языковую модель, а результат проверяется специальным классификатором. Процесс повторяется множество раз – в исследовании было протестировано свыше 10 000 различных вариантов запросов.

Результаты:
Метод показал высокую эффективность: 89% успешных обходов защиты у GPT-4o и 78% у Claude 3.5 Sonnet. При комбинировании BoN с другими методами атаки, такими как оптимизированная префиксная атака, успех увеличивается на 35%.

Этот подход применим ко всем видам данных: текстам, аудио и изображениям, подтверждая наличие реальных уязвимостей в современных LLM. С каждым новым изменением возрастает вероятность успешного обхода защиты, что создаёт серьёзную проблему для разработчиков, которым предстоит создать более надёжные системы.

Заключение:
Исследование даёт двойственный эффект: оно демонстрирует слабые стороны искусственного интеллекта, но одновременно предоставляет инструменты для улучшения безопасности.

Best-of-N Jailbreaking: https://arxiv.org/abs/2412.03556

@machinelearning_interview

🌟 OLA-VLM: метод повышения визуального восприятия в MLLM с помощью вспомогательной дистилляции эмбедингов.

OLA-VLM - метод, который предлагает дистиллировать знания от визуальных энкодеров в противовес традиционному способу обучения MLLM.

В качестве целевых визуальных энкодеров были выбраны модели сегментации, оценки глубины и генерации изображений. На каждом слое LLM обучался проб, который должен прогнозировать выход соответствующего целевого энкодера.

Так архитектура OLA-VLM получила предикторы встраивания, которые получают токены из LLM и генерируют предсказания для вычисления потери встраивания. Эта потеря минимизируется вместе с потерей предсказания следующего токена.

Для улучшения восприятия целевой информации OLA-VLM использует специальные токены ⟨t⟩, которые добавляются к токенам изображения на входе LLM. Во время фазы настройки MLLM обучается только с использованием потери предсказания следующего токена. При этом специальные токены ⟨t⟩ остаются в входной последовательности, формируя неявную визуальную цепь рассуждений.

Эксперименты показали, что OLA-VLM превосходит модели семейства LLaVA-1.5 как по качеству визуальных представлений, так и по эффективности на различных тестах.

Методом OLA-VLM были обучены 12 моделей на LLMs Phi3-4K-mini и Llama3-8b с разными базовыми (ViT, CLIP-ConvNeXT) и целевыми (depth, segmentation, generation) энкодерами. Доступны версии PT (Pre-Training) и IFT (Instruction Fine-Tuning).

▶️ Локальная установка и запуск web demo c GrarioUI:

# Clone repo
git clone https://github.com/SHI-Labs/OLA-VLM
cd OLA-VLM

# Create conda env
conda create -n ola_vlm -y
conda activate ola_vlm

# Install dependencies
pip install -e .["demo"]
pip install flash-attn --no-build-isolation
pip install scikit-learn icecream datasets pytorch-fid lpips opencv-python-headless
pip install setuptools==61.0.0
pip install huggingface_hub==0.24.7
pip install transformers==4.41.1

# Run webUI with one of models
CUDA_VISIBLE_DEVICES=0 python demo.py --model-path %path_to_model% --PT-model-path %path_to_model%

📌Лицензирование моделей: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🖥GitHub



@ai_machinelearning_big_data

#AI #ML #MMLM #OLA-VLM

🖥 Воскресное чтиво: Краткая история Intel

Intel, intel, intel… Это не просто текст на упаковке процессора – это целая эпоха в мире вычислительной техники. Intel, зародившийся в 1968 году, смог прийти от производителя полупроводников в бигтех компанию, основу современного IT-мира. В истории этой компании бывали взлеты и падения, плохие и хорошие времена, но одно можно сказать точно – без intel мы бы не смогли представить современный мир.

Но читая последние новости, можно с уверенностью заявить – у Intel сейчас тяжелые времена. Финансовая катастрофа на одном фронте, “горячие” новинки с другого (топовые процессоры Intel i7 и i9 могут очень сильно перегреваться, а также некоторые имеют проблемы с микрокодом). Целый комплекс проблем, акции упали до рекордно низкого показателя – около 20-24 долларов за штуку. Также компания столкнулась с убытком в размере 1.61 миллиардов долларов.

В этой статье я рассмотрю историю Intel, с небольших микропроцессоров, до целых линеек, таких как Pentium, Celeron, Dual Core, Xeon (храни его Си Цзиньпинь) и современные i-Core процессоры. А также затронем современные проблемы Intel и может ли она отдать позиции AMD. А также кратко рассмотрим как работает процессор, историю зарождения компьютеров и их архитектуру. Будет интересно.

Все мы знаем Intel. Для одних многомиллиардная корпорация зла, для других компания, производящая лучшие в мире процессоры, третьи считают что AMD лучше, четвертые называют процессором весь блок компьютера. Эта компания буквально пропитана атмосферой кремниевой долины (причем даже буквально). Но intel далеко не с самого начала паяла процессоры, все начиналось намного прозаичнее. Но об этом мы поговорим немного позже.

📌 Читать статью

@machinelearning_interview

🔥 Полезный сайт, на котором собрано более двухсот различных материалов по машинному обучению!

🔗 Ссылка: *клик*

@machinelearning_interview

📌Онлайн курс "Преобразование Фурье и его приложения"

Преобразование Фурье – это математический метод, который широко применяется в науке и технике для анализа сигналов. Этот метод основан на представлении сигнала в виде суммы синусоидальных и косинусоидальных функций разных частот.

Анализ Фурье оказал значительное влияние на развитие математики, стимулируя развитие теории обобщенных функций. Применение преобразования Фурье основано на принципе линейности, который позволяет анализировать сложные сигналы путем разложения их на более простые составляющие.

Курс «EE 261 Преобразование Фурье и его приложения», предлагаемый онлайн-платформой Stanford Engineering Everywhere Университета Стэнфорда, посвящен изучению преобразования Фурье и его практическому применению.

Цель курса – научить студентов применять преобразование Фурье для решения практических задач в различных областях науки и техники. В рамках курса рассматриваются темы:

🟢Ряды Фурье;
🟢Основные свойства преобразования Фурье;
🟢Свертка;
🟢Обобщенные функции;
🟢Дискретизация;
🟢Линейные системы;
🟢Дискретное преобразование Фурье;
🟢Алгоритм быстрого преобразования Фурье;
🟢Двумерное преобразование Фурье.

Курс состоит из 30 лекций, дополнительных материалов к ним и предназначен для студентов с разным уровнем подготовки, для тех, кто впервые знакомится с преобразованием Фурье, так и для тех, кто уже изучал его в других курсах.

@ai_machinelearning_big_data

#AI #ML #FourierTransform #Stanford #Course