Machine learning Interview

📌Методология оценки LLM

На Хабре вышла статья о современных подходах к оценке языковых моделей. Традиционно используются академические методы оценки (школьные тесты, профэкзамены) и специальные бенчмарки вроде COPA, PIQA для проверки базового понимания контекста, но они не отражают реальной ценности моделей в бизнес-задачах — способности к диалогу, переводу или генерации идей.

Для решения этой проблемы, например, в Яндексе разрабатывают внутренние бенчмарки под каждую практическую задачу YandexGPT, учитывая, что стандартные тесты подвержены протечкам данных и быстро устаревают. Для комплексной оценки привлекаются AI-тренеры — специалисты со строгим отбором по навыкам фактчекинга.

Ключевой вывод: нет универсального метода оценки, необходимы постоянный анализ данных и ручная разметка.

📌 Оригинал

@machinelearning_interview

⚡️ QwQ-32B-Preview: экспериментальная ризонинг-модель от Qwen.

QwQ (Qwen with Questions) – экспериментальная исследовательская модель, разработанная Qwen Team с фокусом на развитие способности рассуждения.

QwQ отличается любознательностью, подходя к каждой проблеме – будь то математика, программирование или знания о мире – с подлинным удивлением и сомнением. Прежде чем остановиться на каком-либо ответе, модель подвергает сомнению свои собственные предположения, исследуя разные пути рассуждений в поисках более глубокой истины.

QwQ-32B-Preview, предварительная версия модели, которая демонстрирует аналитические способности в математике и программировании, показывая топовые результаты в тестах:

🟢65.2% на GPQA (тест на решение научных задач на уровне выпускника);
🟢50.0% на AIME (оценка математических способностей);
🟢90.6% на MATH-500 (тест на понимание математики по различным темам);
🟢50.0% на LiveCodeBench (тест на навыки программирования в реальных сценариях).

Архитектура QwQ основана на transformers с использованием RoPE, SwiGLU, RMSNorm и Attention QKV bias. Модель имеет 32.5 млрд. параметров, 64 слоя и 40 attention heads для Q и 8 для KV. Контекст модели - 32 768 токенов.

⚠️ Как у любого эксперимента, у QwQ есть ограничения:

🟠Модель может смешивать языки или переключаться между ними неожиданно, влияя на четкость ответов.

🟠QwQ склонна входить в циклические шаблоны рассуждений, что приводит к длинным ответам без окончательного результата.

⚠️ Сообществом LM Studio опубликованы квантованные версии в формате GGUF в разрядности от 3-bit (17.2 Gb) до 8-bit (34.8 GB), совместимые для запуска в llama.cpp (release b4191) и LM Studio.


▶️Пример инференса на HF Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwQ-32B-Preview"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "How many r in strawberry."
messages = [
    {"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Модель
🟡Набор GGUF версий
🟡Demo
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #QwQ #Qwen

⚡️ RL за 185 строках с помощью numpy

Блокнот, в котором все подробно описано

- код лаконичен, удобочитаем и снабжен множеством комментариев
- в нем используется только numpy
- хорошая отправная точка для изучения PPO
- заметки, которые помогут в обучении

📌 Ссылка на коллаб

@machinelearning_interview

📌Книга "Обучение с подкреплением: Основы"

Хороших книг по обучению с подкреплением (Reinforcement Learning, RL) уже выпущено достаточно, однако есть пробел между продвинутыми учебниками, в которых основное внимание уделяется одному или нескольким аспектам, и более общими книгами, в которых предпочтение отдается удобочитаемости, а не сложности.

Авторы книги, люди с опытом работы в CS и инжиниринга, подают тему RL в строгом и академическом стиле. Книга основана на конспектах лекций для углубленного курса бакалавриата, который преподается авторами в Тель-Авивском университете.

К этой книге дополнительно идет брошюра с упражнениями и экзаменационными вопросами, которые помогут освоить материал книги на практике. Эти упражнения разрабатывались на протяжении нескольких лет.

Математическая модель книги - Марковский процесс принятия решений (Markov Decision Process, MDP). Основное внимание уделяется: последовательному принятию решений, выбору действий, долгосрочному эффекту от этих действий и разница между немедленным вознаграждением и долгосрочной выгодой.

Тематически книга состоит из двух частей – "Планирование" и "Обучение".

▶️ Раздел "Планирование" - основы принятия оптимальных решений в условиях неопределенности в соответствии с MDP.

🟢Глава 2. Обоснование модели MDP и ее связь с другими моделями.
🟢Глава 3. Основные алгоритмические идеи в детерминированной постановке.
🟢Глава 4. Цепи Маркова, на которых основана MDP.
🟢Глава 5. Модель MDP с конечным горизонтом и фундаментальный подход к динамическому программированию.
🟢Глава 6. Дисконтированная настройка с бесконечным горизонтом.
🟢Глава 7. Эпизодическая настройка.
🟢Глава 8. Альтернативный подход к решению MDP с использованием формулировки линейного программирования.

▶️ Раздел "Обучение" - принятие решений, когда модель MDP неизвестна заранее.

🟠Глава 9. Описание и мотивация модели обучения и ее связь с альтернативами при принятии решений.
🟠Глава 10. Подход, основанный на моделях, при котором агент явно изучает модель MDP на основе своего опыта и использует ее для принятия решений по планированию.
🟠Глава 11. Альтернативный подход без использования моделей, при котором решения принимаются без явного построения модели.
🟠Глава 12. Изучение приблизительно оптимальных решений крупных задач с использованием аппроксимации функции стоимости.
🟠Глава 13 Решение крупных задач с использованием методов градиентной политики.
🟠Глава 14. Особый случай на примере игровых автоматов, как MDP с единым состоянием и неизвестными наградами, и онлайн-характер принятия решений.


🟡Сайт учебника
🟡Читать


@ai_machinelearning_big_data

#AI #ML #RL #MDP #Book

MTS AI идет в Open Source

MTS AI выпустила модель Cotype Nano – открытую языковую модель для решения бизнес-задач на русском языке.

Она обрабатывает до 32,000 токенов за раз, запускается локально на персональных устройствах и подходит для анализа данных, создания контента, перевода и поиска в большом массиве информации.

По бенчмаркам Ru Arena Hard модель — лидер в своём классе (30.2). Доступна бесплатно с возможностью использования в коммерческих целях. Скачать по ссылке.

Подробные технические характеристики — на Хабре.

📖 Огромный и крайне полезный бесплатный учебник: Обзор больших языковых моделей!

🔗 Ссылка: *клик*

#учебник #machinelearning

@machinelearning_interview

⭐️ Katz - это мощный инструментарий от facebookresearch
для анализа временных рядов.

Это легкая и простая в использовании библиотека .

Она позволяет делать:
- Прогнозирование
- Обработку данных
- Извлечение признаков
- Моделирование


Установка:
pip install --upgrade pip
pip install kats

Пример использования:

# import packages
import numpy as np
import pandas as pd

from kats.consts import TimeSeriesData
from kats.detectors.cusum_detection import CUSUMDetector

# simulate time series with increase
np.random.seed(10)
df_increase = pd.DataFrame(
    {
        'time': pd.date_range('2019-01-01', '2019-03-01'),
        'increase':np.concatenate([np.random.normal(1,0.2,30), np.random.normal(2,0.2,30)]),
    }
)

# convert to TimeSeriesData object
timeseries = TimeSeriesData(df_increase)

# run detector and find change points
change_points = CUSUMDetector(timeseries).detector()

`
▪Примеры работы: https://github.com/facebookresearch/Kats/tree/main/tutorials
▪Пакет Kats Python: https://pypi.org/project/kats/
▪Блог Facebook: https://engineering.fb.com/2021/06/21/open-source/kats/
▪Исходный код: https://github.com/facebookresearch/kats

@machinelearning_interview

📖 Конспект лекций по теории графов в Университете штата Пенсильвания (для студентов бакалавриата)

📌 PDF: https://roam.libraries.psu.edu/system/files/e-books/MATH485-Graph_Theory.pdf

@machinelearning_interview

⚡️ "Самая быстрая библиотека глубокого обучения с подкреплением"

Библиотека C++ Deep RL, создана для запуска DL проектов "на лету" за считанные секунды

Что она предлагает:

📐 Высокопроизводительная библиотека C++ Deep RL, оптимизированная для задач непрерывного контроля
✅ Собственные реализации алгоритмов TD 3, PPO, SAC с ускорением CPU/CUDA
✅ Поддержка развертывания микроконтроллеров (ESP32, Teensy, PX4, iOS)
✅ Привязка Python через PyPI для среды залов
🔹 В 2-4 раза быстрее, чем существующие библиотеки RL на CPU / GPU

▪Github
▪Colab
▪Документация

@machinelearning_interview

Появился новый сервис для создания умных ассистентов на базе YandexGPT

Разработка от Yandex Cloud позволит компаниям создать своего AI-ассистента с помощью Yandex Cloud ML SDK или реализуя запросы к API на языке программирования.

Это стало возможно благодаря AI Assistant API, который объединяет языковую модель YandexGPT и технологию поиска по базам знаний Retrieval Augmented Generation (RAG) для интеграции с внешними бизнес‑системами. Технология позволит ускорить внедрение языковых моделей в бизнес-процессы в среднем на 30%.

Плюсы AI Assistant API:

- Инструмент содержит все необходимые функции для создания умных помощников: создавать код с нуля не нужно.
- Внутри инструмента реализованы все нужные взаимодействия модели, баз знаний и хранение контекста
- Можно выбрать подходящую версию YandexGPT — Lite или Pro, чтобы адаптировать под свои задачи другие компоненты сервиса: базы знаний и параметры генерации текста.

Даже современные LLM-модели не способны знать все внутренние процессы компании. Могут возникнуть проблемы с тем, чтобы, например, помочь сотруднику с оформлением командировки. Однако с помощью AI-ассистента есть возможность наделить модель этими знаниями. В сервис можно загрузить до 1 000 файлов, максимальный размер каждого файла — 128 МБ.

@machinelearning_interview

📹 3blue1brown представил самую короткую и понятную лекцию о нейросетях!

В новом выпуске он рассказывает о механизме внимания и трансформерах. Лекция стала еще более сжатой и увлекательной!

Идеально подходит для абсолютных новичков и даже для тех, кто далек от техники.

Автор уложился всего в 9 минут, чтобы доступно объяснить ключевые аспекты работы нейросети с помощью яркой графики и простых примеров.

📌 Оригинал

@machinelearning_interview

🖥 Complete-Advanced-SQL-Series

Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL.

Более 100 упражнений и примеров по SQL.

▪Github

@machinelearning_interview

✔️ Mistral представил новые модели и обновленные функции чат-бота.

Mistral выпустила ряд обновлений своих продуктов: платформа чат-ботов Mistral, Le Chat, теперь может осуществлять поиск в Интернете с цитированием источников, подобно ChatGPT и Perplexity. Она также получила инструмент «canvas», аналогичный ChatGPT Canvas, позволяющий пользователям изменять, преобразовывать или редактировать макеты веб-страниц и визуализации данных, используя модели ИИ Mistral.

Le Chat теперь может обрабатывать большие PDF-документы и изображения для анализа и обобщения, включая файлы, содержащие графики и уравнения.

Некоторые из новых возможностей Le Chat стали возможны благодаря новым моделям Mistral: Pixtral Large, которая может обрабатывать текст и изображения и Mistral Large 3, новой флагманской модели генерации текста. Все новые функции Le Chat останутся бесплатными в бета-версии.

Новая версия Pixtral включает 124 миллиарда параметров и поддерживает контекст до 128 тысяч токенов. Модель способна работать с текстовыми данными, изображениями, файлами и графиками.

Pixtral Large демонстрирует превосходство в решении сложных математических задач и практических вопросов, опережая такие модели, как Gemini 1.5 Pro и GPT-4o, особенно в области анализа графиков и обработки документов.

Обновлённый Le Chat теперь оснащён функцией веб-поиска, возможностью анализа документов, генерацией изображений (с использованием технологии Flux Pro от Black Forest Labs), а также новым режимом Canvas, который позволяет пользователям работать с текстом, кодом и взаимодействовать с чат-ботом, подобно ChatGPT.

📌 mistral.ai

@machinelearning_interview

⚡️ BRIA Background Removal v2.0 Model.

RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями.

RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений.

Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space.

▶️Пример кода запуска на Transformers:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

📌Лицензирование:

🟢Некоммерческое использование: Creative Commons license
🟠Коммерческое использование: на основании коммерческого соглашения с BRIA


🟡Модель
🟡Demo


@ai_machinelearning_big_data

#AI #ML #BiRefNet #RMBG #BRIAAI

🔥 Интересный сайт, на котором предоставлена подробная визуальная реализация работы таких LLM, как GPT-2 (small и XL), GPT-3 и nano-gpt!

🔗 Ссылка: *клик*

@machinelearning_interview