Математика Дата саентиста

⚡️ Тензорное разложении и его применении в машинном обучении. Урок 4

📌 Видео
📌 Урок 1 / Урок2 / Урок3
📌 Colab

@data_math

🔥 Старейшая нерешённая задача

Существуют ли нечётные совершенные числа? Над этим вопросом уже 2000 лет бьются умнейшие математики.

Дерек Маллер с канала Veritasium опять решил сломать всем мозг и сделал получасовое видео об очередной математической жести. Удачи всем что-то понять, мы старались как могли. Было тяжело, мы устали. Кто-нибудь, заберите уже у Дерека книгу по теории чисел.

📌 источник

Кодирование сигналов

1. Код Грея
2. Применение битов четности
3. Код Хемминга
4. Синхронизация с помощью избыточного кода
5. Скремблирование
6. Кодирование битов при последовательной передаче
7. Битстаффинг
8. Передатчик Манчестер II
9. Приемник кода Манчестер II
10. Двунаправленная передача импульсов по одной линии

#video #math

https://www.youtube.com/watch?v=C4cU4gldP5c&list=PL1VvMJF0dnhrcJZBhrAr8OWZKkCtbIBGQ&ab_channel=%D0%AD%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B0%D0%B8%D1%8D%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D0%BD%D0%B8%D0%BA%D0%B0%D0%B4%D0%BB%D1%8F%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%81%D1%82%D0%BE%D0%B2

@data_math

📌Как линейная алгебра может помочь при разработке web-приложения.

Интересная и познавательная статья разработчика Ивана Шубина о том, как он использовал матрицы для создания интерактивного редактора диаграмм Schemio.

Изначально, редактор позволял создавать простые фигуры и манипулировать ими, но с введением иерархии объектов возникла необходимость в сложных преобразованиях координат. Матрицы стали ключом к решению этой проблемы, позволяя эффективно управлять перемещением, вращением и масштабированием объектов.

Для преобразования глобальных и локальных координат между собой использовались матричные преобразования. Умножение матриц дало возможность комбинировать преобразования, а инверсия матрицы помогает переводить координаты из глобальных в локальные.

Иван подробно описывает, как матрицы помогают управлять поворотом и масштабированием объектов относительно опорной точки и как они используются при монтировании и демонтировании объектов, чтобы избежать нежелательных коллизий.

Таким образом, матричная математика стала решением для расширения возможностей редакторе Schemio.

🔜 Читать полную версию статьи

#Math #LinearAlgebra #Webdev

⚡️ Математика машинного обучения.Базовые понятия тензорного исчисления. Урок 3

📌 Видео
📌 Урок 1 / Урок2
📌 Colab

@data_math

📹 Основы вероятности и теория меры 14. Теорема Лебега

📌 Источник
📌 Полный курс

📌 Математика, машинное обучение и работа с данными на практике

Алексей Толстиков, руководитель Школы анализа данных Яндекса (ШАД), делится опытом, который будет полезен не только будущим ML- и DS-специалистам, но также их преподавателям – в подкасте Виктора Кантора на канале MLinside.

В видео разбирают:

🟡 Важность гибких методов преподавания. Как преподаватели-менторы помогают справиться с трудностями в обучении, которые возникают у студентов.
🟡 Главное в менторстве. В чем основная задача наставников и почему им не обязательно быть универсальными экспертами.
🟡 Путь к пониманию алгоритмов. Как не просто изучать теорию, но и научить видеть её практическую ценность – через задачи, соревнования и примеры из жизни.

@data_math

🌟 Bamba-9B: эффективная Hybrid Mamba2 модель.

Bamba-9B - модель, разработанная IBM, Princeton, CMU и UIUC на основе полностью открытых данных. Модель демонстрирует улучшение пропускной способности в 2.5 раза и снижение задержки инференса в 2 раза по сравнению с Transformers в vLLM. Bamba-9B доступна для использования в HF Transformers, vLLM, TRL и llama.cpp.

Bamba-9B использует уникальный распределенный, не сохраняющий состояние data loader, обеспечивающий бесшовное возобновление работы, автоматическое масштабирование, потоковую передачу данных с zero-overhead for shuffling.

Модель основана на архитектуре NVIDIA hybrid Mamba2, но с некоторыми изменениями. Bamba-9B имеет 32 слоя, из которых 3 полноценных слоя внимания и 29 слоев Mamba2, в то время как NVIDIA hybrid Mamba2 имеет 29 слоев, из которых 4 слоя внимания и 25 слоев Mamba2.

Bamba-9B была обучена на 2.2T токенов с датасетом Dolma v1.7 на первом этапе и FineWeb-edu и Cosmopedia на втором.

По проведенным замерам, средняя производительность Bamba-9B почти сравнима с Llama 3.1 8B (45.53 против 44.68), при том что Llama 3.1 8B была обучена на 7x большем объеме данных.

Bamba-9B превзошла Olmo 7B, обученную на идентичном количестве токенов и наборах данных. В сравнении с другими моделями на базе Mamba/Mamba2, Bamba-9B показывает хорошие результаты, при этом обеспечивая значительное улучшение (до 5x) эффективности логического вывода.

▶️ Планы разработчиков на дальнейшее развитие Bamba:

🟠увеличение длины контекста модели Bamba-9B (сейчас - 4096);
🟠улучшение модели путем обучения на дополнительных данных и точной настройки на наборах данных SFT.

▶️ Опубликованный набор моделей:

🟢Bamba 9B - финальная версия модели после 2-х этапов обучения
🟢Bamba 9B 2T - чекпоинт после 1 этапа трейна с датасетом Dolma v1.7
🟠Bamba 9B 1.8T - промежуточный чекпоинт 1 этапа обучения

🟢Bamba 9B FP8 - квантованная с помощью llm-compressor версия Bamba 9B
🟢Bamba 9B 2T FP8 - квантованная с помощью llm-compressor версия Bamba 9B 2Т
🟠Bamba 9B 1.8T FP8 - квантованная с помощью llm-compressor версия Bamba 9B 1.8Т

▶️Пример инференса на Transformers с Bamba-9B:

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("ibm-fms/Bamba-9B")
tokenizer = AutoTokenizer.from_pretrained("ibm-fms/Bamba-9B")

message = ["Mamba is a snake with following properties  "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Набор моделей
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Bamba #IBM

⚡️ Курс: Математика Машинного обучения Урок 2 Инвариантность

📌 Видео
📌 Урок 1
📌 Colab

@data_math

⚡️ Преобразование Фурье

- Собственные функции и собственные значения уравнения колебания
- Собственные функции и собственные значения уравнения колебания
- Ортогональность и нормировка гармонических функций (синус, косинус)
- Дискретное преобразование Фурье
- Интегральное преобразование Фурь
- Теорема Парсеваля
- Линейность Преобразования Фурье
- Масштабирование Преобразования Фурье
- Функция Грина для одномерной линейной системы без начальных условий

📌 источник

@data_math