📚Python Books

Data Structures and Information Retrieval in Python

📓 Книга

@datascienceiot

Конспект лекции Гонконгского университета прикладной линейной алгебры и дифференциальных уравнений

📌 Лекции

@data_math

📌Книга "Обучение с подкреплением: Основы"

Хороших книг по обучению с подкреплением (Reinforcement Learning, RL) уже выпущено достаточно, однако есть пробел между продвинутыми учебниками, в которых основное внимание уделяется одному или нескольким аспектам, и более общими книгами, в которых предпочтение отдается удобочитаемости, а не сложности.

Авторы книги, люди с опытом работы в CS и инжиниринга, подают тему RL в строгом и академическом стиле. Книга основана на конспектах лекций для углубленного курса бакалавриата, который преподается авторами в Тель-Авивском университете.

К этой книге дополнительно идет брошюра с упражнениями и экзаменационными вопросами, которые помогут освоить материал книги на практике. Эти упражнения разрабатывались на протяжении нескольких лет.

Математическая модель книги - Марковский процесс принятия решений (Markov Decision Process, MDP). Основное внимание уделяется: последовательному принятию решений, выбору действий, долгосрочному эффекту от этих действий и разница между немедленным вознаграждением и долгосрочной выгодой.

Тематически книга состоит из двух частей – "Планирование" и "Обучение".

▶️ Раздел "Планирование" - основы принятия оптимальных решений в условиях неопределенности в соответствии с MDP.

🟢Глава 2. Обоснование модели MDP и ее связь с другими моделями.
🟢Глава 3. Основные алгоритмические идеи в детерминированной постановке.
🟢Глава 4. Цепи Маркова, на которых основана MDP.
🟢Глава 5. Модель MDP с конечным горизонтом и фундаментальный подход к динамическому программированию.
🟢Глава 6. Дисконтированная настройка с бесконечным горизонтом.
🟢Глава 7. Эпизодическая настройка.
🟢Глава 8. Альтернативный подход к решению MDP с использованием формулировки линейного программирования.

▶️ Раздел "Обучение" - принятие решений, когда модель MDP неизвестна заранее.

🟠Глава 9. Описание и мотивация модели обучения и ее связь с альтернативами при принятии решений.
🟠Глава 10. Подход, основанный на моделях, при котором агент явно изучает модель MDP на основе своего опыта и использует ее для принятия решений по планированию.
🟠Глава 11. Альтернативный подход без использования моделей, при котором решения принимаются без явного построения модели.
🟠Глава 12. Изучение приблизительно оптимальных решений крупных задач с использованием аппроксимации функции стоимости.
🟠Глава 13 Решение крупных задач с использованием методов градиентной политики.
🟠Глава 14. Особый случай на примере игровых автоматов, как MDP с единым состоянием и неизвестными наградами, и онлайн-характер принятия решений.


🟡Сайт учебника
🟡Читать


@ai_machinelearning_big_data

#AI #ML #RL #MDP #Book

👩‍💻 Pythonic Data Structures and Algorithms: algorithms

🖥 Github

@pythonlbooks

Problem Solving with Algorithms and Data Structures

🔗 Book

@pythonlbooks

📖 A Data-Centric Introduction to Computing

Огромная бесплатная книга: Введение в науку о данных: основы вычислений!

🔗 Читать: *клик*

@pythonlbooks

👩‍💻 Python Notes for Professionals book

🔗 Book

@pythonlbooks

Pandas in action

📚 Книга

@pythonlbooks

🖥 Шпаргалка-гайд по работе с Python и PostgreSQL.

Шпаргалка

@pythonlbooks

🖥 Python БОЛЬШАЯ КНИГА ПРИМЕРОВ

📚 Книга

@pythonlbooks - книги Python

Intermediate Python

📖 Book

@pythonlbooks

Deep Learning and Computational Physics - Lecture Notes, University of South California

📓 book

@datascienceiot

Beginning Ethical Hacking with Python

📓 Book

@pythonlbooks

Python Practical Programming

📚 Book

@pythonlbooks

Mathematical theory of deep learning

📚 Book

@datascienceiot

Hands-On Large Language Models

📚 Github

@datascienceiot