Завтра на лекции мы приступим к алгоритмам уже непосредственно RL. Разберем, как они работают в табличных средах. Продвинутые алгоритмы, несмотря на свои нюансы и особенности, тем не менее отталкиваются от тех же базовых концепций.
Блокнот с псевдокодом алгоритмов Value Iteration и Policy Iteration, примерами с пошаговым выполнением алгоритмов, описанием ограничений методов динамического программирования.
В среду я забыл ответить на вопрос, остававшийся с позапрошлой лекции. Вопрос такой: если V-функция невыпуклая, как мы стремимся к её оптимальному значению? Ответ, вероятно, уже понятен, но на всякий случай уточню: выпуклость здесь не требуется, потому что поиск оптимума осуществляется не через градиентный спуск, а посредством сжимающего отображения.
На завтрашней лекции мы разберем уравнения оптимальности Беллмана и базовые подходы динамического программирования. Именно этот математический аппарат служит теоретическим фундаментом для RL — он строго обосновывает, почему алгоритмы непосредственно обучения с подкреплением в принципе способны сходиться и эффективно работать. Кроме того, мы увидим сильные ограничения этих подходов, которые делают переход к методам RL необходимым.
Завтра начнем лекцию с обзора библиотеки Gymnasium — единого стандарта API для задач обучения с подкреплением в экосистеме Python. После этого поговорим о двух фундаментальных функциях в RL: функции ценности состояния и функции ценности пары состояние-действие.
Пожалуйста, заполните короткую форму по ссылке, если вы планируете посещать курс. Опрос займет менее минуты и ни к чему вас не обязывает. Ответы помогут адаптировать программу и выбрать наиболее актуальные темы.
Завтра на лекции поговорим о математической рамке, внутри которой работает RL, и, если останется время, о Gymnasium — самой известной Python-библиотеке в области обучения с подкреплением.
How can I read @rl_course without a Telegram account?
TGViewer shows the public web preview Telegram publishes for Обучение с подкреплением: recent posts, photos, videos and the subscriber count, with no app, login or account.
How many subscribers does Обучение с подкреплением have?
Обучение с подкреплением (@rl_course) has 51 subscribers on Telegram, refreshed roughly every 30 minutes.
Does Обучение с подкреплением know I viewed it here?
No. Public channel previews carry no viewer identity, and TGViewer has no accounts or tracking of what you look up.