RL-ABC

В репозитории опубликован код RL-ABC — библиотеки на Python для настройки каналов транспортировки пучка в ускорителях частиц с помощью обучения с подкреплением. Авторы рассматривают задачу подбора параметров магнитов, при которых до конца канала доходит как можно больше частиц. Применение обучения с подкреплением к такой задаче обычно требует отдельной разработки среды для каждой конфигурации ускорителя. RL-ABC автоматизирует эту подготовку, преобразуя поддерживаемые конфигурации симулятора Elegant в среды с интерфейсом Gymnasium. Система добавляет диагностические точки перед настраиваемыми элементами и формирует наблюдения из 57 признаков, описывающих состояние пучка и геометрические ограничения канала. Агент последовательно меняет параметры магнитов, а симулятор пересчитывает движение частиц и возвращает наблюдение и награду, зависящую от потерь пучка. Предусмотрено и поэтапное обучение, при котором сначала настраивается короткий участок канала или ограниченный набор параметров, а затем задача постепенно усложняется. В экспериментах используется упрощённая модель канала транспортировки позитронов комплекса ВЭПП-5 с 11 квадрупольными и четырьмя дипольными магнитами. При подборе только фокусирующих параметров квадруполей агент DDPG находит конфигурации, обеспечивающие в среднем 69,8% прохождения частиц по трём независимым запускам. При настройке всех 37 параметров средний результат составляет около 66%. Короткое предварительное обучение на ограниченном наборе параметров ускоряет начальную адаптацию, но практически не меняет итоговое качество найденных конфигураций. Работа будет полезна специалистам по физике ускорителей, которым нужна готовая среда для экспериментов с автоматической настройкой, и исследователям обучения с подкреплением, изучающим управление системами с непрерывными действиями и нелинейной динамикой.

статья | код