Привет! Два месяца назад в MIT представили новую архитектуру нейронных сетей — Kolmogorov-Arnold Networks (KAN), которая является альтернативой классическому multilayer perceptron (MLP). Основой KAN является теорема Колмогорова-Арнольда, утверждающая, что любую многомерную функцию можно представить как вложенную комбинацию одномерных функций. Главное отличие от MLP состоит в том, что функции активации в KAN размещены на ребрах сети, а не в ее вершинах. В вершинах остается только суммирование входящих функций. Функции на ребрах задаются взвешенной суммой одномерных сплайнов (кусочных полиномов), именно коэффициенты перед сплайнами выучивает модель.