🔎 Интересный кейс. KAN выглядят многообещающе — особенно по части интерпретируемости и экономии параметров.
Но есть вопросы:
- Как они поведут себя на больших, шумных данных и в продакшене?
- Обучение сплайнов медленнее обычных MLP, а значит масштабирование может стать проблемой.
- И как они будут вести себя в сложных топологиях и при регуляризации — неизвестно.
😳 Будет интересно наблюдать, как эти сети покажут себя в реальных условиях и смогут ли реально заменить традиционные подходы.
Я заменил нейросеть с 10 000 параметров на сплайн с 200 — точность выросла!
Шестьдесят лет ИИ полагался на MLP: умножаем входы на веса, суммируем, пропускаем через ReLU/Sigmoid.
Я перешёл на сети Колмогорова–Арнольда (KAN), и они переворачивают всё:
- В MLP веса на связях, активации на узлах.
- В KAN активации на связях, узлы — просто суммы.
- Каждый вес — обучаемый сплайн, а не число.
Плюсы:
- Интерпретируемость — можно прочитать формулу прямо из сети.
- Эффективность — до 100× меньше параметров для научных задач.
- Нет исчезающих градиентов — сигнал проходит лучше.
- Минус: обучение медленнее. Но помните, в 2017 трансформеры тоже казались «слишком медленными».
Хватит слепо добавлять dense-слои — думайте о топологии!