Плюсы KAN:
- Авторы обещают, что для обучения на одних и тех же данных KAN требует значительно меньше нейронов по сравнению с MLP.
- Не нужно переобучать с нуля для повышения точности при наличии новых данных. Достаточно добавить больше точек в сетку сплайнов и дообучить модель с новыми данными.
- Заявляется, что модели KAN лучше интерпретируемы. Но мне кажется это работает только для простых датасетов. Если бизнес спросит, почему модель в проде дала такой результат, а вы в ответ покажете большую формулу из вложенных кусочных полиномов, вас вряд ли поймут.
Минусы:
- KAN на порядок дольше обучается.
- По моим наблюдениям, модель довольно неустойчива. С фиксированными гиперпараметрами один seed может дать приемлемое качество, а другой взорвать кривую обучения (напоминает RNN).
- Главное пока нет примеров sota решений KAN для каких-либо серьезных задач.
Post #238
258