Все таки нашел в себе силы выйти из канального отпуска. Написал безумно классную статью про KAN-ы на хабр - https://habr.com/ru/articles/815851/

Так же сделал peft-kan - форк пефта с поддержкой KAN в качестве лоры. Работает в двух режимах, или замена матриц A и B на кан слои (но может плохо работать при большой скрытой размернорсти LLMки), или нелинейный адаптер между ними (что работает не очень, ведь добавление любой нелинейности в лору не особо ей помогает)

Смог даже черепикнуть один прогон, где kan показывал некоторое преимущество над обычной лорой)))

Мб если найду в себе силы и деньги на карточки, смогу закончить эксперименты и в случае если там будет что то убедительное, пойду мерджить в peft))