Недавно и совершенно случайно узнал, что линейную регрессию можно красиво обобщить на произвольные ядра! Сам факт обобщения удивления не вызывает — линейная регрессия это ведь такой гауссовский процесс, а гауссовские процессы бывают разные. Удивляют простота и элегантность перехода от одного к другому, а также тот факт, что я об этом узнал только сейчас.

Решил посмотреть, пишут ли про это в The Elements of Statistical Learning, и вроде бы прям про такой вывод не пишут, но в целом про ядерные штуки можно почитать в главе 5.8 Regularization and Reproducing Kernel Hilbert Spaces!