TensorNorm

Код на python, позволяющий считать и контролировать спектральную норму матрицы Якоби. Задача естественным образом возникает в обучении больших сверточных моделей. В своей работе авторы предлагают использовать тензоную спектральную норму для вычисления нормы всего сверточного слоя. Код вычисления нормы инвариантен к входному разрешению картинки и может быть эффективно вычислен во время обучения. В работе авторы выводят теоретическую верхнюю границу нормы, а в серии экспериментов показывают состоятельность метода, демонстрирую лучшую обобщающую способность моделей, регуляризированных с помощью данного подхода. Авторы также показывают, что их алгоритм показывает компромисс между точностью и скоростью вычисления. Код может быть полезен DL-исследователям разных областей и data-science специалистам.

код | статья