🧠 Новый взгляд на обучение нейросетей: SETOL

📄 В свежей работе на 139 страниц авторы предлагают необычную идею: определять качество обучения нейросети без валидации, просто анализируя спектр весов каждого слоя.

🔬 SETOL (Semi-Empirical Theory of Learning) — теория, основанная на методах из физики и химии, утверждает:

➡️ Каждый слой нейросети сходится с разной скоростью
➡️ Его “здоровье” можно проверить по спектральному показателю Alpha — наклону убывания сингулярных значений весов

💡 Ключ:
- Если Alpha ≈ 2 → слой держит сигнал и фильтрует шум
- Alpha < 2 → переобучение (запоминает шум)
- Alpha > 2 → недообучение (теряет сигнал)

📈 Этот показатель предсказывает обобщающую способность модели почти так же точно, как полноценная валидация — но без единого примера из датасета.

⚡ Почему это важно:
- Можно оценить модель, даже если исходные данные утрачены
- Упрощает отбор, аудит и прунинг моделей
- Работает оффлайн и с приватными моделями

🔍 Вместо того чтобы “прогонять данные” — теперь можно просто “считать спектр весов как индикат

⚡️ Статья