Хожу без пропусков, вот бы также в вуз ходил :) Сегодня обсуждали безградиентную оптимизацию и спайковые нейронки. Было очень интересно, да и мой любимый VQVAE упомянули. Особенно отметил для себя information bottleneck method.
Information Bottleneck Method — это подход из области теории информации, который используется для выделения и сохранения наиболее релевантной информации из одного сигнала ( X ), которая важна для предсказания другого сигнала ( Y ). Основная идея метода заключается в том, чтобы "сжать" информацию в ( X ), сохраняя только ту её часть, которая полезна для понимания или предсказания ( Y ).
Например, в задаче классификации изображений мы изучаем латентное пространство, учитывающее множество положений пикселей, цветов, текстур и тд. Все это учить нам не нужно, давайте выкинем всю лишнюю информацию и оставим гораздо более простое латентное пространство, позволяющее решить задачу классификации.
Это направление можно хорошо адаптировать для теоретической основы глубокого обучения в общем. Все это я говорю, потому что интересно + для затравочки перед своим ресерчем VQVAE, потому что я делаю весьма похожую штуку... Пока не сделаю, это будет тайной))