Альтернативная парадигма для умной обработки данных

Сегодня поговорим об энергетических моделях, как о способе извлекать зависимости из данных. Я уже упоминал ранее про ЖЕПУ, так вот, это оно.

По сути, энергия - это другое название ошибки, а сама энергетическая модель получает на вход всё - параметры, данные, ответы, и выдаёт величину того, насколько все входные объекты друг с другом не согласуются. Чем ниже энергия, или функция ошибки, тем больше они согласуются.

Такая интерпретация позволяет с помощью оптимизации находить ответ на какую-то задачу в процессе применения модели. Например, если у вас есть модель, которая выдаёт вам энергию пары (картинка, класс), вы можете оптимизировать картинку и таким образом сделать картинку, которая будет близка к оригиналу, но похожа на определённый класс.

Энергетические модели можно применять для "решения задач" - обучив энергетическую модель, получающую "вход", "выход" и "решение", можно оптимизировать это самое решение. В теории это было бы супермощно, но мы пока что не умеем хорошо такие модели учить.

В данной статье обучают энергетическую модель, которая получает на вход данные совместно с концептами. Там всё весьма сложно, но идея в том, что можно из неразмеченных последовательностей данных извлекать концепты, которые кодируют динамику последовательности, и потом переприменять эту динамику к другим данным. Здесь можно посмотреть её обзор.

Основная сложность с такими алгоритмами в том, что если его применение включает в себя процесс оптимизации, то его затруднительно учить end-to-end с помощью back-пропа. Но ничего, прорвёмся!

@knowledge_accumulator