The Illusion of State in State-Space Models

В последнее время мы все чаще слышим про State-Space Models (SSM) ([1] [2] [3] [4] [5]), которые эффективно могут быть альтернативой во многом трансформеру. В частности, теоретически SSM может "понимать" определенные виды последовательностей и осуществлять state tracking, чего не может трансформер

Однако, эта теория основана на ссм с бесконечным кол-вом слоев (как это обычно бывает в теории linear iteration dynamics), что не сходится с практикой - мы ведь фиксируем несколько слоев, здесь вам не deep equilibruim models

И этот важный факт на практике показывает, что никакого преимущества у ссм над трансформерами и нет - они не могут моделировать те же виды последовательностей, что и трансформеры, связанные со связностью графов, вычислением булевых формул и проблемы композиции перестановок. В отличие от однослойной РНН, которая все это может решать 🗿

Казалось бы, завяли помидоры... но не совсем - все-таки теоретически это можно решить, добавляя зависимость от инпутов и нелинейность в моделируемые матрицы ссм, приближая их к рннкам (но это не будет рнн, все сложно🙃)
Правда тогда возникают проблемы с параллелизмом и динамикой обучения

Короче, следим за последовательностью событий

👀LINK

#statespacemodels #transformer #rnn #sequencemodelling