State Spaces Aren't Enough: Machine Translation Needs Attention

Мы уже упоминали неидеальность ССМ. До этого еще авторы из эпл показали, что ссм (в частности, S4) не может так же хорошо в перевод как и трансформер (благодаря аттеншну). При том там почти в 4 BLEU отставание

Спекулируют они тем, что ссм в принципе по построению не может выстраивать потокенные представления, которые позволяют связывать две последовательности на разных языках, пушто ссм всю последовательность запихивает в репрезентацию фиксированного размера, а из этого потокенно что-то вытащить уже сложно

Аттеншн же по построению делает обратное

К тому же для пущей полноты они представили свою гибридную архитектуру, где весь селф-аттн заменяют на S4, оставляют кросс-аттеншн и картина становится похожей на обычный трансформер

👀LINK