— Google представила новую архитектуру для работы с длинными последовательностями Titans и теоретическую основу MIRAS, которая объединяет скорость рекуррентных сетей с точностью трансформеров
Компания утверждает, что такой подход помогает моделям лучше запоминать важные детали на очень длинных контекстах - от больших документов до геномных данных
❗️ Классические трансформеры сделали революцию за счет механизма внимания: модель может «оглядываться назад» и выделять значимые куски текста
🧑💻 Этичный хакер