معماری transformer که در مقاله‌ای با عنوان attention is all you need در سال ۲۰۱۷ معرفی شد، یکی از مدل‌های بسیار موفق در پردازش زبان‌های طبیعی بوده است. بعنوان مثال، BERT یکی از کاربردهای transformer بود که در تعداد زیادی از وظایف پردازش زبان دقت‌های مدل‌های پیشین را بهبود بخشید. با این وجود، آموزش transformerها برروی دنباله‌های بزرگ از لحاظ پیچیدگی محاسباتی و حافظه‌ی مورد نیاز بسیار پرهزینه است. اخیرا گوگل یک مدل جدید به نام reformer معرفی کرده است که نسبت به transformer از لحاظ سرعت و حافظه بسیار کاراتر است. مقاله‌ی reformer در لینک زیر قابل دریافت است:
https://arxiv.org/pdf/2001.04451.pdf

پست مربوطه را در بلاگ هوش مصنوعی گوگل می‌توانید در لینک زیر مشاهده نمایید:
https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html

و در لینک زیر نیز می‌توانید یک اجرا از این مدل برای وظیفه‌ی تولید متون طبیعی پس از پردازش کتاب “جنایت و مکافات” داشته باشید:
https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb