مایکروسافت ریسرچ، در مقابل Transformer های سنتی، مقاله ای در رابطه با Differential Transformer ارائه کرده است که نتایج قابل توجهی در زمینه کانتکست مرتبط و نویز کنسلینگ هم زمان ارائه می دهد :

@ai_python

https://www.microsoft.com/en-us/research/publication/differential-transformer/