OpenAI 的研究员 Hyung Won Chung 回顾了 transformer 架构的发展历程：

1. 算力以指数级的方式增长，这是 AI 发展的最大驱动力。就像重力是自由落体运动里最大驱动力一样，其他的因素可以忽略不计；

2. 很多模型架构的设计最初需要比较强的结构，比如 Bert 需要有 encoder + decoder 的结构，但是随着算力和数据量的发展，结构会变得越来越弱，比如 GPT 就只有 decoder；

3. 一些特定领域还是需要强结构的算法，比如解题这一任务，输入长度远远超过输出长度，所以强结构的模型表现比弱结构的模型要好很多。

https://youtu.be/orDKvo8h71o