Post #161 1.44K Feb 21, 2024, 03:08 UTC https://telegra.ph/Attention-Mechanism-02-21简要概括下 RNN、attention、transformer 的关系。next: https://t.me/laiskynotes/184 Telegraph Attention Mechanism published at: https://t.me/laiskynotes/161 时间线 1943 年提出人工神经网络; 2014 年发表深度学习(AlexNet); 2015 年 Bahdanau 提出 Attention 机制优化 RNN; 2015 年 OpenAI 成立; 2017 年 Google 发表 Transformer,提出不需要 RNN,只要 Attention 就够了; 2017 年 OpenAI 发布基于 transformer 的 gpt-1; 2019 年 gpt-2;2020… 👍 5