#AI工程 #推荐阅读
Transformer 语言模型的资源成本考虑

这篇文章主要从计算资源和内存资源两个方面介绍了Transformer 语言模型成本问题，重点关注训练成本。为如何降低模型训练门槛提供了不错的思路。

⭐️ 计算资源：
· 训练所需计算量的计算公式
· 权衡参数与数据集大小
· 一些工程要点

⭐️ 内存资源：
· 模型参数精度对推理内存的影响
· 推理所需总内存的计算公式
· 精度、优化器状态、梯度、批大小的影响
· 分布式训练

⚜️ https://blog.eleuther.ai/transformer-math/