Post #5855
293
一个人、一千美元，能不能从零训出一个像样的大模型？有人真做了：花 998 美元租显卡，训出的模型跑分还超过 OpenAI 的 GPT-2，账单和踩过的坑全部公开。看完有个感觉，一千美元能买到的算力，一年比一年值钱。https://hugovergnes.github.io/little-lm-3-8b/
Hugo Vergnes Training a 3.8B LLM to 0.384 CORE for $998 A 3.8B model pretrained from scratch to 0.384 CORE on 65B tokens in 43 hours, for $998.