Higgsfield:千亿参数大模型训练框架
这是一个开源、容错、高可扩展的GPU编排机器学习框架,专为千亿到万亿参数规模的大语言模型训练设计,简化多节点训练流程。
· 兼具GPU任务调度与训练框架能力,支持DeepSpeed ZeRO-3和PyTorch完全分片数据并行API
· 解决了依赖环境版本混乱、配置文件复杂等问题,兼容标准PyTorch工作流
· 当前版本0.0.3,可通过pip直接安装
Post #1242
22

GI GitHub开源观察|开源项目·热门仓库·开发者 @githubtrendinghub · 837 subscribers 