Megatron-DeepSpeed

Ongoing research training transformer language models at scale, including: BERT & GPT-2

同类项目

精选

大模型微调速度提升 2 倍、显存减少 70%，单卡也能训练。

精选

统一高效微调 100+ 大模型，零代码 Web 界面，国内最流行的微调工具。

精选

统一的 AI 计算引擎，用于分布式训练、调参、推理与服务。

精选

机器学习与 GenAI 生命周期管理平台，含追踪与评测。

🧠 Train a 64M-parameter LLM from scratch in just 2h!

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.