llm-training distributed-training data-parallel tensor-parallel pipeline-parallel从数据并行走到模型并进:大模型训练加速技术笔记大语言模型(LLM)的训练需要庞大的计算资源和时间成本。 醉月思📁 技术实践📅 2024-11-06