分析nvidia Megatron-LM分布式訓(xùn)練代碼
詳情...
分析https://github.com/NVIDIA/Megatron-LM代碼(論文:https://arxiv.org/abs/1909.08053),講解其數(shù)據(jù)并行和模型并行的實現(xiàn)方式,用tensorflow實現(xiàn)。 開發(fā)者可能需要理解pytorch代碼,理解神經(jīng)網(wǎng)絡(luò)分布1000元/8小時
20天
20000元
2021-01-23
分析講解deepspeed pipeline代碼
詳情...
一、需求描述: 微軟的deepspeed(https://www.deepspeed.ai/)是一個高性能分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)。其實現(xiàn)了數(shù)據(jù)并行,模型并行,pipeline三種并行訓(xùn)練算法(https://www.deepspeed.ai/tutorials/pipeli1000元/8小時
10天
10000元
2021-01-23