需求描述

分析https://github.com/NVIDIA/Megatron-LM代碼（論文：https://arxiv.org/abs/1909.08053），講解其數(shù)據(jù)并行和模型并行的實(shí)現(xiàn)方式，用tensorflow實(shí)現(xiàn)。
開發(fā)者可能需要理解pytorch代碼，理解神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練算法，熟悉tensorflow開發(fā)。
價(jià)格可以商議。