需求描述

一、需求描述：

微軟的deepspeed（https://www.deepspeed.ai/）是一個(gè)高性能分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)。其實(shí)現(xiàn)了數(shù)據(jù)并行，模型并行，pipeline三種并行訓(xùn)練算法（https://www.deepspeed.ai/tutorials/pipeline/）。希望開發(fā)者閱讀理解pipeline并行的實(shí)現(xiàn)方式給我講解（當(dāng)前代碼基于pytorch，未來可能需要用tensorflow重新實(shí)現(xiàn)）。

二、人才要求：
熟悉pytorch，tensorflow開發(fā)。有神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練經(jīng)驗(yàn)優(yōu)先。

三、合作方式：
開發(fā)方式：遠(yuǎn)程開發(fā)。
開發(fā)周期：小于10天