異構(gòu)環(huán)境感知的分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型

摘要： 針對分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練在異構(gòu)環(huán)境中訓(xùn)練速度慢、資源利用率低的問題，提出一種異構(gòu)環(huán)境感知的分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型(H-PS)。根據(jù)計算節(jié)點當(dāng)前狀態(tài)動態(tài)調(diào)度訓(xùn)練任務(wù)，使計算節(jié)點能夠在相同時間完成訓(xùn)練任務(wù)，提高資源利用率。提出通信與計算并行策略，參數(shù)服務(wù)器與計算節(jié)點傳輸模型參數(shù)期間，計算節(jié)點持續(xù)模型計算，進(jìn)一步提高資源利用率。使用靈活的量化策略，壓縮神經(jīng)網(wǎng)絡(luò)模型參數(shù)，減少參數(shù)服務(wù)器與...