異構(gòu)平臺(tái)下卷積神經(jīng)網(wǎng)絡(luò)推理模型自適應(yīng)劃分和調(diào)度方法

摘要： 針對(duì)卷積神經(jīng)網(wǎng)絡(luò)（CNN）在異構(gòu)平臺(tái)執(zhí)行推理時(shí)存在硬件資源利用率低、延遲高等問題，提出一種CNN推理模型自適應(yīng)劃分和調(diào)度方法。首先，通過遍歷計(jì)算圖提取CNN的關(guān)鍵算子完成模型的自適應(yīng)劃分，增強(qiáng)調(diào)度策略靈活性；然后，基于性能實(shí)測(cè)與關(guān)鍵路徑-貪婪搜索算法，在CPU-GPU異構(gòu)平臺(tái)上根據(jù)子模型運(yùn)行特征選取最優(yōu)運(yùn)行負(fù)載，提高子模型推理速度；最后利用張量虛擬機(jī)（TVM）中跨設(shè)備調(diào)度機(jī)制，...