一種面向計算圖的及時內(nèi)存重用算法

摘要： 有限的設(shè)備內(nèi)存容量制約了深度神經(jīng)網(wǎng)絡(luò)模型的進一步發(fā)展，內(nèi)存重用是少有的在不引入額外開銷的前提下節(jié)省內(nèi)存使用的方法之一。計算圖中的中間張量占據(jù)著主要的內(nèi)存空間，是內(nèi)存重用算法的主要優(yōu)化對象?，F(xiàn)有的典型內(nèi)存重用算法，包括大張量優(yōu)先算法和短生命周期優(yōu)先算法，僅從單一特征出發(fā)，只考慮張量之間的生命周期是否重疊，忽略了鄰近張量之間的生命周期相對位置關(guān)系，計算圖越復(fù)雜，對內(nèi)存重用的挖掘越不...