帶消極動量的自適應(yīng)步長隨機(jī)方差縮減方法

摘要： 近年來，隨機(jī)方差縮減類方法在解決大規(guī)模機(jī)器學(xué)習(xí)問題中取得很大成功，自適應(yīng)步長技術(shù)的引入減輕了該類方法的調(diào)參負(fù)擔(dān)。針對自適應(yīng)步長的方差縮減算法SVRG-BB,指出其算法設(shè)計帶來了“進(jìn)展-自適應(yīng)步長有效性”的權(quán)衡問題。因此引入Katyusha動量以更好地處理該權(quán)衡問題，并且在強(qiáng)凸假設(shè)下證明由此得到的SVRG-BB-Katyusha算法的線性收斂性質(zhì)。之后基于“貪婪”思想，提出稀疏地...