結(jié)合沙漏注意力與漸進式混合Transformer的圖像分類方法

摘要： Transformer在圖像分類任務(wù)中具有廣泛應(yīng)用，但在小數(shù)據(jù)集分類任務(wù)中，Transformer受到數(shù)據(jù)量較少、模型參數(shù)量過大等因素的影響，導(dǎo)致分類精度低、收斂速度緩慢。本文提出了一種融合沙漏注意力的漸進式混合Transformer模型。首先，通過下-上采樣的沙漏自注意力建模全局特征關(guān)系，利用上采樣補充下采樣操作丟失的信息，同時采用可學(xué)習(xí)溫度參數(shù)和負對角掩碼銳化注意力的分數(shù)分... （共10頁）