基于多模態(tài)信息融合的用戶連接方法

摘要： 為彌補(bǔ)用戶連接現(xiàn)有工作中存在的以下兩個(gè)問題：大部分方法只考慮用戶的文本和網(wǎng)絡(luò)結(jié)構(gòu)信息，忽略了圖像等多模態(tài)信息；現(xiàn)有方法大都通過簡(jiǎn)單的特征拼接融合不同模態(tài)的信息，忽略了這些信息的互補(bǔ)性、關(guān)聯(lián)性和異質(zhì)性，提出一個(gè)基于多模態(tài)信息融合的用戶連接模型MIFUIL。獲取用戶的文本、視覺以及異構(gòu)網(wǎng)絡(luò)的嵌入表示；利用注意力機(jī)制學(xué)習(xí)不同模態(tài)信息間的互補(bǔ)性、關(guān)聯(lián)性和異質(zhì)性，獲取用戶多模態(tài)信息的融合... （共8頁(yè)）