基于多模態(tài)中間表示的端到端自動駕駛模型

摘要： 對駕駛環(huán)境的準(zhǔn)確理解是實(shí)現(xiàn)自動駕駛的先決條件之一。為提高自動駕駛車輛的場景理解能力，提出了一種基于語義分割、水平視差和角度編碼的多模態(tài)中間表示的端到端自動駕駛模型。該端到端自動駕駛模型利用深度學(xué)習(xí)技術(shù)構(gòu)建感知-規(guī)劃網(wǎng)絡(luò)。感知網(wǎng)絡(luò)以RGB和深度圖為輸入生成多模態(tài)中間表示，實(shí)現(xiàn)道路環(huán)境及周圍障礙物的空間分布描述；規(guī)劃網(wǎng)絡(luò)使用多模態(tài)中間表示進(jìn)行道路環(huán)境特征提取和航路點(diǎn)預(yù)測。基于CAR...