精准一头一尾中特期期准:基于多層次特征融合的快速無人車駕駛場景分割方法技術

技術編號:21185428 閱讀:30 留言:0更新日期:2019-05-22 16:03
本發明專利技術公開了一種基于多層次特征融合的快速無人車駕駛場景分割方法,其先利用深度神經網絡對場景圖片進行編碼、池化,解碼得到稠化特征圖,再通過多層次特征融合技術對不同特征空間的特征進行融合,得到包含更多特征圖全局信息的特征融合圖;softmax分類器將特征融合圖中的像素點進行分類,得到基于像素點的駕駛場景分割圖。這樣能夠保證在獲取特征圖全局信息的前提降低運算量,在能夠滿足無人駕駛的情況下大大提高場景分割速率,有利于實現快速語義分割技術,進而為無人駕駛提供技術支撐。

Fast Unmanned Vehicle Driving Scene Segmentation Method Based on Multi-level Feature Fusion

572222一尾中特平 www.fbmtd.icu The invention discloses a fast driving scene segmentation method based on multi-level feature fusion. Firstly, scene pictures are coded and pooled by deep neural network, and then densified feature maps are obtained by decoding. Then, features of different feature spaces are fused by multi-level feature fusion technology, and feature fusion maps containing more global information of feature maps are obtained. It classifies the pixels in the feature fusion image and gets the driving scene segmentation image based on the pixels. In this way, the computational complexity can be reduced on the premise of obtaining the global information of the feature map, and the scene segmentation speed can be greatly improved under the condition of meeting the requirements of unmanned driving, which is conducive to the realization of fast semantic segmentation technology, and then provides technical support for unmanned driving.

【技術實現步驟摘要】
基于多層次特征融合的快速無人車駕駛場景分割方法
本專利技術屬于場景分割
,更為具體地講,設計一種快速的基于多層次特征融合的無人車室外場景分割方法。
技術介紹
近年來,人工智能越來越炙手可熱,無人駕駛作為其中的一員,已經從技術研發逐漸轉向市場應用。目前國內外各大車企,互聯網公司紛紛將其設為重點發展方向。在國外,英國和美國政府也相繼發布人工智能報告,并在報告中提及無人駕駛的發展和其良好的發展前景。而我國的科學技術部在剛出臺的“科技創新2030—重大項目”中首次將人工智能升級到國家層次戰略,并將無人駕駛列為重點發展對象。在無人駕駛技術中,對駕駛場景進行語義分割處于核心地位,作為基礎功能,語義分割可以為無人車駕駛系統提供豐富的信息,且具有較好的魯棒性。近年來,隨著以卷積神經網絡為代表的深度學習的快速發展,很多視覺領域開始大量使用卷積神經網絡。在語義分割領域,以FCN為代表的卷積模型首次在速度和精度兩方面大幅度超越傳統分割模型。因為卷積神經網絡在訓練過程中是一個參數學習過程,之后可以直接使用訓練好的參數來進行訓練,所以其速度較快。和傳統模型相比,基于卷積神經網絡的模型可以提取更魯棒的特征。綜合分析,基于卷積神經網絡的語義分割是面向無人車駕駛場景最好的選擇。但是,對于無人駕駛場景理解,語義分割的結果不僅需要有較高的精度,同時需要保證一定的速度,從而能夠保證智能駕駛過程中對場景理解的實時性,進而確保及時對智能車進行控制與決策。
技術實現思路
本專利技術的目的在于克服現有技術的不足,提供一種基于多層次特征融合的快速無人車駕駛場景分割方法,通過多層次特征融合處理,能夠更好的保存原始特征圖信息,便于在保證精度的同時提高語義理解的速度。本專利技術解決技術問題采用如下技術方案:一種基于多層次特征融合的快速無人車駕駛場景分割方法,其包括:S1.利用深度神經網絡對無人車駕駛場景圖片進行編碼,得到稀疏特征圖;S2.對不同的特征空間中的稀疏特征圖進行解碼,得到稠化特征圖;S3.對不同特征空間的稠化特征圖利用1x1的卷積核進行卷積,獲取稠化特征圖的全局信息;S4.對不同特征空間卷積后的稠化特征圖進行融合,得到包含駕駛場景全局信息的特征融合圖;S5.利用深度神經網絡末端的soft-max分類器將融合后特征圖的像素點進行分類,得到基于像素點的駕駛場景分割圖??裳〉?,S1中,將攝像頭采集的車道圖片輸入深度神經網絡,深度神經網絡通過編碼部分的卷積操作、池化操作對輸入的場景圖片進行特征提取得到稀疏特征圖??裳〉?,所述特征提取通過卷積核對感受野區域進行卷積操作實現;然后通過非線性激勵函數對每一個像素點進行非線性映射,得到稀疏特征表達??裳〉?,所述卷積操作具體為:1)用模板矩陣對圖片像素矩陣進行矩陣移位相乘運算,即矩陣對應位置相乘最后求和;2)、按照1)所述的運算法則從左向右、自上而下完成對整個圖片的遍歷??裳〉?,S4中,在卷積融合環節中將每個卷積層的輸出通道數統一設定為21,并在語義特征融合環節中,采用對應位置處像素值相加的方式實現對這些特征的融合。本專利技術具有如下有益效果:本專利技術的基于多層次特征融合的快速無人車駕駛場景分割方法,先利用深度神經網絡對場景圖片進行編碼、池化,解碼得到稠化特征圖,再通過多層次特征融合技術對不同特征空間的特征進行融合,得到包含更多特征圖全局信息的特征融合圖。softmax分類器將特征融合圖中的像素點進行分類,得到基于像素點的駕駛場景分割圖。這樣能夠保證在獲取特征圖全局信息的前提降低運算量,在能夠滿足無人駕駛的情況下大大提高場景分割速率,有利于實現快速語義分割技術,進而為無人駕駛提供技術支撐。附圖說明圖1為本專利技術的基于多層次特征融合的快速無人車駕駛場景分割方法的流程圖;圖2為對輸入圖片進行編碼提取場景特征的深度卷積神經網絡可視化;圖3為本專利技術多層次特征融合示意圖。具體實施方式下面結合實施例及附圖對本專利技術的技術方案作進一步闡述。實施例1本實施例提供了一種基于多層次特征融合的快速無人車駕駛場景分割方法,其包括:S1、利用深度神經網絡對無人車駕駛場景(車道圖片)進行編碼。利用車載攝像頭采集駕駛場景圖片(車道圖片),再將攝像頭采集的車道圖片輸入深度神經網絡,利用深度神經網絡的編碼部分的卷積操作、池化操作對輸入的車道圖片進行特征提取得到稀疏特征圖,如圖2所示。其中,每一個卷積層的操作具體為:1)用模板矩陣對圖片像素矩陣進行矩陣移位相乘運算,即矩陣對應位置相乘最后求和;2)、按照1)所述的運算法則從左向右、自上而下完成對整個圖片的遍歷。其中,編碼主要是對輸入的圖片進行特征提取,特征提取的具體實現是通過卷積核對感受野區域進行卷積所實現的,特征圖的每個神經元將輸入層中相鄰區域的神經元連接在一起,這一區域被稱為輸入層特征圖的感受野。這樣就可以通過對輸入層進行卷積操作獲得對輸入層的特征提取,即獲得稀疏特征圖,然后緊接著通過非線性激勵函數對每一個像素點進行非線性映射,從而得到更好的稀疏特征表達。S2、對不同的特征空間的稀疏特征圖,利用深度神經網絡通過線性差值進行上采樣,進而得到對應特征空間的稠化特征圖。S3、對不同特征空間的稠化特征圖利用1x1的卷積核進行卷積,獲取稠化特征圖的全局信息。該尺寸的卷積核在一定程度上相當于全連接層,通過對特征圖里每一個像素進行處理來獲取特征圖全局信息。但和全連接層相比,其參數量明顯變少,這將有效抑制卷積網的過擬合問題。并和尺寸為3×3的卷積核相比,其運算量減少到原來的1/9,這將有助于FusNet網絡計算速度的提升。S4、對不同特征空間卷積后的稠化特征圖進行融合,得到包含駕駛場景全局信息(能夠包含幾乎全部原始場景特征信息)的特征融合圖。對駕駛場景多層次特征融合處理的方法為:在卷積融合環節中將每個卷積層的輸出通道數統一設定為21,并在語義特征融合環節中,采用對應位置處像素值相加的方式實現對這些特征的融合,即Caffe的Eltwise層。S5、利用深度神經網絡末端的soft-max分類器將融合后特征圖的像素點進行分類,得到基于像素點的駕駛場景分割圖。以上實施例的先后順序僅為便于描述,不代表實施例的優劣。最后應說明的是:以上實施例僅用以說明本專利技術的技術方案,而非對其限制;盡管參照前述實施例對本專利技術進行了詳細的說明,本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改,或者對其中部分技術特征進行等同替換;而這些修改或者替換,并不使相應技術方案的本質脫離本專利技術各實施例技術方案的精神和范圍。本文檔來自技高網...

【技術?;さ恪?/strong>
1.一種基于多層次特征融合的快速無人車駕駛場景分割方法,其特征在于,包括:S1.利用深度神經網絡對無人車駕駛場景圖片進行編碼,得到稀疏特征圖;S2.對不同的特征空間中的稀疏特征圖進行解碼,得到稠化特征圖;S3.對不同特征空間的稠化特征圖利用1x1的卷積核進行卷積,獲取稠化特征圖的全局信息;S4.對不同特征空間卷積后的稠化特征圖進行融合,得到包含駕駛場景全局信息的特征融合圖;S5.利用深度神經網絡末端的soft?max分類器將融合后特征圖的像素點進行分類,得到基于像素點的駕駛場景分割圖。

【技術特征摘要】
1.一種基于多層次特征融合的快速無人車駕駛場景分割方法,其特征在于,包括:S1.利用深度神經網絡對無人車駕駛場景圖片進行編碼,得到稀疏特征圖;S2.對不同的特征空間中的稀疏特征圖進行解碼,得到稠化特征圖;S3.對不同特征空間的稠化特征圖利用1x1的卷積核進行卷積,獲取稠化特征圖的全局信息;S4.對不同特征空間卷積后的稠化特征圖進行融合,得到包含駕駛場景全局信息的特征融合圖;S5.利用深度神經網絡末端的soft-max分類器將融合后特征圖的像素點進行分類,得到基于像素點的駕駛場景分割圖。2.根據權利要求1所述的基于多層次特征融合的快速無人車駕駛場景分割方法,其特征在于,S1中,將攝像頭采集的車道圖片輸入深度神經網絡,深度神經網絡通過編碼部分的卷積操作、池化操作對輸入的場景圖片進行特征提取得...

【專利技術屬性】
技術研發人員:王祎男,曹容川,李誠,
申請(專利權)人:中國第一汽車股份有限公司,
類型:發明
國別省市:吉林,22

網友詢問留言 已有0條評論
  • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

1