2019一头一尾中特料:用于步態分類的基于深度學習的多傳感器信號融合方法技術

技術編號:21185438 閱讀:89 留言:0更新日期:2019-05-22 16:04
本發明專利技術屬于生物特征識別技術領域,具體涉及一種用于步態分類的基于深度學習的多傳感器信號融合方法。本發明專利技術通過構建深度神經網絡對異常步態進行分類,并利用卷積神經網絡對來自IMU慣性傳感單元和SEMG表面肌電的多源異構信息源數據進行融合;融合內容包括數據層(CNN輸入層)、特征層(CNN池化層1至卷積層2)以及決策層(CNN輸出層)融合,從而完備提取多源異構傳感器信息,提高分類器分類精度,同時減少數據預處理工作量,提高分類準確度與判別效率。經驗證,本發明專利技術在多種異常步態分類任務中分類效果較單模態傳感器有顯著提升,在實施例中所舉異常步態六分類任務中,分類準確率達到99.15%,較單IMU信息源CNN網絡提升約三個百分點。

Deep Learning Based Multi-Sensor Signal Fusion Method for Gait Classification

572222一尾中特平 www.fbmtd.icu The invention belongs to the technical field of biometric recognition, and specifically relates to a multi-sensor signal fusion method based on deep learning for gait classification. The invention classifies abnormal gait by constructing a depth neural network, and uses convolution neural network to fuse multi-source heterogeneous information source data from IMU inertial sensing unit and SEMG surface electromyography; the fusion content includes data layer (CNN input layer), feature layer (CNN pooling layer 1 to convolution layer 2) and decision layer (CNN output layer), so as to extract multi-source heterogeneity completely. The sensor information is constructed to improve the classification accuracy of the classifier, reduce the workload of data preprocessing, and improve the classification accuracy and discrimination efficiency. It has been proved that the classification effect of the present method in various abnormal gait classification tasks is significantly improved than that of single-mode sensors. In the six abnormal gait classification tasks mentioned in the implementation example, the classification accuracy rate reaches 99.15%, which is about three percentage points higher than that of the single IMU information source CNN network.

【技術實現步驟摘要】
用于步態分類的基于深度學習的多傳感器信號融合方法
本專利技術屬于生物信號傳感
,具體涉及一種用于步態分類的多傳感器信號融合方法。
技術介紹
步態指人走路時所表現出來的姿態,是人體重要生物特征之一。異常步態多與病變部位有關,作為反映人體健康狀況和行為能力的重要特征,及時獲得準確可信的步態信息,訓練異常步態分類器對步態異常進行及時預警,且長期對其進行監測與評估,在醫療診斷、疾病預防中具有重要的指導意義。多傳感器數據融合MSDF(Multi-sensorDataFusion)技術首先在軍事中被廣泛使用,近來隨著生物醫學信息采集技術的日益成熟完善,尤其是可穿戴設備及身體傳感網(BodySensorNetwork)的興起,對醫學信號的多傳感器融合引起了關注。目前主流的步態識別方法主要分基于視頻及圖像處理的計算機視覺方案和基于步道與穿戴式傳感器如IMU的傳感器方案?;詿釁饔謝諳輪碩畔?、基于下肢表面肌電、基于足底壓力分布等眾多單傳感器方案,但單一傳感器與多傳感器相比數據單薄,不能獲取對象完整、全面的信息。
技術實現思路
本專利技術的目的在于提出一種分類精度高、計算復雜度低的用于步態分類的多傳感器信號融合方法。本專利技術提出的用于步態分類的多傳感器信號融合方法,是基于深度神經網絡技術的,其通過構建深度神經網絡對異常步態進行分類,并利用神經網絡對多信息源數據的數據層、特征層、決策層進行融合,從而完備提取多源異構傳感器信息,提高分類器分類精度。具體步驟如下:步驟一,采集正常步態信息。利用穿戴于人體的IMU(慣性傳感單元)??橛隨EMG(表面肌電)??椴杉頌逭P?span style='display:none'>走時的信號,得到正常步態三軸加速度信息及下肢肌群表面肌電信息;步驟二,采集異常步態信息。利用穿戴于人體的IMU采集人體模擬典型異常步態行走時的信號,得到異常步態三軸加速度信息及下肢肌群表面肌電信息;步驟三,數據預處理與數據層融合。將來自兩種傳感器的原始各通道數據根據時間戳做數據對齊,將IMU數據與EMG數據濾波后進行歸一化處理;根據目標典型行走步頻將原始數據各自做開窗切割預處理,并根據步態類別將各數據隊列打上相應標簽,得到分別為IMU、SEMG數據的兩組數據標簽對;其中,IMU三軸數據的組內時間戳對齊,SEMG多通道數據的組內時間戳對齊,以及IMU、SEMG數據的組間時間戳對齊;步驟四,搭建特征融合深度卷積神經網絡(CNN),該CNN網絡為六層結構,卷積層一A與池化層一A全連接,卷積層一B與池化層一B全連接,池化層一A與池化層一B融合至卷積層二,卷積層二連接池化層二,池化層二連接全連接隱藏層,全連接隱藏層連接至全連接輸出層;定義兩個并列的卷積層一(卷積層一A,卷積層一B)、池化層一,定義一個卷積層二、池化層二,定義全連接層及各激活函數;步驟五,將步驟三中得到的數據標簽對分成訓練集與測試集,將時間戳對齊后的IMU與SEMG數據成組分別送入步驟四中的卷積層一(IMU進入卷積層一A,SEMG進入卷積層一B)進行訓練;數據在卷積層二完成特征級融合;步驟六,重復步驟三至步驟五三次,得到三個模型;步驟七,訓練完成后利用測試集評估模型,將三個模型的預測結果做多數判決選舉,完成數據決策層融合。本專利技術步驟一、二中,所述IMU采集單元可安置但不限于小腿、鞋中、腰間,但要求正常步態與異常步態的安裝方式一致。本專利技術步驟一、二中,所述SEMG采集單元可安置但不限于腓腸肌肌腹、脛前肌肌腹,但要求正常步態與異常步態的安裝方式一致。本專利技術步驟二中,所述典型異常步態包括但不限于偏癱步態、帕金森步態、鴨步步態、跨閾步態、雙癱步態。本專利技術步驟三中,所述將原始數據各自做開窗切割,其數據窗長度典型值為但不限于兩個步態周期,窗間逐段步進值可取但不限于開窗長度的四分之一,所述標簽形式為但不限于獨熱編碼。本專利技術步驟四中,所述卷積層一A與卷積層一B的輸入矩陣Shapecov1A與Shapecov1B定義為步驟三中每段數據窗(數據信源通道數,當前采樣頻率下來自各自信號數據的采樣點數)也即:Shapecov1A:(NIMU,Twindows*fc)Shapecov1B:(NSEMG,Twindows*fc)其中,NIMU為IMU數據通道數,NSEMG為SEMG數據通道數,Twindows為數據窗時域長度,fc為當前采樣頻率。所述輸出層結點數定義為當前模型中步態種類數,也即一種正常步態與所有異常步態之和。所述CNN網絡的優化算法可為但不限于Adam優化器。所述各層激勵函數可為但不限于ReLU函數、Sigmod函數、tanh函數,輸出層激勵函數為Softmax函數。所述CNN網絡的損失函數為多類對數損失函數。本專利技術步驟七中,決策層融合的實現方式為三模型多數表決制。本專利技術的有益效果是,利用CNN深度神經網絡完成下肢運動加速度信息與下肢表面肌電信息的數據層與特征層融合,利用多CNN模型多數選舉完成數據的決策層融合,從而在異常步態分類器的構建中充分利用IMU單元與SEMG單元多源異構傳感器的數據,提高分類器準確度。經驗證,本模型在多種異常步態分類任務中分類效果較單模態傳感器有顯著提升。如在本專利技術實施例中所舉異常步態六分類任務中,分類準確率可達到99.15%,較單IMU信息源CNN網絡提升約三個百分點。附圖說明圖1為本專利技術用于步態分類的基于深度卷積神經網絡的多傳感器信號融合方法結構圖。圖2為本專利技術搭建的深度卷積神經網絡的結構圖。圖3為本專利技術實施例中送入神經網絡的一段信號窗所含預處理后的加速度傳感器數據。圖4為本專利技術實施例中送入神經網絡的一段信號窗所含預處理后的表面肌電數據。圖5為本專利技術實施例中偏癱步態(劃圈步態)下加速度信號示例(截取10s)。圖6為本專利技術實施例中帕金森步態(慌張步態)下加速度信號示例(截取10s)。圖7為本專利技術實施例中臀中肌肌病步態(鴨步步態)。圖8為本專利技術實施例中跨閾步態下加速度信號示例(截取10s)。圖9為本專利技術實施例中雙癱步態(剪刀樣步態)下加速度信號示例(截取10s)。圖10為實施例中訓練7輪后模型在在訓練集中的ROC曲線。圖11為實施例中訓練7輪后模型在測試集中的混淆矩陣。具體實施方式下面結合附圖并舉較佳實施例,對本專利技術進行詳細描述。本專利技術提供了一種用于步態分類的基于深度卷積神經網絡的多傳感器信號融合方法,方法結構示意圖如圖1所示。該方法采用如下步驟實現:步驟一,采集正常步態信息。將IMU與SEMG硬件采集系統通過綁帶固定于左右小腿外側,其中IMUY軸與水平面垂直,X軸與人體冠狀面垂直,Z軸與人體矢狀面垂直。SEMG兩通道分別貼于腓腸肌肌腹與脛前肌肌腹,每通道兩片電極間距4厘米,參考電極貼于腓骨外踝處皮膚。設置系統采樣率為512Hz,設置IMU加速度計靈敏度為±2g,采集人體正常行走時的運動信號,采集步數不少于100步,得到正常步態下的左右下肢三軸加速度信息以及兩塊關鍵肌肉的表面肌電信息。步驟二,采集異常步態信息。IMU以及SEMG硬件采集系統放置與采集流程同步驟一,采集異常步態下的左右下肢三軸加速度信息以及兩塊關鍵肌肉的表面肌電信息。在本實施例中從肌病、骨病、大腦損傷等常見致病因導致的異常步態中選取五種典型異常步態進行模擬,分別為偏癱步態(劃圈步態)、帕金森步態(慌張步態)、臀中肌肌本文檔來自技高網...

【技術?;さ恪?/strong>
1.一種用于步態分類的基于深度學習的多傳感器信號融合方法,其特征在于,通過構建深度神經網絡對異常步態進行分類,并利用神經網絡對多信息源數據的數據層、特征層、決策層進行融合,從而完備提取多源異構傳感器信息,具體步驟如下:步驟一,采集正常步態信息:利用穿戴于人體的IMU??橛隨EMG??椴杉頌逭P兇呤鋇男藕?,得到正常步態三軸加速度信息及下肢肌群表面肌電信息;步驟二,采集異常步態信息:利用穿戴于人體的IMU采集人體模擬典型異常步態行走時的信號,得到異常步態三軸加速度信息及下肢肌群表面肌電信息;步驟三,數據預處理與數據層融合:將來自兩種傳感器的原始各通道數據根據時間戳做數據對齊,將IMU數據與EMG數據濾波后進行歸一化處理;根據目標典型行走步頻將原始數據各自做開窗切割預處理,并根據步態類別將各數據隊列打上相應標簽,得到分別為IMU、SEMG數據的兩組數據標簽對;其中,IMU三軸數據的組內時間戳對齊,SEMG多通道數據的組內時間戳對齊,以及IMU、SEMG數據的組間時間戳對齊;步驟四,搭建特征融合深度卷積神經網絡(CNN),該CNN網絡為六層結構:卷積層一A與池化層一A全連接,卷積層一B與池化層一B全連接,池化層一A與池化層一B融合至卷積層二,卷積層二連接池化層二,池化層二連接全連接隱藏層,全連接隱藏層連接至全連接輸出層;定義兩個并列的卷積層一:卷積層一A,卷積層一B,定義池化層一,定義一個卷積層二、池化層二,定義全連接層及各激活函數;步驟五,將步驟三中得到的數據標簽對分成訓練集與測試集,將時間戳對齊后的IMU與SEMG數據成組分別送入步驟四中的卷積層一:IMU進入卷積層一A,SEMG進入卷積層一B;進行訓練;數據在卷積層二完成特征級融合;步驟六,重復步驟三至步驟五三次,得到三個模型;步驟七,訓練完成后利用測試集評估模型,將三個模型的預測結果做多數判決選舉,完成數據決策層融合。...

【技術特征摘要】
1.一種用于步態分類的基于深度學習的多傳感器信號融合方法,其特征在于,通過構建深度神經網絡對異常步態進行分類,并利用神經網絡對多信息源數據的數據層、特征層、決策層進行融合,從而完備提取多源異構傳感器信息,具體步驟如下:步驟一,采集正常步態信息:利用穿戴于人體的IMU??橛隨EMG??椴杉頌逭P兇呤鋇男藕?,得到正常步態三軸加速度信息及下肢肌群表面肌電信息;步驟二,采集異常步態信息:利用穿戴于人體的IMU采集人體模擬典型異常步態行走時的信號,得到異常步態三軸加速度信息及下肢肌群表面肌電信息;步驟三,數據預處理與數據層融合:將來自兩種傳感器的原始各通道數據根據時間戳做數據對齊,將IMU數據與EMG數據濾波后進行歸一化處理;根據目標典型行走步頻將原始數據各自做開窗切割預處理,并根據步態類別將各數據隊列打上相應標簽,得到分別為IMU、SEMG數據的兩組數據標簽對;其中,IMU三軸數據的組內時間戳對齊,SEMG多通道數據的組內時間戳對齊,以及IMU、SEMG數據的組間時間戳對齊;步驟四,搭建特征融合深度卷積神經網絡(CNN),該CNN網絡為六層結構:卷積層一A與池化層一A全連接,卷積層一B與池化層一B全連接,池化層一A與池化層一B融合至卷積層二,卷積層二連接池化層二,池化層二連接全連接隱藏層,全連接隱藏層連接至全連接輸出層;定義兩個并列的卷積層一:卷積層一A,卷積層一B,定義池化層一,定義一個卷積層二、池化層二,定義全連接層及各激活函數;步驟五,將步驟三中得到的數據標簽對分成訓練集與測試集,將時間戳對齊后的IMU與SEMG數據成組分別送入步驟四中的卷積層一:IMU進入卷積層一A,SEMG進入卷積層一B;進行訓練;數據在卷積層二完成特征級融合;步驟六,重復步驟三至步驟五三次,得到三個模型;步驟七,訓練完成后利用測試集評估模型,將三個模型的預測結果做多數判決選舉,完成數據決策層融合。2.根據權利要求1所述的多傳感器信號融合方法,其特征在于,步驟一、二中所述IMU采集單元安置于小腿、鞋中、腰間,正常步態與異常步態的安裝方式一致;所述SEMG采集單元安置于腓腸肌肌腹、脛前肌肌腹,正常步態與異常...

【專利技術屬性】
技術研發人員:殷書寶,陳煒,朱航宇,王心平,
申請(專利權)人:復旦大學,
類型:發明
國別省市:上海,31

網友詢問留言 已有0條評論
  • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

1