一尾中特平是什么意思:一種邊緣端的嵌入式時間序列決策樹分類方法及系統技術方案

技術編號:21185434 閱讀:65 留言:0更新日期:2019-05-22 16:03
本發明專利技術公開了一種邊緣端的嵌入式時間序列決策樹分類方法及系統,屬于邊緣端的實時數據分類建模,本發明專利技術要解決的技術問題為如何實現對海量數據進行一次性建模處理,同時確保內存需求量效且耗時短,采用的技術方案為:①一種邊緣端的嵌入式時間序列決策樹分類方法,步驟如下:S1、邊緣端收集數據并將數據存儲到邊緣端的存儲設備中;S2、利用VFDT算法對邊緣端收集數據進行智能分類處理;S3、邊緣端獲取分類結果;S4、邊緣端將分類結果傳輸到云端。②一種邊緣端的嵌入式時間序列決策樹分類系統,該系統包括邊緣端設備、傳感器和云端設備,傳感器和邊緣端設備通過無線連接并互傳數據,云端設備與邊緣端設備通過無線或有線連接并傳輸數據。

An Embedded Time Series Decision Tree Classification Method and System at the Edge End

572222一尾中特平 www.fbmtd.icu The invention discloses an embedded time series decision tree classification method and system at the edge end, which belongs to the real-time data classification and modeling at the edge end. The technical problem to be solved by the invention is how to realize the one-time modeling and processing of massive data while ensuring the memory requirement is efficient and time-consuming. The technical scheme adopted is: (1) an embedded time series decision at the edge end. The steps of tree classification are as follows: S1, edge collecting data and storing data in edge storage devices; S2, using VFDT algorithm to classify edge collecting data intelligently; S3, edge collecting classification results; S4, edge transmitting classification results to the cloud. (2) An embedded time series decision tree classification system at the edge end. The system includes edge devices, sensors and cloud devices. Sensors and edge devices connect and transmit data by wireless connection. Cloud devices and edge devices connect and transmit data by wireless or wired connection.

【技術實現步驟摘要】
一種邊緣端的嵌入式時間序列決策樹分類方法及系統
本專利技術涉及一種邊緣端的實時數據分類建模,具體地說是一種邊緣端的嵌入式時間序列決策樹分類方法及系統。
技術介紹
對數據進行分類是常見的一個需求。不同于聚類算法,分類算法需要訓練數據進行建模。建模完成之后,就可以使用這個模型進行不斷的預測使用。最經典的分類算法是決策樹,決策樹利用信息學中信息增益的方法判斷樣本變量的重要性,然后根據重要性排序進行樣本的區分。這樣的方法的缺點在于很難對海量數據進行一次性的建模處理,因為需要大的內存并且耗時。近些年,隨著大數據的出現,對流式數據的處理和研究成為熱門領域。如何實現對海量數據進行一次性建模處理,同時確保內存需求量效且耗時短是目前急需解決的技術問題。專利號為CN104318270A的專利文獻公開了一種基于MODIS時間序列數據的土地覆蓋分類方法,該方法具體是按照以下步驟進行的:1、建立原始曲線;2、對原始曲線進行濾波擬合成初始曲線;3、建立初始曲線像元的無云影像二維數組;4、設置為閾值T,其中,Yi≠yi;5、處理過的原始曲線;6、得到重建后的NDVI年變化曲線;7、提取植被生長季參數組成特征影像;8、決定最終投票分類結果等步驟進行的;本專利技術應用于基于MODIS時間序列數據的土地覆蓋分類領域。但是該技術方案要解決傳統方法用時長、植被指數的負偏差以及SG重建結果準確性降低的問題,不能實現對海量數據進行一次性建模處理,同時確保內存需求量效且耗時短。
技術實現思路
本專利技術的技術任務是提供一種邊緣端的嵌入式時間序列決策樹分類方法及系統,來解決如何實現對海量數據進行一次性建模處理,同時確保內存需求量效且耗時短的問題。本專利技術的技術任務是按以下方式實現的,一種邊緣端的嵌入式時間序列決策樹分類方法,該方法是將VFDT算法應用到邊緣端的計算中,實現邊緣端大數據量的計算且能夠達到對實時處理要求高的需求;具體步驟如下:S1、邊緣端收集數據并將數據存儲到邊緣端的存儲設備中;S2、利用VFDT算法(非??燜倬霾呤骰蛘囈惺奔湫蛄芯霾呤?對邊緣端收集數據進行智能分類處理;S3、邊緣端獲取分類結果;S4、邊緣端將分類結果傳輸到云端;邊緣端可以只將得到的分析結果傳輸到云端,也可以將原始數據也一起傳輸到云端;如果只傳輸結果,這樣避免了在邊緣端傳輸大量數據帶來的時間開銷。作為優選,所述步驟S1中邊緣端通過傳感器采集數據,傳感器安裝到需要進行數據采集的位置完成數據采集,傳感器實時將采集的數據發送到邊緣端,例如溫度傳感器安裝在能夠直接檢測溫度的地方。作為優選,所述步驟S2中VFDT算法實時的對流式數據進行分析處理,根據流入數據的特性進行分類判斷,并判斷決策樹是否要進行更新。更優地,所述決策樹進行更新的步驟如下:(1)、HT為有單個葉子結點l_1的決策樹;(2)、賦值:(3)、按預測S中最頻繁一類把值賦給(4)、對于每一類yk,每個xij值,賦值nijk(l1)=0;(5)、對于每個例子(x,yk),使用HT分類(x,y)成為葉子節點;對于每個xij,增加nijk(l);(6)、標記l;(7)、判斷l中的例子是否為同一類:①、若不是同一類,則下一步執行步驟(8);(8)、對每個屬性計算使用nijk(l)計數;(9)、按最高的為Xa賦值,據第二高的賦值Xb,計算∈;(10)、判斷是否是且①、若是,則下一步執行步驟(11);(11)、用在Xa分離的全局節點代替l;(12)、對于分離的每一分支添加lm,Xm=X-{Xa},據lm的最頻繁一類將值賦給對于每一屬性中每一類yk和xij賦值nijk(lm)=0;(13)、輸出決策樹HT,完成決策樹的更新。更優地,所述步驟S2中VFDT算法利用C/C++語言編程為VFDT算法軟件系統,將VFDT算法軟件系統作為數據處理的智能系統部署到邊緣端設備中。更優地,步驟S4中邊緣端將分類結果實時或者存儲指定時間后傳輸到云端,指定時間是根據用戶需求在邊緣端設定的時間段。一種邊緣端的嵌入式時間序列決策樹分類系統,該系統包括邊緣端設備、傳感器和云端設備,傳感器和邊緣端設備通過無線連接并互傳數據,云端設備與邊緣端設備通過無線或有線連接并傳輸數據;邊緣端設備用于收集數據、存儲數據、處理數據并返回分類結果,同時判斷決策樹是否需要更新;傳感器用于采集數據;云端設備用于接收分類結果。作為優選,所述邊緣數據設備內部署有邊緣數據收集???、基于VFDT算法的智能數據處理???、數據存儲??橐約胺擲嘟峁淠??;其中,邊緣數據收集??橛糜謔占釁韃杉氖?;基于VFDT算法的智能數據處理??橛糜誒肰FDT算法對傳感器采集的數據進行分類處理;數據存儲??橛糜詿媧⒋釁韃杉氖?;分類結果傳輸??橛糜誚赩FDT算法的智能數據處理??櫚姆擲嘟峁淶皆貧?。本專利技術的邊緣端的嵌入式時間序列決策樹分類方法及系統具有以下優點(一)、VFDT算法(VeryFastDecisionTree,非??燜倬霾呤?是流式數據的一種建模算法,是對決策樹在實時數據上的一種拓展,VFDT是一種基于Hoeffding不等式建立決策樹的方法,利用統計不等式Hoeffding來判斷一個節點是否應該作為分類判斷的依據,本專利技術將VFDT算法應用到邊緣端的計算中,實現邊緣端大數據量的計算且能夠達到對實時處理要求高的需求;(二)、網絡邊緣產生的數據正在逐步增加,如果我們能夠在網絡的邊緣結點去處理、分析數據,那么這種計算模型會更高效。這樣的計算要求是云計算所不能滿足的,因為很多場景需要數據在邊緣端得到快速的處理;邊緣計算的需求主要來源于云服務的推動、物聯網的推動和終端使用的需求;邊緣計算的高效、快速可以滿足很多實時場景的需求,本專利技術在邊緣計算端處理海量實時流式數據,所采用方法為基于時間序列算法的決策樹,即VFDT算法,可以不需要大內存保存數據和模型,對實時數據進行及時處理,非常適合邊緣計算;(三)、隨著數據量的增大,對數據的實時處理提出了強烈的需求,甚至需要數據在邊緣端得到智能的處理,并把結果發送到云端;邊緣端的數據處理方法目前非常缺少,針對流式海量數據的處理方法更是稀缺,目前的主要方法或者算法是基于傳統的批量建模方法,即一次建模多次使用;本專利技術可以實時的對數據進行分類,例如,區分兩類數據;還可以根據實時數據進行模型的更新;傳統方法,例如決策樹,需要對全量數據進行建模;而本專利技術可以針對一部分數據進行建模,并不斷的根據新的數據進行模型更新,能夠應對數據的變化,對物聯網布局很有價值,是物聯網時代邊緣計算的重要工具。附圖說明下面結合附圖對本專利技術進一步說明。附圖1為邊緣端的嵌入式時間序列決策樹分類方法流程框圖;附圖2為決策樹更新的流程框圖;附圖3為邊緣端的嵌入式時間序列決策樹分類的結構框圖。具體實施方式參照說明書附圖和具體實施例對本專利技術的一種邊緣端的嵌入式時間序列決策樹分類方法及系統作以下詳細地說明。實施例1:如附圖1所示,本專利技術的邊緣端的嵌入式時間序列決策樹分類方法,該方法是將VFDT算法應用到邊緣端的計算中,實現邊緣端大數據量的計算且能夠達到對實時處理要求高的需求;具體步驟如下:S1、邊緣端收集數據并將數據存儲到邊緣端的存儲設備中;邊緣端通過傳感器采集數據,傳感器安裝到需要進行數據采集的位置完成數本文檔來自技高網...

【技術?;さ恪?/strong>
1.一種邊緣端的嵌入式時間序列決策樹分類方法,其特征在于,該方法是將VFDT算法應用到邊緣端的計算中,實現邊緣端大數據量的計算且能夠達到對實時處理要求高的需求;具體步驟如下:S1、邊緣端收集數據并將數據存儲到邊緣端的存儲設備中;S2、利用VFDT算法對邊緣端收集數據進行智能分類處理;S3、邊緣端獲取分類結果;S4、邊緣端將分類結果傳輸到云端。

【技術特征摘要】
1.一種邊緣端的嵌入式時間序列決策樹分類方法,其特征在于,該方法是將VFDT算法應用到邊緣端的計算中,實現邊緣端大數據量的計算且能夠達到對實時處理要求高的需求;具體步驟如下:S1、邊緣端收集數據并將數據存儲到邊緣端的存儲設備中;S2、利用VFDT算法對邊緣端收集數據進行智能分類處理;S3、邊緣端獲取分類結果;S4、邊緣端將分類結果傳輸到云端。2.根據權利要求1所述的邊緣端的嵌入式時間序列決策樹分類方法,其特征在于,所述步驟S1中邊緣端通過傳感器采集數據,傳感器安裝到需要進行數據采集的位置完成數據采集,傳感器實時將采集的數據發送到邊緣端。3.根據權利要求1或2所述的邊緣端的嵌入式時間序列決策樹分類方法,其特征在于,所述步驟S2中VFDT算法實時的對流式數據進行分析處理,根據流入數據的特性進行分類判斷,并判斷決策樹是否要進行更新。4.根據權利要求3所述的邊緣端的嵌入式時間序列決策樹分類方法,其特征在于,所述決策樹進行更新的步驟如下:(1)、HT為有單個葉子結點l_1的決策樹;(2)、賦值:(3)、按預測S中最頻繁一類把值賦給(4)、對于每一類yk,每個xij值,賦值nijk(l1)=0;(5)、對于每個例子(x,yk),使用HT分類(x,y)成為葉子節點;對于每個xij,增加nijk(l);(6)、標記l;(7)、判斷l中的例子是否為同一類:①、若不是同一類,則下一步執行步驟(8);(8)、對每個屬性計算使用nijk(l)計數;(9)、按最高的為Xa賦值,據第二高的賦值Xb,計算∈;(10)、判斷是否是且①、若是,則下一步執行步驟(11);(11)、用...

【專利技術屬性】
技術研發人員:李銳,王相成,宗云兵,于治樓,段強,
申請(專利權)人:濟南浪潮高新科技投資發展有限公司,
類型:發明
國別省市:山東,37

網友詢問留言 已有0條評論
  • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

1