香港惠泽一尾中特平:一種核整體學習劃分的優化神經網絡分類器的方法技術

技術編號:21185435 閱讀:37 留言:0更新日期:2019-05-22 16:03
本發明專利技術公開了一種核整體學習劃分的優化神經網絡分類器的方法,包括以下步驟:(1)建立RBF核完成對原始訓練樣本空間的優化覆蓋,并生成新的RBF核個數及參數;(2)以每個RBF核的中心及核寬為參數,在各RBF核所覆蓋的有效區域內建立與原始樣本相近似的概率分布來生成新的樣本數據;(3)判斷新生成的樣本數據是否保留,最終構成一個新的模式矢量子集;(4)將原始樣本和最終保留的所有模式矢量一起構成新的樣本集合,以訓練輸出分類器權值參數。本發明專利技術改善了當樣本集規模過小或樣本空間維數過高導致的學習算法失效問題;從概率上而言,核整體劃分的方式可以使得學習后的分類器邊界更加遠離原來的樣本,使得分類器的魯棒性和泛化能力得到加強。

An Optimized Neural Network Classifier Based on Kernel Global Learning Partition

572222一尾中特平 www.fbmtd.icu The invention discloses a method for optimizing neural network classifier based on holistic learning partition of the core, which includes the following steps: (1) establishing RBF core to complete the optimal coverage of the original training sample space, and generating the number and parameters of new RBF kernels; (2) taking the center and width of each RBF core as parameters, establishing a probability distribution similar to the original sample in the effective area covered by each RBF core. Generating new sample data; (3) judging whether the newly generated sample data is retained or not, and finally forming a new subset of pattern vectors; (4) Constructing a new set of samples together with all the final retained pattern vectors to train the weights of the output classifier. The invention improves the problem of learning algorithm invalidation caused by too small sample set or too high dimension of sample space; in terms of probability, the way of whole kernel partition can make the boundary of the learned classifier far away from the original sample, and enhance the robustness and generalization ability of the classifier.

【技術實現步驟摘要】
一種核整體學習劃分的優化神經網絡分類器的方法
本專利技術屬于模式識別領域,具體涉及一種核整體學習劃分的優化神經網絡分類器的方法。
技術介紹
在模式識別領域,集合分類是常見的分類任務,它在文本分類、說話人語音識別、圖像識別等領域具有廣泛的應用。以圖像識別為例,在基于圖像集合的分類任務中,每個圖像集合是由一類具有一定數量相似特征的圖像數據組成。由于使用了圖像數據變化的相關信息,它可以有效探索由于實際條件變化而引起的圖像變化。在當前已有的各種神經網絡分類器當中,都是基于對單一模式矢量的學習分類。然而當訓練樣本集規模過小或分類數據集維數過高時,會使樣本集的空間分布相對過于稀疏,由于網絡分類器的分類面本質上是由訓練樣本的概率分布決定的,訓練樣本集規模過小或分類數據集維數過高會使得最終分類面的誤差相對較大,因此導致已有的神經網絡分類器分類性能不同程度降低。
技術實現思路
為了改善現有技術存在的上述問題,本專利技術目的在于提供一種核整體學習劃分的優化神經網絡分類器的方法。本專利技術所采用的技術方案為:一種核整體學習劃分的優化神經網絡分類器的方法,包括以下步驟:(1)建立RBF核完成對原始訓練樣本空間的優化覆蓋,并生成新的RBF核個數及參數;(2)以每個RBF核的中心及核寬為參數,在各RBF核所覆蓋的有效區域內建立與原始樣本相近似的概率分布來生成新的樣本數據;(3)判斷新生成的樣本數據是否保留,最終構成一個新的模式矢量子集;(4)將原始樣本和最終保留的所有模式矢量一起構成新的樣本集合,以訓練輸出分類器權值參數。進一步地,所述步驟(1)中采用勢函數對原始訓練樣本空間的優化覆蓋;設x,y分別代表模式空間的兩個向量,γ(x,y)代表由這兩個向量建立的勢函數;勢函數需要滿足以下幾個條件:當x=y時,γ(x,y)獲得最大值;當x與y之間的距離趨于無窮大時,γ(x,y)的值趨于零;γ(x,y)是連續光滑函數,隨著x與y之間的距離的增加,γ(x,y)的值單調下降;④若γ(x1,y1)=γ(x2,y1),則向量x1和x2對y1具有相同的相似性程度。進一步地,所述勢函數為:γ(x,y)=exp(-T||x-y||2)其中,T是常數,用來控制勢函數的衰減速度。進一步地,所述步驟(2)中采用一種面向中心的負類樣本作用力模型,以進一步對完成每一個RBF網絡隱節點中心及核寬參數的自適應優化調整。進一步地,所述負樣本作用力模型需要滿足以下條件:①當初始中心被確定,給定初始核寬參數,只有在當前RBF網絡隱節點所覆蓋區域內,該負類樣本作用力才存在;②當中心向量調整到一個合適的位置時,負類樣本作用力自動消失。進一步地,所述步驟(3)采用以各RBF子核為研究對象,在各子核內部以先隨機生成模式類別樣本再優化篩選的方式來判斷新生成的樣本數據是否保留。進一步地,初始生成模式樣本的概率分布與原始樣本的概率分布近似一致;且,在樣本的篩選過程中,生成樣本被保留的概率與原始樣本所在區域的密度成正比。進一步地,若生成樣本為混疊區域樣本,需進行二次優化篩選。本專利技術的有益效果為:本專利技術將集合分類的思想引入到神經網絡分類器當中,提出一種核整體劃分思想的優化神經網絡分類方法。對核整體劃分思想的特性進行了分析,在具體實現方式上,通過對各RBF子核內部模式矢量進行預先填充后再優化篩選的方式,完成對核整體學習劃分思想的有效逼近。該方法在一定程度上改善了當樣本集規模過小或樣本空間維數過高導致的學習算法失效問題;另一方面,從概率上而言,核整體劃分的方法可以使得學習后的分類器邊界更加遠離原來的樣本,使得分類器的魯棒性和泛化能力得到進一步加強。附圖說明圖1是本專利技術所提核整體劃分與模式矢量直接分類的對比示意圖。圖2是本專利技術中混疊區域樣本及非混疊區域樣本對比示意圖。圖3是本專利技術所提自適應優化RBF網絡核個數及核參數的示意圖。具體實施方式為了使本專利技術的技術方案及優點更加清楚明白,下面結合附圖及具體實施例對本專利技術作進一步闡述。核整體劃分的分類思想充分考慮了樣本空間局部區域的相似性信息,可以在一定程度上改善當樣本集規模過小或樣本空間維數過高導致的學習算法失效問題;另一方面,這些不同的模式矢量集合作為RBF核所覆蓋有效區域的子集,從概率上而言,核整體劃分的方式可以使得學習后的分類器邊界更加遠離原來的樣本,使得分類器的魯棒性和泛化能力得到進一步加強。盡管核整體劃分的思想具有以上優點,但是實際中對網絡分類器的權值參數的訓練都是以單個模式矢量來進行。當所有的RBF核建立起來,為了實現這些RBF核的整體劃分,根據各個子核內部模式矢量的概率密度分布情況,我們考慮在每個RBF核內部生成新的模式矢量,這就相當于在當前RBF核內部對已有的模式矢量子集進行擴展,以實現對RBF核整體劃分的表征。按照這種方式,對RBF核的整體劃分就轉化為對更多模式矢量的訓練劃分。在生成合適的樣本集規模的基礎上,再利用已有的網絡分類器進行訓練分類??梢孕拚鈧盞姆擲嗲?,從而提高網絡分類器的分類性能。為了進一步說明本專利技術的方法的特點和優越性,圖1給出了核整體劃分與模式矢量直接分類對比示意圖。其中圖1(a)為對原始樣本集合直接劃分;圖1(b)為對原始樣本集進行密度聚類并建立相應的RBF核完成對原始樣本空間的覆蓋;圖1(c)為對各個子核類進行填充來建立新的模式矢量以完成核整體劃分;圖1(d)為將原始樣本和填充后的新的樣本構成新的樣本集合后進行劃分得到新的分類曲面;圖1(e)為修正后的分類平面與初始平面對比。為了實現對RBF核所覆蓋區域中模式矢量的有效擴展,首先,需要建立合適的樣本概率分布模型以生成新的模式矢量。對于這一問題,我們考慮到各RBF子核所覆蓋的有效區域包含一定數量的原始模式矢量,整體而言,在靠近中心的區域,樣本的概率密度相對較大,而靠近邊界的區域,其概率密度相對較小,因此可以認為這些模式矢量近似服從以當前RBF核為參數的多元高斯分布形式,以此作為新的模式矢量的樣本概率分布模型,同時新生成的模式矢量應以當前RBF核所覆蓋有效區域作為約束,通過這種方式來完成RBF核的初始填充;其次,需要度量各RBF核內原始模式矢量所在區域的密度,在樣本較密集的區域,所生成的模式樣本就相對較多;反之,所生成的模式樣本就相對較少。而當生成樣本處于被不同模式類別相互覆蓋的混疊區域,則需要進一步降低該樣本被保留的概率。通過這種方式,可以在不改變原始樣本概率密度分布的情況下,結合其所在區域的密度及位置信息來完成對新生成模式矢量的優化篩選。按照以上所述方法,一方面,我們以核整體劃分的思想為原型,具體實現上通過對每個子核內部進行模式矢量進行填充及優化篩選,以完成對核整體劃分思想的逼近;另一方面,對各個RBF子核的整體學習劃分轉化為對更多模式矢量的學習劃分,可以改善樣本集規模過小或樣本空間維數過高導致的樣本空間分布稀疏問題,從而改善訓練樣本集合的概率分布,因此可以提高分類器的分類精度。需要指出的是,由于子核內部樣本分布的不均勻性,通過子核內部樣本填充來逼近已有的RBF核以完成核整體劃分,可以認為是一種軟劃分,即最終的分類曲面可以穿過子核內部,以有效改善不同模式類別子核相互重疊的情況,因此更有利于實際分類曲面參數的調整。在基于核整體劃分的思想上,為了實現各子核內部模式矢量填本文檔來自技高網...

【技術?;さ恪?/strong>
1.一種核整體學習劃分的優化神經網絡分類器的方法,其特征在于:包括以下步驟:(1)建立RBF核完成對原始訓練樣本空間的優化覆蓋,并生成新的RBF核個數及參數;(2)以每個RBF核的中心及核寬為參數,在各RBF核所覆蓋的有效區域內建立與原始樣本相近似的概率分布來生成新的樣本數據;(3)判斷新生成的樣本數據是否保留,最終構成一個新的模式矢量子集;(4)將原始樣本和最終保留的所有模式矢量一起構成新的樣本集合,以訓練輸出分類器權值參數。

【技術特征摘要】
1.一種核整體學習劃分的優化神經網絡分類器的方法,其特征在于:包括以下步驟:(1)建立RBF核完成對原始訓練樣本空間的優化覆蓋,并生成新的RBF核個數及參數;(2)以每個RBF核的中心及核寬為參數,在各RBF核所覆蓋的有效區域內建立與原始樣本相近似的概率分布來生成新的樣本數據;(3)判斷新生成的樣本數據是否保留,最終構成一個新的模式矢量子集;(4)將原始樣本和最終保留的所有模式矢量一起構成新的樣本集合,以訓練輸出分類器權值參數。2.根據權利要求1所述的一種核整體學習劃分的優化神經網絡分類器的方法,其特征在于:所述步驟(1)中采用勢函數對原始訓練樣本空間的優化覆蓋;設x,y分別代表模式空間的兩個向量,γ(x,y)代表由這兩個向量建立的勢函數;勢函數滿足以下幾個條件:當x=y時,γ(x,y)獲得最大值;當x與y之間的距離趨于無窮大時,γ(x,y)的值趨于零;γ(x,y)是連續光滑函數,隨著x與y之間的距離的增加,γ(x,y)的值單調下降;④若γ(x1,y1)=γ(x2,y1),則向量x1和x2對y1具有相同的相似性程度。3.根據權利要求2所述的一種核整體學習劃分的優化神經網絡分類器的方法,其特征在于:所述勢函數為:γ(x,y)=exp(-T||x-y||2)其...

【專利技術屬性】
技術研發人員:聞輝,黃金火,嚴濤,徐航,陳德禮,車艷,李同彬,林元模,
申請(專利權)人:莆田學院,
類型:發明
國別省市:福建,35

網友詢問留言 已有0條評論
  • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

1