基于PLS和GAs的徑基函數網(wǎng)絡(luò )構造策略

1000-9825/2002/13(08)1450-06C2002 Journal of Software軟件學(xué)報Vol.13, No.8基于PLS和GAs的徑基函數網(wǎng)絡(luò )構造策略'趙偉祥，吳立德(復旦大學(xué)計算機科學(xué)與工程系,上海200433)E-mail: weixiang_ _zhao@ 263.nethttp://www .fudan.edu.cn摘要:鑒于傳統徑基函數網(wǎng)絡(luò )(radial basis function network, 簡(jiǎn)稱(chēng)RBFN)構造策略的不足，提出了基于偏最小二乘法(partial least squares,簡(jiǎn)稱(chēng)PLS)和遺傳算法(genetic algorithms, 簡(jiǎn)稱(chēng)GAs)的RBFN構造策略和一種更有效的徑基寬度取值方法.在這個(gè)集成構造策略中,PLS克服了K-Means 算法求取徑基易陷入局部最優(yōu)的弊病，并使合成徑基比由正交算法獲取的徑基更具代表性;而所提出的徑基寬度取值方法和GAs則為網(wǎng)絡(luò )性能和結構的實(shí)質(zhì)性改善與優(yōu)化提供了保障.實(shí)驗證實(shí)了基于PLS和GAs的RBFN構造策略及所提出的徑基寬度取值方法的優(yōu)越性、可靠性和有效性.關(guān)鍵詞:徑基函數網(wǎng);聚類(lèi);正交算法;偏最小二乘回歸;遺傳算法中圖法分類(lèi)號: TP183文獻標識碼: A在眾多的神經(jīng)網(wǎng)絡(luò )中,徑基函數網(wǎng)(radial basis function network,簡(jiǎn)稱(chēng)RBFN)已在模式識別、時(shí)間序列預測及故障診斷等領(lǐng)域得到了廣泛應用".構造徑基函數網(wǎng)的關(guān)鍵是確定徑基個(gè)數、徑基向量和每個(gè)徑基的寬度.傳統的構造方法是K-Means聚類(lèi)算法和正交學(xué)習算法(orthogonal learning algorithm, 簡(jiǎn)稱(chēng)OLA)2.31然而在K-Means算法中，徑基數目是經(jīng)驗值，徑基向量的求取又極易陷入局部最小;而OLA則無(wú)法保證所選徑基能夠反映訓練樣本集的全部信息.為此有學(xué)者提出采用遺傳算法(genetic algorithms,簡(jiǎn)稱(chēng) GAs)來(lái)獲得徑基向量及徑基寬度",但這將耗費巨額的搜索時(shí)間.本文提出了一種基于偏最小二乘法(partial least square, 簡(jiǎn)稱(chēng)PLS)和GAS的RBFN構造策略,以克服常規RBFN構造策略的不足,并把由此得到的網(wǎng)絡(luò )稱(chēng)為偏徑基函數網(wǎng)(PRBFN).另外,為了充分利用樣本空間分布信息，本文提出了一種更有效的徑基寬度取值方法并通過(guò)它與GAs的結合有效地解決了網(wǎng)絡(luò )構造中的兩個(gè)耦合問(wèn)題(給定網(wǎng)絡(luò )結構,如何使網(wǎng)絡(luò )精度達到最高;給定網(wǎng)絡(luò )擬合誤差.上限，如何使網(wǎng)絡(luò )結構趨于最簡(jiǎn),并在這個(gè)最簡(jiǎn)結構的基礎上使得網(wǎng)絡(luò )精度達到最優(yōu))，從而為PRBFN的最優(yōu)設計提供了根本保障.本文最后通過(guò)一系列的實(shí)驗證實(shí)了該RBFN集成構造策略以及所提出的徑基寬度取值方式的優(yōu)越性、有效性和可靠性,也為今后更廣泛的應用提供了依據.1常規RBFN構造策略.標準RBFN通常是-種兩層前傳網(wǎng)121網(wǎng)絡(luò )輸入層接收外來(lái)信號,輸入層與隱層間的權向量w;對應于徑基向量c,輸出層則對隱層輸出加權求和.整個(gè)系統可用一個(gè)插值函數f(x,)來(lái)描述(以一維輸出為例):f(xr)= Ev exp(-I|x-c1|/o}).(1);收稿日期: 2001-05-28; 修改日期: 2002-01-10中國煤化工基金項目:國家自然科學(xué)基金資助項目(69935010).MHCN MHG.作者簡(jiǎn)介:趙偉祥(1973 - ), 男,浙江紹興人，博士，主要研究領(lǐng)域為神經(jīng)....中心.工六立德(1937-),男,江蘇.宜興人,教授,博士生導師，主要研究領(lǐng)域為圖像處理,模式識別計算機視覺(jué),文本處理.趙偉祥等:基于PLS和GAs的徑基函數網(wǎng)絡(luò )構造策略1451式中x為輸入樣本向量(注:本文所指的樣本向量以及由其產(chǎn)生的中心向量和徑基向量均為行向量),II.II為歐氏范數, m為徑基數目，v,為隱層至輸出層的權系數,σ?為寬度參數.在OLA策略中，徑基向量c,由正交算法選取所得",σ?往往取相同的值,顯然,我們無(wú)法保證被選徑基能充分反映樣本集信息;而在K-Means 算法中,由聚類(lèi)求取徑基向量c;又極易陷入局部最優(yōu),其σ? -般按下式計算[2: .σ?=→E(x-c)(x-c)".(2)式中，M;是屬于第i類(lèi)的樣本個(gè)數,c;是該類(lèi)的中心向量,θ,是屬于該類(lèi)的樣本子集顯見(jiàn)上述兩種構造策略中的不足都會(huì )影響網(wǎng)絡(luò )的最終性能.其實(shí)，如果將所有樣本都作為徑基(暫稱(chēng)其為樣本徑基,而所在的隱層則可稱(chēng)為樣本徑基層),就無(wú)須通過(guò)聚類(lèi)形成徑基而且該徑基層所含的信息是最充分的但隨之而來(lái)的問(wèn)題是:(1)網(wǎng)絡(luò )模型的過(guò)擬合;(2)如果有樣本靠得很近，則會(huì )使最小二乘(east squares,簡(jiǎn)稱(chēng)LS)求解輸出層權系數的系數矩陣病態(tài)甚至奇異.為此,本文將采用多元統計方法來(lái)解決上述問(wèn)題.將線(xiàn)性統計方法與徑基函數相結合的研究已始有報道4.51,但這些研究的主要目的是拓寬線(xiàn)性統計方法的應用范圍，而且也沒(méi)有對模型關(guān)鍵參數的選取作深入探討.因此,本文將分別采用兩種常用的多元統計方法，主成分分析(principal component analysis,簡(jiǎn)稱(chēng) PCA)和PLS對樣本徑基進(jìn)行成分分析,并將性能較優(yōu)的方法與GAS 相結合，提出RBFN 的集成構造策略,而后對徑基寬度等關(guān)鍵參數的取值作深入探討,以尋求一條 確定參數的有效途徑.2基于PLS和GAs的RBFN構造策略2.1 PCA和PLSPCA和PLS都是非常有效的數據降維和特征提取手段,已有很多文獻對它作了詳細介紹0-81.PCA或PLS成分矩陣T = .+....t.)與原自變量矩陣X的關(guān)系均可寫(xiě)為T(mén)= XP3)其中P為轉換矩陣.但從與因變量的相關(guān)關(guān)系來(lái)看在成分提取過(guò)程中,PCA并沒(méi)有考慮自變量與因變量的關(guān)系，而PLS卻保留了較多的與因變量的相關(guān)性，顯然這對回歸模型是有益的.在下文的實(shí)驗中我們可以發(fā)現PLS.較之PCA的優(yōu)點(diǎn).2.2 PLS在網(wǎng)絡(luò )構造的作用PLS對樣本徑基層的輸出進(jìn)行降維處理(PCA作用相似,故不另加說(shuō)明).我們將由此得到的合成徑基(synthesized radial basis, 簡(jiǎn)稱(chēng)SRB)稱(chēng)為PLS徑基,形成的網(wǎng)絡(luò )稱(chēng)為PRBFN,其結構如圖1所示.現參照圖1 將PRBFN的結構Output layerB及訓練過(guò)程簡(jiǎn)述如下(假設有m個(gè)訓練樣本):v(1)將m個(gè)訓練樣本構成由m個(gè)節點(diǎn)組成的隱層(樣本徑pSRB layeP基層),其權向量w;即樣本向量x; .這樣m個(gè)樣本經(jīng)過(guò)隱層就形成一個(gè)mxm的輸出矩陣A，其元素aj( ji=....n)可按式Hidden layerP(4)求取.wa, =x(1-,-/[/0?).(4)Input layerD(2)輸出矩陣A經(jīng)過(guò)PLS產(chǎn)生k個(gè)合成徑基,并構成合成↑↑徑基層.隱層和合成徑基層間的權矩陣即為式(3)中的轉換矩陣①輸入層.②隱層.③合成徑基層④輸出層Fig.1 The structure of PRBFN圖1 PRBFN的結構(3)對PLS成分矩陣和目標Y進(jìn)行LS回歸,求取輸出層的中國煤化工權系數Vy, .... .MHCNMHG確定合成徑基(PLS成分)數目k的常用方法簡(jiǎn)述如下,具體JU1452Journal of Sofware軟件學(xué)報 2002,13(8)●以自變量矩陣或因變量矩陣的某種范數作為判別標準.●以從自變量矩陣和因變量矩陣提取的得分向量的相關(guān)性作為標準至此我們已經(jīng)通過(guò)PLS確定了合成徑基層的節點(diǎn)數和權向量.2.3徑基寬度參數的取值對PRBFN而言,除了合成徑基個(gè)數外可調節參數只有樣本徑基寬度σ?鑒于現有寬度取值方法的不足,我們提出-種充分利用樣本空間分布信息的有效取值方法.具體步驟見(jiàn)式(5)和式(6).d=一E(x,-x,)(x,-x)",(5)其中d}代表第i個(gè)樣本x,在空間分布的離散度，θ,是與x最近的N個(gè)樣本所組成的集合.σ? = μ(d})*,(6)式中σ;為第i個(gè)樣本徑基的寬度, μ是比例參數, a是形狀參數.顯見(jiàn)由N,μ和a所確定的樣本徑基寬度取值方法既反映了樣本空間分布的信息,又增加了式(2)所示取值方法的多樣性和自適應性,從而為研究如何提高網(wǎng)絡(luò )精度和優(yōu)化網(wǎng)絡(luò )結構帶來(lái)了方便.2.4 GAs在網(wǎng)絡(luò )構造中的作用上文通過(guò)PLS確定了合成徑基,同時(shí)給出了徑基寬度的取值方法.本節將通過(guò)GAs來(lái)解決PRBFN構造中的兩類(lèi)耦合問(wèn)題,從而為網(wǎng)絡(luò )結構的優(yōu)化提供根本保障.第1類(lèi)耦合問(wèn)題就是在給定合成徑基個(gè)數后,如何獲取-組N, μ和a，使網(wǎng)絡(luò )擬合精度達到最佳.本文提出將PRBFN與GAs結合,以確定最佳方案.GAs在優(yōu)化問(wèn)題上的優(yōu)越性能及其算法已有多處報道19.101這里不加累述.現將解決該優(yōu)化問(wèn)題的適應度函數定義為f=1/1+ Exua{x}),7)其中，Eua{x;}表示給定合成徑基個(gè)數后，網(wǎng)絡(luò )在N, μ和ax為某一狀態(tài)時(shí)所有輸入樣本x (i= .2...mn. )的實(shí)際輸出與它們目標輸出的平均相對誤差很明顯,適應度越大的染色體所對應的平均相對擬合誤差就越小.第2類(lèi)耦合問(wèn)題則是如何在擬合誤差不高于設定值的情況下,使網(wǎng)絡(luò )規模最小.雖然如第2.2 節所述，合成徑基個(gè)數可以按統計方法來(lái)確定,但界限值的選取卻是-個(gè)經(jīng)驗問(wèn)題,為此本文將它與其他3個(gè)參數-并優(yōu)化，以期找到-個(gè)最佳方案優(yōu)化方法仍然采用GAs.,相應的適應度函數則為[J/(k+EuNua{x,)，if ErNμa{x,}<δ,(8)[0.00001,else.其中,k為合成徑基個(gè)數,也就是該問(wèn)題的優(yōu)化目標，ENμua{x, }表示網(wǎng)絡(luò )在k,N, μ和a為某一狀態(tài)時(shí) 所有輸入樣本x;(i= .2...n. )的實(shí)際輸出與它們目標輸出的平均相對誤差, δ為設定的誤差上限.從式(8)可見(jiàn),如果某個(gè)成員(染色體)所對應的網(wǎng)絡(luò )平均相對誤差大于設置的上限,那么該成員的適應度將明顯小于任何能滿(mǎn)足擬合精度要求的個(gè)體所對應的適應度同時(shí)對滿(mǎn)足擬合精度要求的個(gè)體而言，由于E N,ua{x;}<δ<1,所以只有具有相同k值的成員才具有可比性.因此，適應度越大的個(gè)體越為我們所需求，而且最終優(yōu)化結果在理論上能實(shí)現以下兩個(gè)目標:(1)與所有滿(mǎn)足擬合精度要求的PRBFN相比,優(yōu)化結果所構造的PRBFN具有最少的合成徑基個(gè)數;(2)該PRBFN的擬合誤差在同結構PRBFN中又是最小的.與傳統RBFN構造策略相比，本文提出的網(wǎng)絡(luò )構造策略首先克服了由聚類(lèi)形成徑基的隨機性其次通過(guò)統計方法構造合成徑基層,既利用了所有樣本的信息,又避免了將所有樣本作為徑基可能帶來(lái)的副作用;而所提出的徑基寬度取值方法和GAs又為提高網(wǎng)絡(luò )性能、優(yōu)化網(wǎng)絡(luò )結構提供了保障.下面我們將驗證基于PLS和GAs .的RBFN構造策略的性能,并對關(guān)鍵參數的取值作詳細討論.中國煤化工MHCNMHG趙偉祥等基于PLS和GAs的徑基函數網(wǎng)絡(luò )構造策略14533實(shí)驗3.1實(shí)驗1本實(shí)驗將通過(guò)-個(gè)函數逼近的實(shí)例來(lái)驗證基于PLS合成徑基的RBFN構造策略的優(yōu)點(diǎn)用于函數逼近的數據來(lái)源于式(9)，具體方法是在區間[0,4]和[-1,1]內分別產(chǎn)生100 個(gè)隨機數作為自變量x和y的取值，并產(chǎn)生100個(gè)相應輸出.在這100組數據中選取60組作為訓練樣本,剩余40組作為預測樣本.z=sin(x)+y2.9)我們分別觀(guān)察基于K-Means 算法,OLA,PLS和PCA的RBFN構造策略的建模效果為了便于比較,基于OLA,PLS和PCA構造策略的各樣本徑基寬度都取1.具 體結果見(jiàn)表1和表2.Table 1 The modeling effects of RBFNs based on K-Means algorithm and OLA表1基于K-Means算法和OLA的RBFN建模效果K-MeansQOLADNumber ofradial basesDAverage relative error Average relative errorAverage relative errorof self-test四(%)of prediction5(%)of self-test (%)of prediction (%)8123.7068.8382.9618.94103.0558.1817.002016.1022.194.90_5.60 .①徑基個(gè)數②K-Means算法③正交學(xué)習算法④平均自檢相對誤差,⑤平均預測相對誤差.Table 2 The modeling effects of PLS and PCA based RBFNs表2基于PLS和PCA的RBFN建模效果Average relative error ofNumber of SRBDself-test with PLSP(%)prediction with PLS9(%)self-test with PCAD(%)prediction with PCAP(%)7.136.297.40123.594.948.015.86180.330.20.4240.05).20.150.87①合成徑基數目,②采用PLS的平均自檢相對誤差,③采用PLS的平均預測相對誤差，④采用PCA的平均自檢相對誤差⑤采用PCA的平均預測相對誤差.從表1和表2可見(jiàn)，基于K-Means 算法的RBFN構造策略的建模效果最不理想另外,由合成徑基(無(wú)論通過(guò)PLS還是PCA提取)所構成的RBFN的精度都優(yōu)于具有相同徑基數目的基于OLA的RBFN.這個(gè)現象證實(shí).了合成徑基所含信息的充足性以及基于合成徑基的RBFN構造策略的有效性.從表2還可以看出，提取相同數目的合成徑基，采用PLS所建模型的精度要比采用PCA高.這正說(shuō)明了在回歸問(wèn)題上PLS較之PCA的優(yōu)點(diǎn).所以,下文將PLS與GAs相結合，以確保網(wǎng)絡(luò )性能的可靠.另外,在實(shí)驗中發(fā)現,合成徑基并非越多越好.由于合成徑基是由原樣本徑基作變換后所得,合成徑基選取的越多就越接近原樣本徑基,所以如果用原樣本徑基直接求輸出層權系數就會(huì )出現矩陣病態(tài),那么用較大數目的合成徑基來(lái)求輸出層權系數同樣會(huì )發(fā)生矩陣病態(tài)，從而影響建模效果.3.2實(shí)驗2上文證實(shí)了PRBFN在建模方面的優(yōu)勢,下面將探討如何使網(wǎng)絡(luò )性能和結構趨于最優(yōu)化.為此，本節設計了兩個(gè)優(yōu)化問(wèn)題,并通過(guò)GAs將本文所提出的網(wǎng)絡(luò )構造策略的性能得以充分發(fā)揮.問(wèn)題1.給定PRBFN的合成徑基數目為8,如何提高網(wǎng)絡(luò )精度.我們分別對兩種不同的徑基寬度取值方式進(jìn)行優(yōu)化,試找出能獲取最佳擬合精度的徑基寬度(注:為方便討論,我們把所有徑基寬度都取相同值的方法稱(chēng)為“同一法”,而把本文提出的取值方法稱(chēng)為“各異法”).由于σ7反映了徑基函數的響應區域，過(guò)大或過(guò)小的取值都會(huì )影響建塔枷甲為了保證優(yōu)化結果的合理性(主要是防止過(guò)擬合現象發(fā)生)，我們采取如下方法來(lái)設定σ?的中國煤化工準化處理).首先按式( 10)計算所有訓練樣本間的平均距離dm ,隨后按式(11)分別求YHCNMHG.1454Journal of Sofware軟件學(xué)報 2002,13(8)(10)fr()( for()Low=dm1ρ and Up=d.p1)式中，ρ是比例系數(在本實(shí)驗中，當ρ =20時(shí)徑基函數的響應區域已經(jīng)充分小或充分大了).對于本文提出的“各異法”,可以將各個(gè)徑基寬度的平均值(M-Width)作為-種表征徑基寬度整體狀況的方式在GAS的優(yōu)化過(guò)程中,確保每一代 個(gè)體所產(chǎn)生的M-Width不超越式(11)所定義的上下限.最后的優(yōu)化結果列于表3.從中可見(jiàn)經(jīng)過(guò)優(yōu)化“各異法”在N=15, μ =2.6017, a =0.4546時(shí)，網(wǎng)絡(luò )的平均自檢相對誤差降至最低值4.96%, 明顯低于“同一法”σ?=1時(shí)的結果.更令人信服的是，“同一法”經(jīng)過(guò)尋優(yōu)后在σ7=1.2620時(shí)達到最優(yōu)狀態(tài)，但它所對應的最低平均自檢相對誤差6.96%仍然高于“各異法”的結果4.96%另外與“同一法”最優(yōu)狀態(tài)σ; =1.2620相比，“各異法”最優(yōu)狀態(tài)時(shí)的最大、最小和平均徑基寬度(1.1639,0.5410和0.7692)在數量級上并沒(méi)有很大的差異，從而充分說(shuō)明了樣本徑基寬度的各異性對網(wǎng)絡(luò )建模的益處.Table 3 The effects of various determination methods for radial basis width表3不同徑基寬度取值方法的效果Width determination methodDAverage relative error of self-testP(%)_ Average relative error of predictiorP(%)σ7=1(based on the same widthP)7.136.29N=15 μ=2.6017 a=0.4546(based on the different widhSB)4.968.36①寬度確定方法.②平均自檢相對誤差③平均預測相對誤差④同-法⑤各異法.問(wèn)題2.限定平均自檢相對誤差的.上限為1%,如何使網(wǎng)絡(luò )結構最簡(jiǎn)根據式(8)所定義的適應度函數,最終的優(yōu)化結果為k=13, N=9, μ =2.1130和a =0.1973,與之對應的平均自檢和預測相對誤差分別是0.83%和1.22%.可見(jiàn)，我們只需13個(gè)合成徑基就能使網(wǎng)絡(luò )的相對擬合誤差小于1%,而且該相對擬合誤差應該是同結構PRBFN中最小的.顯見(jiàn),式(8)所定義的適應度函數為優(yōu)化PRBFN的結構提供了-條有效途徑.3.3實(shí)驗3本實(shí)驗將通過(guò)-個(gè)時(shí)間序列預測實(shí)例來(lái)進(jìn)-步驗證所提出的徑基寬度取值方法的優(yōu)越性.所采用的時(shí)間序列模型是式(12)所示的May方程當方程系數v等于2.9時(shí),模型呈現出混沌現象!.實(shí)驗數據由該方程迭代100次所得(v=2.9,取初值為0.1).由于模型是-階滯后預測模型所以100個(gè)數據點(diǎn)能構造99個(gè)樣本，我們將前70樣本用于訓練,后29個(gè)用于檢測.Pnew =p+v.p.(1- p).(12)我們同樣設計了兩個(gè)網(wǎng)絡(luò )構造中的耦合問(wèn)題現將結果簡(jiǎn)述如下.(1)給定PRBFN的合成徑基數目為2，從表4可見(jiàn)“各異法"所能達到的最佳效果明顯優(yōu)于“同一法"的最優(yōu)效果;(2)限定平均自檢相對誤差的上限為5%, 那么只需6個(gè)合成徑基就能滿(mǎn)足該要求,并且當N =35, μ =0.0870和x =0.3189時(shí),PRBFN對這組混沌序列數據的平均自檢和預測相對誤差分別是3.98% 和2.77%，這些結果再次證實(shí)了本文所提出的徑基寬度取值方法的優(yōu)勢以及網(wǎng)絡(luò )結構優(yōu)化方法的有效性.Table 4 The effects various determination methods for radial basis width表4不同徑 基寬度取值方法的效果Average relative error of self-testPAverage relative error of predictiofPσ =0.0067l 7.8515.68N=6μ= 0.0972 a =0.3214(based on the diferent widhs)13.0810.90①寬度確定方法,②平均自檢相對誤 差③平均預測相對誤差④同-法⑤各異法.綜觀(guān).上述實(shí)驗可見(jiàn),實(shí)驗1證實(shí)了基于PLS的RBFN構造氣個(gè)中國煤化工實(shí)驗2、實(shí)驗3則證實(shí)了本文所提出的徑基寬度取值方式在提高網(wǎng)絡(luò )性能上的效IYHCNMHE絡(luò )構造中兩類(lèi)耦合問(wèn)題.上的有效性從而使PRBFN的優(yōu)勢得到保障和擴充因此，.....1..9傳統RBFN的建模效果.趙偉祥等基于PLS和GAs的徑基函數網(wǎng)絡(luò )構造策略14554結論為了克服傳統RBFN構造策略的弊病,本文首先提出將PLS引入RBFN的構造策略,并把所構成的網(wǎng)絡(luò )稱(chēng)為PRBFN.實(shí)驗結果證實(shí)了PRBFN具有以下優(yōu)點(diǎn):(1) PLS合成徑基充分反映了訓練樣本集的信息使模型表達能力優(yōu)于基于OLA的RBFN構造策略;(2)克服了基于K-Means 算法構造策略的隨機性本文還提出了一種更為有效的徑基寬度取值方法并將其與GAs結合，解決了網(wǎng)絡(luò )構造的兩個(gè)耦合問(wèn)題,使得PRBFN的結構和性能趨于最優(yōu).實(shí)驗結果證實(shí)了本文提出的網(wǎng)絡(luò )構造策略和徑基寬度取值方法在提高模型逼近效果上的優(yōu)越性,也驗證了本文提出的網(wǎng)絡(luò )結構優(yōu)化方法在PRBFN最優(yōu)結構設計.上的有效性總之,PLS、新的徑基寬度取值方法與GAs三者相結合為RBFN的構造提供了-條新穎且更可靠、更有效的途徑.References:1] Whitehead, B,A., Choate, T.D. Cooperative-Competitive genetic evolution of radial basis function centers and widths for timeseries prediction. IEEE Transactions on Neural Networks, 1996,7(4):869-880.[2] Xu, Bing- zheng, Zhang, Bair ling, Wei, Gang. Theory and Application of Neural Networks. Guangzhou: South China University ofTechnology Press, 1994 (in Chinese).[3] Chen, s, Cowan, C.F.N, Grant, P.M. Orthogonal least squares learning algorithm for radial basis function networks. IEEETransactions on Neural Networks, 1991,2(2):302~309.[4] Walczak, B., Massar, D.L. The radial basis functions-partial least squares approach as a flexible non-linear regression technique.Analytica Chimica Acta, 196.331:177-185.[5] Jia, F, Martin, E.B.. Morris, A.J. Non- Linear principal components analysis for process fault detection. Computers and ChemicalEngineering, 1998,22 (Suppl.):5851-5854.[6] Yang， Tai- ning，Wang, Sheng de. Robust algorithms for principal component analysis. Pattern Recognition Letters,1999,20:927-933.[7] Chen, De-zhao. Multivariable Data Processing. Bejing: Chemical Industry Press, 1998 (in Chinese).[8] Geladi, Paul. Notes on the history and nature of partial least squares (PLS) modelling. Journal of Chemometrics, 1988.2:231-246.] Goldberg, D.E. Genetic Algorithms in Searching, Optimization, and Machine Learning. Reading, MA: Addison-Wesley, 1989.[10] Michalewicz, Z.. Janikow, C.Z., Krawezyk, J.B. A modified genetic algorithm for optimal control problem Computers MathmaticsApplication, 19923(12):83-94.附中文參考文獻:徐秉錚張百靈.韋崗神經(jīng)網(wǎng)絡(luò )理論與應用廣州:華南理工大學(xué)出版社,1994.陳德釗.多元數據處理北京:化學(xué)工業(yè)出版社.1998.RBFN Structure Determination Strategy Based on PLS and GAs'ZHAO Wei-xiang，WU Li-de(Department of Computer Science nad Engineering, Fudan University, Shanghai 200433, China)E-mail: weixiang. _zhao@ 263.nethtp://www fudan. edu.cnAbstract:In view of the drawbacks of the conventional structure determination strategies for RBFN (radialbasis function network), a RBFN structure determination strategy based on PLS partial least squares) and Gas(genetic algorithms), and a more effective determination method for radial basis width are proposed in this paper. Inthis structure determination strategy, PLS avoids the local optima occurring in the process of calculating radial bas iswith K-Means algorithm and makes the synthesized radial bases more representative than the radial basis got byorthogonal algorithm. Furthermore the proposed determination method for radial basis width and GAs guarantee thesubstantial improvement and optimization on the networks performance and structure. Finally, the experimentsdemonstrate the superiority, the reliability, and the effectiveness of the proposed RBFN structure determinationstrategy based on PLS and GAs, and the proposed determination method for radial basis width.Key words: radial basis function network; cluster; orthogonal algorithm; partial least square; genetic algorithm中國煤化工Received May 28, 2001; accepted January 10, 2002.MCH.CNMHGSupported by the National Natural Science Foundation of China under Gran 1NU.099JJu1U