雍龍泉,賈 偉,黎延海
(1.陜西理工大學(xué) 數學(xué)與計算機科學(xué)學(xué)院, 陜西 漢中 723001;2.陜西省工業(yè)自動(dòng)化重點(diǎn)實(shí)驗室, 陜西 漢中 723001)
最小二乘和最小一乘都是在各自的目標函數達到最小的情形下估計參數,思想上是一致的,但由于目標函數的數學(xué)結構不同,進(jìn)而造成了估計結果的差異.這種差異從統計學(xué)角度而言就形成了最小二乘和最小一乘的本質(zhì)區別:最小二乘的估計結果是條件均值,最小一乘的估計結果卻是條件中位數.一般情況下,如果數據的分布是對稱(chēng)且無(wú)異常值,則最小二乘得到的結果與最小一乘得到的結果相差不大;且使用最小二乘得到的結果具有唯一性,使用最小一乘得到的結果可能不唯一[1-5].
最小二乘法的優(yōu)點(diǎn)在于其有良好的數學(xué)性質(zhì),可以利用非線(xiàn)性規劃的方法求出最優(yōu)解[6-7],但在計算最小一乘時(shí),需求解一個(gè)不可微優(yōu)化問(wèn)題(不能很好地利用已有的非線(xiàn)性規劃方法來(lái)計算最優(yōu)解),所以很長(cháng)一段時(shí)間,對最小一乘法的研究處于停滯狀.1955年Charnes等通過(guò)把線(xiàn)性最小一乘轉化為線(xiàn)性規劃問(wèn)題來(lái)求解,之后求解最小一乘的算法就不斷涌現[8-15].針對非線(xiàn)性最小一乘如何求解還需要深入研究.
圖1 非線(xiàn)性最小二乘擬合的幾何意義
圖2 非線(xiàn)性最小一乘擬合的幾何意義
論文對給定的非線(xiàn)性數據分別建立了以殘差為目標的非線(xiàn)性最小二乘與最小一乘模型,采用正弦余弦算法確定相關(guān)參數,應用于無(wú)異常值的模型和包含一個(gè)異常值的模型.結果表明最小二乘估計容易受異常值的影響,而最小一乘是殘差的絕對值和而并非平方和,受異常值的影響小得多,具有比最小二乘更好的穩定性.
給定n組離散數據(ti,ci),i=1,2,…,n,尋找擬合曲線(xiàn)f(t,X),使得擬合的殘差最小.論文分別建立如下優(yōu)化模型
(1)
(2)
模型(1)采用最小二乘,模型(2)采用最小一乘.
采用一種新的啟發(fā)式算法:正弦余弦算法(sine cosine algorithm, 簡(jiǎn)稱(chēng)SCA)來(lái)確定參數X,模型(1)與(2)是一個(gè)無(wú)約束優(yōu)化問(wèn)題minS(X).采用最小二乘時(shí),目標函數為
(3)
采用最小一乘時(shí),目標函數為
(4)
下面采用正弦余弦算法求解(3),(4).正弦余弦算法的主要步驟如下:
初始化算法參數: 種群規模N,空間維數D,控制參數a,最大迭代次數Tmax;
在可行域空間中隨機初始化N個(gè)個(gè)體組成初始種群;t=1;
計算當前每個(gè)個(gè)體的適應值,并記錄最優(yōu)個(gè)體位置P(t);
while(t fori=1 toNdo//對每一個(gè)個(gè)體進(jìn)行更新 forj=1 toDdo//對每一維上進(jìn)行更新 根據式r1=a-at/Tmax計算r1的值; 隨機產(chǎn)生r2∈U[0,2π],r3∈U[0,2],r4∈U[0,1]; ifr4<0.5 (5) else (6) end if end for end for 越界處理; 計算每個(gè)個(gè)體的適應值并更新種群的最優(yōu)個(gè)體位置P(t);t=t+1; end while. SCA算法最顯著(zhù)的特點(diǎn)是基于正弦函數(5)和余弦函數(6)值的變化來(lái)達到尋優(yōu)目的,其結構簡(jiǎn)單,容易實(shí)現.在SCA算法中,主要參數有r1,r2,r3,r4,最關(guān)鍵的參數r1控制算法從全局搜索到局部開(kāi)發(fā)的轉換.更多SCA算法詳見(jiàn)文獻[16-22]. 給定的數據見(jiàn)表1,2,表1中的數據無(wú)異常值,表2中的數據包含一個(gè)異常值.對表1,2中的數據分別采用最小二乘和最小一乘.算法程序用Matlab R2009a編寫(xiě).為消除隨機數對算法的影響,SCA算法運行10次后,選取最優(yōu)結果(即誤差最小)進(jìn)行擬合.SCA算法參數設置:種群規模N=30,控制參數a=2,最大迭代次數Tmax=2 000,搜索空間為[-5,15]3. 算例已知某因變量c與自變量t滿(mǎn)足的關(guān)系式為 c=x1t2+x2t+x3?f(t,X), 其中:X=(x1,x2,x3)是待定參數.對變量c,t觀(guān)測9次,得到的數據如表1所示. 表1 給定的數據(無(wú)異常值) 建立優(yōu)化模型為 (7) (8) 模型(7)采用最小二乘,模型(8)采用最小一乘.模型(7)采用SCA算法得到最優(yōu)解XLSR=(0.272 6, -3.640 8, 13.460 8).模型(8)采用SCA算法得到最優(yōu)解XLAD=(0.267 6, -3.631 5, 13.498 6).兩種方法的擬合曲線(xiàn)如圖3所示. 由于一個(gè)錯誤輸入數據,得到含有異常值的數據,見(jiàn)表2. 表2 含有1個(gè)異常值的數據 圖3 無(wú)異常值的非線(xiàn)性最小二乘與最小一乘擬合結果 圖4 有異常值的非線(xiàn)性最小二乘與最小一乘擬合結果 表3給出了詳細的擬合值與誤差. 表3 SCA算法計算結果 從上述結果來(lái)看:無(wú)異常值時(shí),最小二乘與最小一乘得到的結果相差不大;有異常值時(shí),最小二乘的結果偏向異常值,而最小一乘變化較小,這充分表明異常值對最小二乘有著(zhù)比較大的影響,而對最小一乘的影響較小.這主要是因為:當數據中含有異常值時(shí),異常值有較大的偏差,其平方值(幾何意義即面積)相對更大.為了“優(yōu)化”平方和,就不能不“將就”這些點(diǎn),因而增加了殘差大的數據對擬合曲線(xiàn)的影響,使得異常值會(huì )把擬合曲線(xiàn)拉得離異常值更近一些,導致擬合結果失真.因此,對含有異常值的數據進(jìn)行擬合時(shí),應選擇最小一乘以減少異常值對擬合結果的影響.
