第一篇：SVM支持向量機題目

機器學習課程作業（1）

提交截止日期：2017年10月10日周二

1.一個優化問題的原問題（Prime Problem）與對偶問題（Dual Problem）定義如下：

原問題

Minimize: f???

Subject to: gi????0,i?1,2,...,K

hi????0,i?1,2,...,M

對偶問題 定義

L??,?,???f??????igi??????ihi????f?????Tg?????Th???

i?1i?1KM對偶問題為： Maximize: ???,???inf?L??,?,?? ?i?0,i?1,2,...,K Subject to:

**(a)證明：如果?是原問題的解，?，?*是對偶問題的解，則有：f???????**,?*?

(b)證明(強對偶定理)：如果g????A??b,h????C??d，且f任意

???為凸函數，即對?1和?2，有f???1??1????2???f??1???1???f??2?, 則有：f??*?????,*??

*

2.求下列原問題的對偶問題

(a)(l1 and l2-norm SVM Classification):

NN12??C1??i?C2??i2 Minimize: 2i?1i?1Subject to: ?i?0,i?1,2,...,N

Tyi?????xi??b???1??i

(b)(SVM regression):

NN12Minimize: ??C1???i??i??C2???i2??i2?

2i?1i?1Subject to: ?T??xi??b?yi????i,i?1,2,...,N

yi??T??xi??b????i,i?1,2,...,N

?i?0, ?i?0

(c)(Kernel Ridge Regression):

N12Minimize: ??C??i2

2i?1Subject to: yi??T??xi???i,i?1,2,...,N

(d)(Entropy Maximization Problem): Minimize: ?xlog?x? iii?1NSubject to: ?Tx?b

?xi?1Ni?1

3.如圖所示，平面上有N個點{x1,x2,...,xN}，求一個半徑最小的圓，使之能包含這些點。

圖1.平面上N個點，求最小的圓包含這些點。

(a)寫出這個優化問題的數學表達式。(b)寫出(a)的對偶問題。

(c)編寫程序求解這個問題（選做）

第二篇：支持向量機等各種算法和模型的優點和缺點

1決策樹（Decision Trees）的優缺點 決策樹的優點：

一、決策樹易于理解和解釋.人們在通過解釋后都有能力去理解決策樹所表達的意義。

二、對于決策樹，數據的準備往往是簡單或者是不必要的.其他的技術往往要求先把數據一般化，比如去掉多余的或者空白的屬性。

三、能夠同時處理數據型和常規型屬性。其他的技術往往要求數據屬性的單一。

四、決策樹是一個白盒模型。如果給定一個觀察的模型，那么根據所產生的決策樹很容易推出相應的邏輯表達式。

五、易于通過靜態測試來對模型進行評測。表示有可能測量該模型的可信度。

六、在相對短的時間內能夠對大型數據源做出可行且效果良好的結果。

七、可以對有許多屬性的數據集構造決策樹。

八、決策樹可很好地擴展到大型數據庫中，同時它的大小獨立于數據庫的大小。

決策樹的缺點：

一、對于那些各類別樣本數量不一致的數據，在決策樹當中,信息增益的結果偏向于那些具有更多數值的特征。

二、決策樹處理缺失數據時的困難。

三、過度擬合問題的出現。

四、忽略數據集中屬性之間的相關性。人工神經網絡的優缺點 人工神經網絡的優點：分類的準確度高,并行分布處理能力強,分布存儲及學習能力強，對噪聲神經有較強的魯棒性和容錯能力，能充分逼近復雜的非線性關系，具備聯想記憶的功能等。人工神經網絡的缺點：神經網絡需要大量的參數，如網絡拓撲結構、權值和閾值的初始值；不能觀察之間的學習過程，輸出結果難以解釋，會影響到結果的可信度和可接受程度；學習時間過長,甚至可能達不到學習的目的。遺傳算法的優缺點 遺傳算法的優點：

一、與問題領域無關切快速隨機的搜索能力。

二、搜索從群體出發，具有潛在的并行性，可以進行多個個體的同時比較，魯棒性好。

三、搜索使用評價函數啟發，過程簡單。

四、使用概率機制進行迭代，具有隨機性。

五、具有可擴展性，容易與其他算法結合。

遺傳算法的缺點：

一、遺傳算法的編程實現比較復雜,首先需要對問題進行編碼,找到最優解之后還需要對問題進行解碼，二、另外三個算子的實現也有許多參數,如交叉率和變異率,并且這些參數的選擇嚴重影響解的品質,而目前這些參數的選擇大部分是依靠經驗.沒有能夠及時利用網絡的反饋信息,故算法的搜索速度比較慢，要得要較精確的解需要較多的訓練時間。

三、算法對初始種群的選擇有一定的依賴性，能夠結合一些啟發算法進行改進。KNN算法(K-Nearest Neighbour)的優缺點 KNN算法的優點：

一、簡單、有效。

二、重新訓練的代價較低（類別體系的變化和訓練集的變化，在Web環境和電子商務應用中是很常見的）。

三、計算時間和空間線性于訓練集的規模（在一些場合不算太大）。

四、由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。

五、該算法比較適用于樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域采用這種算法比較容易產生誤分。

KNN算法缺點：

一、KNN算法是懶散學習方法（lazy learning,基本上不學習），一些積極學習的算法要快很多。

二、類別評分不是規格化的（不像概率評分）。

三、輸出的可解釋性不強，例如決策樹的可解釋性較強。

四、該算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數。該算法只計算“最近的”鄰居樣本，某一類的樣本數量很大，那么或者這類樣本并不接近目標樣本，或者這類樣本很靠近目標樣本。無論怎樣，數量并不能影響運行結果。可以采用權值的方法（和該樣本距離小的鄰居權值大）來改進。

五、計算量較大。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。支持向量機（SVM）的優缺點 SVM的優點：

一、可以解決小樣本情況下的機器學習問題。

二、可以提高泛化性能。

三、可以解決高維問題。

四、可以解決非線性問題。

五、可以避免神經網絡結構選擇和局部極小點問題。SVM的缺點：

一、對缺失數據敏感。

二、對非線性問題沒有通用解決方案，必須謹慎選擇Kernelfunction來處理。樸素貝葉斯的優缺點 優點：

一、樸素貝葉斯模型發源于古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。

二、NBC模型所需估計的參數很少，對缺失數據不太敏感，算法也比較簡單。缺點：

一、理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上并非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的（可以考慮用聚類算法先將相關性較大的屬性聚類），這給NBC模型的正確分類帶來了一定影響。在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型。而在屬性相關性較小時，NBC模型的性能最為良好。

二、需要知道先驗概率。

三、分類決策存在錯誤率 Adaboosting方法的優點

一、adaboost是一種有很高精度的分類器。

二、可以使用各種方法構建子分類器，Adaboost算法提供的是框架。

三、當使用簡單分類器時，計算出的結果是可以理解的。而且弱分類器構造極其簡單。

四、簡單，不用做特征篩選。

五、不用擔心overfitting。Rocchio的優點

Rocchio算法的突出優點是容易實現，計算（訓練和分類）特別簡單，它通常用來實現衡量分類系統性能的基準系統，而實用的分類系統很少采用這種算法解決具體的分類問題。

9各種分類算法比較

根據這篇論文所得出的結論, Calibrated boosted trees的性能最好，隨機森林第二，uncalibrated bagged trees第三,calibratedSVMs第四，uncalibrated neural nets第五。性能較差的是樸素貝葉斯，決策樹。有些算法在特定的數據集下表現較好。

參考文獻：

[1] 羅森林, 馬俊, 潘麗敏.數據挖掘理論與技術[M].電子工業出版社.2013.126-126 [2] 楊曉帆,陳廷槐.人工神經網絡固有的優點和缺點[J].計算機科學.1994(vol.21).23-26 [3] Steve.遺傳算法的優缺點.http://blog.sina.com.cn/s/blog_6377a3100100h1mj.html [4] 楊建武.文本自動分類技術.[6] 張夏天.統計學習理論和SVM的不足（1）.http://blog.sciencenet.cn/blog-230547-248821.html [7] RichCaruana，AlexandruNiculescu-Mizil.An Empirical Comparison of Supervised LearningAlgorithms.2006

第三篇：基于支持向量機建模法預測原油系統PVT參數

大 連 理 工 大 學

研究生考查課作業

Forecasting PVT properties of crude oil systems based on support vector machines modeling scheme 基于支持向量機建模方案預測原油系統

PVT參數

課程名稱：

電信學部專業英語

導師： 趙珺

研究生姓名：

李德祥

學號： 20909173

作業成績：

任課教師(簽名)

交作業日時間：2010 年12月17日

基于支持向量機建模方案預測原油系統PVT參數

摘要：PVT參數在油儲工程計算中發揮著重要的作用。目前有許多種方法用來預測各種PVT參數，例如經驗公式法，計算機智能法。神經網絡的成就為數據挖掘建模技術打開了一扇們，同時它在石油工業中起到了重要的作用。然而不幸的是，由于倉儲流體的一些特性，現有神經網絡方法在其上的應用存在許多缺點和限制。本文提出了一種新的智能模型——支持向量機用來預測原油系統的PVT參數，該方法解決了現有神經網絡預測的大部分缺點。文中簡要介紹了預測步驟和建模算法，同時從神經網絡，非線性回歸以及經驗公式法中分別選擇了一種方法與支持向量機回歸建模法進行了比較。結果表明支持向量機方法更加準確，可靠，同時優于大多數現有的公式法。這說明支持向量機建模法具有光明的前景，我們建議將其用于解決其他石油和煤氣工業問題，諸如滲透率和孔隙率預測，確定持液量流動區和其他油儲特性。

關鍵字：支持向量回歸機(SVR);PVT參數預測;神經網絡;1 引言

儲層流動參數在石油工程計算中是非常重要的，例如物質平衡計算，試井分析，儲量預測，向井流動態計算以及油藏數值模擬。眾所周知，準確的PVT數據對物質平衡計算是非常重要的。這些PVT參數包括起泡點壓力(Pb)，石油形成層參數(Bob)，這個被定義儲存石油的容積。Bob的準確預測在儲量和產量計算中至關重要，同時在儲量動態計算，生產操作和設計以及構成評估的計算中，PVT參數也是非常重要的。這個流程的經濟效益也取決與這些參數的準確預測。

現存的PVT仿真器在預測儲藏流體的物理參數時，其預測精度隨使用模型的類型，流體特性以及當時環境的變化而變化。因此他們在預測準確性方面都存在極大的缺陷。理想情況下，PVT參數通過對取自井底或者表面的樣本進行試驗研究而獲得，但這樣做獲取試驗數據代價昂貴。因此，現在多采用狀態等式，統計回歸，圖解法以及經驗公式法來預測PVT參數。用于PVT計算的相關方法一直是研究的重點，并發表了許多論文。過去十年間，有人提出了幾種確定Pb和Bob的圖解法和數學方法。這些研究都基于這樣一個假設，Pb和Bob都是油氣比，油藏溫度，煤氣比重以及石油比重的強函數。盡管如此，這些狀態等式包含了大量的數據計算,其中需要知道儲藏流體的詳細成分，而得到它們即費力又費時。另外，這些方法在預測中是 不可靠的，它取決與原始應用數據的變化程度以及相似流體成分和API油比重的地理區域。此外PVT參數以基于容易測量的現場數據為基礎，諸如儲存壓力，儲存溫度和石油比重。

近年來，人工神經網絡(ANNs)被用于解決許多煤氣和石油工業方面的問題，其中包括滲透率和孔隙率預測，巖相類型鑒定，地震模式識別，PVT參數預測，油管及油井中壓降估計以及井產量預測。在機器學習和數據挖掘領域最流行的神經網絡方法是前向神經網絡(FFN)和多層感知器（MLP）。它們在石油和煤氣工業中應有廣泛。盡管如此，這些神經網絡建模方法存在許多缺點，諸如識別可能因果關系的能力受到限制，在后向傳播算法的構造中比較耗時，這些缺點將導致過擬合和評價函數收斂于局部極小點。另外，前向神經網絡的結構參數也需要提前估計，諸如前向傳播神經網絡的隱層數量和大小，多層神經元之間的傳遞函數類型。同時，訓練算法參數通過估計初始隨機權重，學習率和動量而獲得。

本研究的主要目的是了解支持向量機回歸算法在模型化原油系統PVT參數方面的能力，同時解決上述神經網絡存在的一些問題。大量的用戶介入不僅減緩了模型開發，也違背了讓數據說話的原則。在工作中，我們精確的研究了基于核函數的支持向量機回歸算法在模型化Pb和Bob參數的能力，試驗數據來源與全世界已出版的PVT數據庫。我們也從神經網絡，非線性回歸以及各種不同的經驗公式中分別選取了一種方法與支持向量機回歸法進行了比較研究。

高原油采收率的預測是采收率分析的基礎，這也保證了分析結果的可靠性。在統計學習理論中，建立一個高采收率預測模型屬于函數逼近問題的范疇。根據Vapnik結構風險最小化原則,提高學習機的泛化能力即是對于有效訓練樣本的小誤差能夠保證相對獨立的測試樣本的小誤差。近幾年，最新的統計理論的研究結果首次運用到高采收率的分析。我們討論了改進的后向傳播人工神經網絡和支持向量機。我們將神經網絡同三個不同的經驗公式法以及前向傳播神經網絡進行了對比研究，結果表明支持向量機無論在可靠性和效率上都優于大多數目前流行的建模方法。

為了說明支持向量機回歸法作為一種新的計算機智能算法的有效性，我們使用三種不同的PVT參數建立了先進的支持向量機回歸校準模型。在包括782個觀測值的數據庫中數據來自馬來群島，中東，墨西哥灣和哥倫比亞。由于寬域性和不確定分布，這些數據具有很大的挑戰性。因此，我們使用了四個不同輸入參數的數據庫來建立預測起泡點壓力和石油形成層參數的支持向量機回歸模型。這四個參數分別是：油氣比率，油藏溫度，石油比重以及煤氣相對比重。結果表明支持向量機回歸學習算法比其他石油工程論文中所提方法更快，更穩定。另外，這種新型支持向量回歸機建模法在絕對平均誤差，標準差和相關系數上都優于標準神經網絡和大多數現存的系數模型。

本論文的其余部分組織如下：第二部分是文獻綜述，簡要介紹了在確定PVT關系中一些最常用的經驗公式和神經網絡建模法。應用神經網絡對PVT參數建模的主要缺點也在這部分提及。同時也提出了支持向量回歸機和其訓練算法的最常用結構。第四部分介紹了數據獲取和統計質量測度。試驗結果在第五部分進行了討論。第六部分通過給出試驗結果說明了方法的性能。文獻綜述

PVT參數，滲透性和孔隙率，巖相類型，地震模式識別在石油和煤氣工業中是非常重要的參數。過去的六十年中，工程師們認識到發展和使用試驗公式預測PVT參數的重要性，因此在這一領域的研究促進了新方法的發展。在實驗室預測這些參數代價高昂,因此很難確定，同時預測的準確性又是至關重要的，而我們并不能提前預知。本部分簡要總結了一下預測PVT參數的一些通用經驗公式和幾種不同的計算機智能算法。2.1 最常用的經驗模型和評價研究

過去的六十年里，工程師們認識到發展和使用經驗公式對于預測PVT參數的重要性。在這一領域的大量研究促進了新的公式的發展。諸如Standing,Katz,Vasquez& Beggs,Glaso&Al-Marhoun的相關研究.Glaso針對形成層參數使用45組石油樣本發展其經驗公式，這些樣本來自于北海的烴化合物。Al-Marboun提出了一種經驗公式用于預測中東石油的起泡點壓力和石油形成層參數，他使用來自中東69個油井的160組數據集來構造他的公式。Abdul-Majeed and Salman提出了一種基于420組數據集的油量層形成公式，并命名為Abdul-Majeed and Salman 經驗公式。他們的模型與采用新參數的Al-Marhoun油量層參數公式類似。Al-Marthoun提出了第二種針對油量層參數的經驗公式，該公式基于11728個起跑點壓力上下的形成層參數試驗數據點。數據集的樣本來自全世界700多個油井，這些油井大部分位于中東和北美。讀者也可以參考其他經驗公式，諸如Al-Shammasi and EI-Sebakhy等等。本研究中，我們僅僅關注于三個最常用的經驗公式，分別為Al-Marhoun,Glaso 和Standing.Labedi提出了針對非洲原油的油量層參數公式。他使用了來自利比亞的97組數據集，尼日利亞的28組數據集以及安哥拉的4組數據集來形成他的公式。DOKLa and Osman提出了用于預測阿聯酋原油起泡點壓力和油量層參素的系數集，他們使用51組數據集來計算新的系數。Al-Yousef and Al-Marhoun指出Dokla and Osaman 起泡點壓力公式違背物理規則。Al-Marhoun 提出了另一種針 2

對石油形成層參數的公式，該公式使用11728個起泡點壓力上下的形成層參素。該數據集的樣本來自于全世界700多個油井，這些油井大部分來自與中東和北美。

Macary and El-Batanoney提出了針對起泡點壓力和形成層參數的公式。他們使用了來自蘇伊士灣30個油井的90組數據集。該新公式又與來自埃及的數據進行了對比測試，并表現出超過其他已有公式的性能。Omar and Todd提出了一種基于標準系數模型的石油形成層參數公式。該公式使用了來自馬來群島油井包含93個觀察點的數據集。Kartoamodjo and Schmidt 使用全球資料庫發明了一種新的預測所有PVT參數的公式，該公式使用740個不同的原油樣本，這些樣本從全世界采集，并包括5392組數據集。Almehaideb提出了一種針對阿聯酋原油的系數集，其中使用了62組來自阿聯酋油井的數據集來測量起泡點壓力和形成層參數。起泡點壓力公式，像Omar and Todd使用形成層參數作為輸入,并排除了石油比重，煤氣比重，氣油混合比以及油井溫度。Suttton and Farshand提出了一種針對墨西哥灣原油的公式，其中使用了天然氣飽和原油的285組數據集以及代表31個不同原油和天然氣系統的134組欠飽和石油數據集。結果表明Glaso公式預測形成層參數對于大多數研究數據表現良好。Petrosky and Farshad提出了一種基于墨西哥灣的新公式，并說明了Al-Marhoun公式對預測油量層系數是最好的。McCain提出了一種新的基于大規模數據的油井參數評估公式，他們建議在將來的應用中采用Standing公式來預測起泡點壓力上下的形成層參數。

Ghetto基于195組全球數據集得出了一種針對PVT參數的復雜研究公式，其中使用的數據集來自地中海盆地，美洲，中東和北海油井。他們建議運用Vasquez and Beggas公式預測油量層參數。另一方面，Elsharkawy使用44組樣本評估了用于科威特原油的PVT公式，結果表明，對于起泡點壓力,Standing公式給出了最好的結果，而Al-Marhoun石油形成層參數公式的表現也是令人滿意的。Mahmood and Al-Marhoun提出針對巴基斯坦原油的PVT估計公式，其中使用了來自22個不同原始樣本中的166組數據集。Al-Marhoun指出油量層參數預測結果良好，而起泡點壓力誤差卻是已有公式所得結果中最高的幾個之一。另外，Hanafy基于Macary and EI-Batanoney公式評價預測埃及原油形成層參數，結果表明其平均絕對誤差為4.9%，而Dokla and Osman公式卻是3.9%。因此，研究結果表明本地公式要優于全球公式。

Al-Fattan and Al-Marhoun所著的書中，他們基于來自已有674組數據集對現有的油量層參數進行了評估，結果表面Al-Marhoun公式對于全球數據集有最小的誤差。另外，他們也進行了趨勢測試以評估模型的物理行為。最后，Al-Shammasi以來自世界各地的烴混合物為代表，從準確性和適應性兩方面對已發表的針對起泡點壓力和油量層參數的公式和神經網絡模型進行了評估，并提出了一種新的起泡點壓力公式，該公式基于1661個已發表的全球數據集和48個未發表的數據集。同時他也提出了神經網絡模型，并且將其與數值公式進行了比較，結果表明從統計學和趨勢性能分析來看，一些公式違背了烴流參數的物理特性。2.2 基于人工神經網絡的PVT參數預測

人工神經網絡是并行分配信息處理模型，它能識別具有高度復雜性的現有數據。最近幾年，人工神經網絡在石油工業中得到了廣泛的應用。許多學者探討了石油工程中人工神經網絡的應用，諸如Ali,Elshakawy,Gharbi and Elsharkawy,Kumoluyi and Daltaban,Mohaghegh and Ameri,Mohaghegn,Mohaghegn,和Varotsis等人。在文獻中最常用的神經網絡是采用倒傳遞算法的前向傳播神經網絡，參見Ali,Duda以及Osman的論文。這種神經網絡在預測和分類問題上有著良好的計算機智能建模能力。采用神經網絡模型化PVT參數的研究還不多，最近，有人采用前向傳播神經網絡預測PVT參數，參見Gharbi and Elsharkawy以及Osman等人的論文。

Al-Shammasi提出了神經網絡模型，并將其與數值公式進行了性能比較，結果表明從統計學和趨勢性能來看一些公式違背了烴流參數的物理性質。另外，他還指出已發表的神經網絡模型丟失了主要模型參數而需要重建。他使用神經網絡(4-5-3-1)結構來預測起泡點壓力和石油形成層參數，并以來自世界各地的烴混合物為例，從準確性和適應性兩方面對已發表的用于預測如上兩個參數的公式和神經網絡進行了評價。

Gharbi 和Elsharkawy以及Osman等在前向神經網絡和四種經驗公式之間進行了對比研究，這四種公式分別是Standing,Al-Mahroun,Glaso以及Vasquez and Beggs經驗公式，更多的結論和對比研究結果可參見他們的論文。1996，Gharbi and Elsharkawy提出了預測中東原油起泡點壓力和形成層參數的神經網絡模型。該模型基于具有對數雙彎曲激發函數的神經系統來預測中東油井的PVT數據。同時，Gharbi和Elsharkawy訓練了兩個神經網絡分別預測起泡點壓力和形成層參數。輸入數據是油氣比率，油儲溫度，石油比重以及煤氣比重。他們使用具有兩個隱層的神經網絡，第一個神經網絡預測起泡點壓力，第二個神經網絡預測形成層參數。二者都使用中東地區包含520個觀察點的數據集，其中498個觀察點用于訓練，其余22個觀察點用于檢驗。

Gharbi和Elsharkawy在更廣大區域采用了同樣的標準，這些區域包括：南北美，北海，東南亞和中東地區。他們提出了一種只采用1個隱層的神經網絡，其中使用了來自350個不同原油系統的5432個觀察點的數據庫。該數據庫被分成具有5200個觀察點的訓練集和234個觀察點的測試集。對比研究結果表明，前向神經網絡預測PVT參數在減小平均絕對誤差和提高相關系數方面優于傳統經驗公式。讀者可以參看Al-Shammasi和EI-Sebkhy的論文獲取其他類型的神經網絡在預測PVT參數方面的應用。例如，徑向基函數和誘導神經網絡。2.3 神經網絡建模法最普遍的缺點

神經網絡相關經驗已經暴露了許多技術上的限制。其中之一是設計空間的復雜性。在許多設計參數的選擇上由于沒有分析指導，開發者常常采用一種人為試探的嘗試錯誤方法，該方法將重點放在可能搜索空間的小區域里。那些需要猜測的結構參數包括隱層的數目和大小以及多層神經元間傳遞函數的類型。需要確定的學習算法參數包括初始權重，學習率以及動量。盡管得到的可接受的結果帶有偏差，但很明顯忽視了可能存在的高級模型。大量的用戶干預不僅減慢了模型構建也違背了讓數據說話的原則。為了自動設計過程，Petrosky 和Farshad提出了遺傳算法形式的外部優化標準。對于新數據在實際應用中的過擬合和弱網絡泛化能力也是一個問題。當訓練進行時，訓練數據的擬合提高了，但是由于訓練中新數據不能提前預知網絡性能可能因為過學習而變壞。訓練數據的一個單獨部分常常保留下來監視性能，以保證完成收斂之前停止訓練。盡管如此，這減少了實際訓練中有效的數據量，當好的訓練數據缺乏時這也是一大劣勢。Almehaideb提出了一種網絡修剪算法用以提高泛化能力。最常用的采用梯度下降法的后向傳遞訓練算法在最小化誤差時存在局部極小點的問題，這限制了優化模型的推廣。另一個問題是神經網絡模型的黑箱不透明性。相關解釋能力的缺失在許多決策支持應用中是一個障礙，諸如醫學診斷，通常用戶需要知道模型給出的結論。附加分析要求通過規則提取從神經網絡模型中獲得解釋設備。模型參數掩蓋在大規模矩陣中，因此獲得模型現象或者將其與現存經驗或理論模型進行對比變得非常困難。因為模型各種輸入的相對重要性信息還沒有獲得，這使得通過排除一些重要輸入來簡化模型的方法變得不可行。諸如主成份分析技術也需要額外的處理。

在本研究中，我們提出了支持向量機回歸法來克服神經網絡的缺點同時采用此方法來預測PVT參數。支持向量機建模法是一種基于統計學習理論和結構風險最小化原則的新型計算機智能算法。基于該原則，支持向量機通過在經驗誤差和Vapnik-Chevonenkis置信區間之間取得合適的平衡來得到最有效的網絡結構，因此這種方法不可能產生局部極小。支持向量機回歸建模法

支持向量機回歸法是機器學習和數據挖掘領域最成功和有效的算法之一。在分類和回歸中它作為魯棒性工具得到了廣泛的應用。在許多應用中，該方法具有很強的魯棒性，例如在特征識別，文 4

本分類和人臉圖像識別等領域。支持向量機回歸算法通過最優化超平面的特征參數以確保其高度的泛化能力。其中超平面在高維特征空間中最大化訓練樣本間的距離。3.1 背景知識和綜述

近年來，人們對支持向量機做了很多研究。從如下這些人的文章中可以獲得已完成的支持向量機建模法的概述，他們是Vapnik,Burges,Scholkopt，Smola，Kobayashi以及Komaki。該方法是一種新的基于統計學習理論的機器學習法。它遵循結構風險最小化原則，通過最小化泛化誤差的上界，而不是最小化訓練誤差。該歸納法基于泛化誤差的界，而泛化誤差通過加和訓練誤差和依賴VC維的置信區間得到。基于此原則，支持向量機通過平衡經驗誤差和VC維置信區間取得最優的網絡結構。通過此平衡支持量機可以取得優于其他神經網絡模型的泛化性能。

起初，支持向量機用于解決模式識別問題。盡管如此，隨著Vapnik 不敏感損失函數的引入，支持向量機可以擴展用于解決非線性回歸預測問題。例如剛剛為人所知的支持向量回歸法，它表現出了良好的性能。該方法的性能取決于預定義的參數（也叫超參數）。因此，為建立一個良好的支持向量回歸預測模型，我們要細心設置其參數。最近，支持向量回歸法已經作為一種可供選擇的強有力技術用于預測復雜非線性關系問題。因其許多特有性質和良好的泛化能力，支持向量回歸法無論是在學術界還是工業應用領域都取得了極大的成功。3.2 支持向量回歸機的結構

最近，通過引入可變的損失函數，支持向量回歸機(SVR)作為一種新的強有力技術用于解決回歸問題。這部分，我們簡要介紹一下SVR.更多的細節參見Vapnik和EI-Sebakhy的論文。通常情況下，SVR的構造遵循結構風險最小化原則，它試圖最小化泛化誤差的上界而不是最小化訓練樣本的預測誤差。該特征能在訓練階段最大程度的泛化輸入輸出關系學習以得到對于新數據良好的預測性能。支持向量回歸機通過非線性映射將輸入數據x映射到高維特征空間F.，并在如圖1所示的特征空間中產生和解決一個線性回歸問題。

圖1 映射輸入空間x到高維特征空間

回歸估計通過給定的數據集G?{(xi,yi):XiR}Rni?1來預測一個函數，這里xi代表輸入向量，?yi代表輸出值，n代表數據集的總大小。建模的目的是建立一個決策函數y?f(x)，在給定一組新的輸入輸出樣本?xi,yi?的情況下準確預測輸出?yi?。該線性逼近函數由下面的公式表示：

f(x)?(w?(x)?b),?:R?F;w?FTP(1)這里w,b是系數，?(x)代表高維特征空間，通過輸入空間x的非線性映射得到。因此，高維特征空間中的線性關系被映射到了低維特征空間中的非線性關系。這里不用考慮高維特征空間中w和?(x)的內積計算。相應的，包含非線性回歸的原始優化問題被轉換到特征空間F而非輸入空間x中尋找最平緩模型的問題。圖1中的未知參數w和b通過訓練集G預測得到。

通過不敏感損失函數支持向量回歸機在高維特征空間中模擬線性回歸。同時，為了避免過擬合，2并提高泛化能力，采用最小化經驗風險和復雜度w2之和的正則化函數。系數w和b通過最小化結構風險函數預測得到。

RSVR(C)?Remp?12w2?Cnn?i?1?L?(yi,yi)?212w2(2)這里RSVR和Remp分別代表回歸風險和經驗風險。w2代表歐幾里德范數，C代表度量經驗風險的損失函數。在公式2給出的結構風險函數中，回歸風險RSVR是在給定測試樣本輸入向量情況下由約束函數f得到的可能誤差。

????(|y,y|??),if|y?y|????L?(y,y)???(3)

Otherwise???0,??n在公式2中，第一項C/n?L?*(yi,yi)代表經驗誤差，該誤差通過公式3中?不敏感損失函

i?1?數預測得到。引入損失函數可以使用少量的數據點來獲得公式1中決策函數的足夠樣本。第二項2w2是正則化系數。當存在誤差時，通過折中經驗風險和正則化系數，正則化常量C用于計算懲罰值。增大C值等于提高了相應泛化性能的經驗風險的重要性。當擬合誤差大于?時接受懲罰。?損失函數用來穩定預測。換句話說，?不敏感損失函數能減小噪聲。因此，?能被看作如圖2所示訓練數據近似精度的等效值。在經驗分析中，C和?是由用戶選擇的參數。

圖2 一種線性支持向量回歸機的軟邊緣損失集

為了估計w和b，我們引入正的松弛變量?i和?i，從圖2可知，超常的正負誤差大小由?i和?i分別代表。假設松弛變量在???,??外非零，支持向量回歸機對數據擬合f(x)如下：(i)訓練誤??差通過最小化?i和?i得到。(ii)最小化 w2/2提高f(x)的平滑性，或者懲罰過于復雜的擬合函數。因此，支持向量回歸機由最小化如下函數構造而成： ?最小化：RSVR(w,C)?12nw2?C?L?(?i??i)（4）

*i?1??yi?w?(xi)?bi???i??*目標值：???0*?w?(x)?b?y????iiii????

這里?i和?i分別代表度量上下邊沿誤差的松弛變量。以上公式表明在同一結構函數f(x)下增大?將減小相應的?i和?i，從而減小來自相應數據點的誤差。最后通過引入拉格朗日多項式和擴展最優性約束，公式1所給決策函數有如下的形式：

n?f(x,?i,?i)?*?(?i?1i??i)K(x?xi)?b*（5）

*i這里公式5中參數?i和?i被稱為拉格朗日乘子，他們滿足公式?i?*?0，?i?0和?*i?0，在i?1,2....,n。公式5中的K(xi,xj)稱作核函數，而核函數的值等于特征空間?(xi)和?(xj)中 7

向量xi和xj的內積，其中K(xi,xj)=?(xi)??(xj)。核函數用來表征任意維特征空間而不用精確計算?(x)。假如任給一個函數滿足Mercer條件，他就可用作核函數。核函數的典型例子是多項式核(K(x,y)?[x?y?1]d)和高斯核(K(x,y)?exp[?(x?y)2/2?2])。這些公式中，d代表多項式核的次數，?代表高斯核寬度。這些參數必須精確選擇，因為他們確定了高維特征空間的結構并且控制最終函數的復雜性。24 數據獲取和統計質量度量

4.1 要求數據

研究結果基于來自三個不同的已發表研究論文的三個數據庫中獲得。第一個數據庫引自Al-Marhoun的文章。該數據庫包括來自中東69口油井的160組數據，通過它提出了一種用于預測中東石油起跑點壓力和油量層參數的公式。第二個數據庫來自Al-Marhoun&Osman(2002)，Osman&Abel-Aal(2002)以及Osman&Al-Marhoun（2005）的文章。該數據庫使用采集于沙特各地的283個數據點來預測沙特原油的起泡點壓力以及該壓力點附近的油層量參數。模型基于142組訓練集的神經網絡來建立前饋神經網絡校正模型用以預測起泡點壓力和油量層參數，其中71組數據集用于交叉驗證訓練過程中建立的關系，余下的71組數據集用于測試模型以評估精度。結果表明發展的Bob模型比現有的經驗公式有更好的預測效果和更高的精度。第三個數據庫來自Goda(2003)和Osman(2001)的著作，這里作者采用具有對數雙彎曲傳遞函數的前向神經網絡來預測起泡點壓力附近的石油形成層參數。該數據庫包括從803個實際數據點中刪除了21個觀察點之后的782個觀察點。該數據集采集于馬來群島，中東，墨西哥灣和加利福尼亞。作者采用倒傳遞學習算法設計了一種單隱層的前向神經網絡，其中使用4個輸入神經元來隱藏輸入的油氣比重，煤氣比重，相對煤氣濃度以及油儲溫度，五個神經元的單隱層以及輸出層構造參數的單一神經元。

使用以上三個不同的數據庫來評估支持向量回歸機，前向神經網絡和三個經驗公式建模法的性能。采用分層標準劃分整個數據庫。因此，我們使用70%的數據建立支持向量回歸機模型，30%的數據用于測試和驗證。我們重復內部和外部驗證過程各1000次。因此數據被分為2到3組用于訓練和交叉驗證。

本研究中，382組數據集，267組用于建立校正模型，余下的115組用于交叉驗證訓練和測試過程中建立的關系，并以此來評價模型的精度和穩定性。對于測試數據，支持向量回歸機建模法，神經網絡法以及最著名的經驗公式法的預測性能使用以上的數據集進行度量。起泡點壓力和石油形成層參數的預測性能分別如表1-6所示。

表1 測試結果(Osman(2001)和EI-Sebakhy(2007)數據)：預測Bo的統計質量量度

表2 測試結果(Osman(2001)和EI-Sebakhy(2007)數據)：預測Pb的統計質量量度

表3測試結果(Al-Marhoun&Osman(2002)和Abdel-Aal(2002)數據)：預測Bo的統計質量量度

表4測試結果(Al-Marhoun&Osman(2002)和Abdel-Aal(2002)數據)：預測Pb的統計質量量度

表5測試結果(Osman(2001)和Goda(2003)數據)：預測Bo的統計質量量度

表6測試結果(Osman(2001)和Goda(2003)數據)：預測Pb的統計質量量度

在應用中，用戶應該知道輸入數據的范圍以確保其在正常的范圍內。這步叫做質量控制，它是最終取得準確和可信結果的重要一環。以下是一些主要變量的輸入/輸出范圍。包括油氣比，煤氣比重，相對煤氣密度，油儲溫度。在輸入和輸出層使用起泡點壓力和石油形成層參數進行PVT分析。

? 油氣比在26和1602之間，scf/stb ? 油量層參數在1.032和1.997之間變化 ? 起泡點壓力起于130止于3573 psia ? 油井溫度從74F到240F ? API比重在19.4和44.6之間變化。? 煤氣相對濃度改變從0.744到1.367 4.2 評價和質量度量

在學習完成后，我們進行了擬合模型能力和質量的評價和估計。為此，我們計算了大量的質量量度。諸如實際和預測輸出之間的相關系數(r)，根方誤差(Erms),平均相對百分誤差(Er),平均絕對百分誤差(Ea),最小絕對百分誤差(Emin)，最大絕對百分誤差(Ermax)，標準差(SD)和執行時間。最好的模型有最高的相關性和最小的根方誤差。

支持向量機建模法的性能與神經網絡和最常用的經驗公式進行了比較。其中使用三種不同的數據庫。執行過程采用交叉驗證（內部和外部交叉）并重復了1000次。我們得到了支持向量回歸機建模法的良好結果，為了簡便起見，這里只記錄了一些必須的點。這些點能給讀者關于支持向量機建模法精度和穩定性方面一個完整的圖形。4.3統計質量度量

為了比較新模型與其他經驗公式在精度和性能方面的差異，我們采用統計誤差分析法。選用的誤差參數如下：平均相對百分誤差(Er),平均絕對百分誤差(Ea),最小絕對百分誤差(Emin)，最大絕對百分誤差(Ermax)，均方根誤差(Erms),標準差(SD)，相關系數(R2)。為了說明支持向量機回歸法的有效性，我們采用了基于三個不同數據庫的校正模型。(i)160個觀察點的數據庫.(ii)283個觀察點的數據庫用于預測Pb和Bob(iii)Goda(2003)和Osman(2001)發表的包含782個觀察點的全世界范圍內的數據庫。

結果表明支持向量機回歸法具有穩定性和有效性。另外，它的性能在均方根誤差，絕對平均百分誤差，標準差和相關系數方面也超過了最流行的經驗公式中的一種以及標準前向神經網絡法。實驗研究

我們在所有數據集上進行了質量控制檢測并且刪除了多余的和不用的觀察點。為了評估每一種建模方法的性能，我們采用分層標準劃分了整個數據庫。因此，我們使用70%的數據建立支持向量回歸機模型，30%的數據用于測試和驗證。我們重復內部和外部驗證過程各1000次。因此數據被分為2到3組用于訓練和交叉驗證。而在782組數據點中，382組用來訓練神經網絡模型，剩下的200組用來交叉驗證訓練過程中建立的關系，最后200組用于測試模型以評估其準確性和趨勢穩定性。對于測試數據，我們用支持向量機回歸建模法，前向神經網絡系統和最著名的經驗公式分別預測起泡點壓力和石油形成層參數，并研究了他們不同質量度量的統計總和。

通常情況下，在訓練了支持向量機回歸建模系統后，我們使用交叉驗證來測試和評價校正模型。

同時我們將支持向量機回歸模型的性能和精度同標準神經網絡和三種常用的經驗公式進行了對比研究。這三種常用的公式分別是：Standing,Al-Mahroun和Glaso經驗公式。5.1 參數初始化

本研究中，我們采用與Al-Marhoun&Osman(2002),Osman(2001)以及Osman&Abdel-Aal(2002)同樣的步驟。其中采用單或雙隱層的前向神經網絡，該網絡基于具有線性和S型激發函數的倒傳遞學習算法。初始權重隨機獲得，學習能力基于1000元或0.001目標誤差和0.01學習率獲得。每個隱層包括的神經元都與其相鄰層的神經元連接。這些連接都有相關的權值，并可以在訓練過程中調整。當網絡可以預測給定的輸出時訓練完成。對于這兩個模型，第一層包括四個神經元，分別代表油儲溫度，油氣比，煤氣比重和API石油比重的輸入值。第二層包含用于Pb模型的七個神經元和用于Bob模型的8個神經元。第三層包括一個神經元，其代表Pb或Bob的輸出值。我們使用的用于Pb和Bob模型的簡略圖正如Al-Marhoun&Osman(2002),Osman&Abdel-Aal(2002)論文中所述。它基于1000次的重復計算使得我們可以檢測網絡的泛化能力，阻止對訓練數據的過擬合并且對所有運行取平均。

執行過程開始于對現有數據集的支持向量機建模，每次一個觀察點，到時學習過程從現有輸入數據集中獲得。我們注意到交叉驗證可讓我們監視支持向量回歸機建模的性能，同時阻止核網絡過擬合訓練數據。在執行過程中，我們采用三種不同的核函數，分別名為多項式，S型核以及高斯核。在支持向量回歸機的設計中，首先初始化那些控制模型整體性能的參數，諸如kenel=’poly’,kernel opt=5;epsilon=0.01;lambda=0.0000001;verbose=0;以及常量C為簡便起見取為1或10。交叉驗證方法基于均方根誤差作為訓練算法中的檢查機制來阻止過擬合和復雜性。Bob和Pb模型的結果權重如下表格和圖表中所示。同時，如下所示，每一個輸入參數的相對重要性在訓練過程中確定，并由Bob和Pb模型給出。

5.2 討論和對比研究

我們可以研究除已選擇的檢驗公式之外其他常用的經驗公式，更多關于這些公式數學表達式的細節可以參考EI-Sebakhv和Osman(2007)的文章。測試中的比對結果，在表1-6中分別進行了外部交叉驗證總結。從結果中我們注意到支持向量機建模法優于采用倒傳遞算法的神經網絡以及最流行的經驗公式。提出的模型以其穩定的性能在預測Pb和Bob值時表現出了很高的精度，在采用三個不同數據集的情況下該模型在其他公式中得到了最低的絕對相對百分誤差，最低的最小誤差，最低的最大誤差，最低的均方根誤差以及最高的相關系數。

我們對所有計算機智能預測算法和最著名的經驗公式預測所得的絕對相對百分誤差EA和相關系數繪制了離散點圖。每個建模方法由一種符號表示。好的預測方法應該出現在圖形的左上部分。圖3所示為所用建模方法EA以及R或r的離散點，這些方法使用Osman(2001)的數據庫預測Bob。11

圖3基于Osman數據庫的所有建模法和經驗公式法預測Bob的平均絕對相對誤差和相關系數 我們注意到支持向量回歸機建模法落在圖形的左上部分，EA=1.368%和r=0.9884，而神經網絡次之，EA=1.7886%和r=0.9878，其余的經驗公式則有更高的誤差且更低的相關系數。例如，AL-Marhoun(1992)的EA=2.2053%，r=0.9806，Standing(1947)有EA=2.7238%和r=0.9742以及Glaso公式的EA=3.3743%，r=0.9715。圖4所示為同樣的圖形，只不過采用同樣的數據集和建模方法來預測bP。我們注意到支持向量回歸機建模法落在圖形的左上部分，EA=1.368%和R=0.9884，而神經網絡次之，EA=1.7886%和r=0.9878，其余的經驗公式則有更高的誤差且更低2的相關系數。例如，AL-Marhoun(1992)的EA=2.2053%，r=0.9806，Standing(1947)有EA=2.7238%和r=0.9742以及Glaso公式的EA=3.3743%，r=0.9715。

圖4基于Osman數據庫的所有建模法和經驗公式法預測Pb的平均絕對相對誤差和相關系數 我們也對其他數據集重復了同樣的執行過程，但為了簡便起見，本文并沒有包括這些內容。這些數據集是Al-Marhoun(1988,1992)和Al-Marhoun&Osman(2002)以及Osman&Abdel-Aal(2002)。

圖5-10所示為使用三個不同的數據集的試驗數據對bpp和Bob所得預測結果的六張離散圖形。這些交叉點說明了基于支持向量回歸機的高性能試驗值和預測值之間的吻合程度。讀者可以對已發表的神經網絡建模法和最著名的經驗公式進行比較。最后，我們的結論是支持向量回歸集建模法相比其他著名的建模法和經驗公式有更好的性能和更高的穩定性。

在預測bpp和Bob時支持向量機優于標準前向神經網絡和最常用的經驗公式，其中使用4個輸入數據：油氣比，油儲溫度，煤氣比重和煤氣相對密度。

圖5 基于Osman數據庫的支持向量回歸機預測Pb和Bob的平均交會圖

圖6 基于Osman數據庫的支持向量回歸機預測bP或bPP的平均交會圖

圖 7 基于Al-Marhoun,Osman和Osman&Abdel-Abal數據集支持向量回歸機預測Bo的交會圖

圖 8 基于Al-Marhoun,Osman和Osman&Abdel-Abal數據集支持向量回歸機預測bP的交會圖

圖 9 基于已有數據集(Al-Marhoun)支持向量回歸機預測Bo的交會圖

圖 10基于已有數據集(Al-Marhoun)支持向量回歸機預測bP的交會圖

6結論和建議

在本研究中，我們使用三種不同的數據集來考察支持向量回歸機作為一種新型模式在預測原油系統PVT參數過程中的能力。基于得到的結果和比對研究，我們得出如下結論：

我們使用支持向量回歸機及4個輸入變量來預測起泡點壓力和石油形成層參數。這4個變量分別是：油氣比，油儲溫度，石油比重和煤氣相對密度。在石油工程領域，這兩個參數被認為是原油系統PVT參數中最重要的。

成熟的支持向量回歸機建模法優于標準前向神經網絡和最常用的經驗公式。因此，該方法相比其他方法有著更好，更有效和更可靠的性能。另外，該方法在預測Bob值時以其穩定的性能表現出了很高的準確性，同時得到最低的絕對相對百分誤差，最低的最小誤差，最低的最大誤差，最低的根均方誤差和最大的相關系數。因此，支持向量回歸機建模法在油氣工業中應用靈活，可靠并有著很好的發展前景。特別是在滲透率，孔隙率，歷史匹配，預測巖石機械參數，流型，液體停止多相流和巖相分類中。

參數命名

Bob 起泡點壓力附近的OFVF, RB/STB Rs 油氣比，SCF/STB T 油儲溫度，華氏溫度

r0 石油相對密度（水為1.0）

rg 煤氣相對密度（空氣為1.0）

Er平均相對百分誤差 Ei 相對百分誤差

Ea平均絕對百分相對誤差 Emax 最大絕對百分相對誤差 Emin 最小絕對百分相對誤差

RMS 均方根誤差

第四篇：支持向量機二-拉格朗日對偶問題

支持向量機SVM---拉格朗日乘子 一

參考文檔

周志華《機器學習》 鄭潔的 《機器學習》 李航 《統計學習方法》

一

前言

通過上一章，我們得到SVM求解的問題

那如何根據輸入的訓練參數 獲得w, b 呢，這里通過拉格朗日對偶問題求解這個問題，并給出算法推導過程

二

拉格朗日對偶問題

上面的問題，可以通過拉格朗日對偶變換，找到更有效的求解方案

式1

L對w, b分別求偏導數

式2 把 式2帶入式一可得到

四

求解問題簡化

上面當a = 0 的時候，f(x)為無效，a>0 的時候，yif(Xi)-1 =0 必定是一個支持向量機

五 分類器函數

六

例子

如圖上，A,B, C三點通過拉格朗日對偶問題求出答案 Step 1 KKT 條件

第五篇：程序員機試題目

開發環境：VS2010、SQL Server2008

開發語言：C#

使用框架：ASP.NET、ADO.NET

一、使用經典三層架構完成web頁面的用戶登錄，數據庫、頁面自行設計實現（30分鐘）

要求：

（1）提供多個賬號可以登錄

（2）用戶錄入錯誤信息時能夠進行提示

（3）能對以后的其他業務功能提供用戶身份的驗證

二、使用dotNet4.0中的ListView、DataPager控件完成數據庫端的分頁查詢，數據庫端自行設計實現（1小時）

要求：

（1）數據表結構可以使用

（一）中的用戶信息

（2）分頁必須使用數據庫端分頁

（3）使用的控件必須是ASP.NET 4.0提供的ListView、DataPager

控件

（4）頁面只完成數據查詢顯示即可

（5）可上網查找相關的資料