第一篇：神經(jīng)網(wǎng)絡(luò)應(yīng)用

神經(jīng)網(wǎng)絡(luò)是新技術(shù)領(lǐng)域中的一個時尚詞匯。很多人聽過這個詞，但很少人真正明白它是什么。本文的目的是介紹所有關(guān)于神經(jīng)網(wǎng)絡(luò)的基本包括它的功能、一般結(jié)構(gòu)、相關(guān)術(shù)語、類型及其應(yīng)用。

“神經(jīng)網(wǎng)絡(luò)”這個詞實際是來自于生物學(xué)，而我們所指的神經(jīng)網(wǎng)絡(luò)正確的名稱應(yīng)該是“人工神經(jīng)網(wǎng)絡(luò)（ANNs）”。在本文，我會同時使用這兩個互換的術(shù)語。

一個真正的神經(jīng)網(wǎng)絡(luò)是由數(shù)個至數(shù)十億個被稱為神經(jīng)元的細(xì)胞（組成我們大腦的微小細(xì)胞）所組成，它們以不同方式連接而型成網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)就是嘗試模擬這種生物學(xué)上的體系結(jié)構(gòu)及其操作。在這里有一個難題：我們對生物學(xué)上的神經(jīng)網(wǎng)絡(luò)知道的不多！因此，不同類型之間的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有很大的不同，我們所知道的只是神經(jīng)元基本的結(jié)構(gòu)。

The neuron

雖然已經(jīng)確認(rèn)在我們的大腦中有大約50至500種不同的神經(jīng)元，但它們大部份都是基于基本神經(jīng)元的特別細(xì)胞。基本神經(jīng)元包含有synapses、soma、axon及dendrites。Synapses負(fù)責(zé)神經(jīng)元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經(jīng)元跳到另一個神經(jīng)元。然后這些電子訊號會交給soma處理及以其內(nèi)部電子訊號將處理結(jié)果傳遞給axon。而axon會將這些訊號分發(fā)給dendrites。最后，dendrites帶著這些訊號再交給其它的synapses，再繼續(xù)下一個循環(huán)。

如同生物學(xué)上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡(luò)也有基本的神經(jīng)元。每個神經(jīng)元有特定數(shù)量的輸入，也會為每個神經(jīng)元設(shè)定權(quán)重（weight）。權(quán)重是對所輸入的資料的重要性的一個指標(biāo)。然后，神經(jīng)元會計算出權(quán)重合計值（net value），而權(quán)重合計值就是將所有輸入乘以它們的權(quán)重的合計。每個神經(jīng)元都有它們各自的臨界值（threshold），而當(dāng)權(quán)重合計值大于臨界值時，神經(jīng)元會輸出1。相反，則輸出0。最后，輸出會被傳送給與該神經(jīng)元連接的其它神經(jīng)元繼續(xù)剩余的計算。

Learning

正如上述所寫，問題的核心是權(quán)重及臨界值是該如何設(shè)定的呢？世界上有很多不同的訓(xùn)練方式，就如網(wǎng)絡(luò)類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓(xùn)練模式。

由于結(jié)構(gòu)體系的不同，訓(xùn)練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別它們可以被分為分類式或聯(lián)想式。分類式網(wǎng)絡(luò)可以接受一組數(shù)，然后將其分類。例如ONR程序接受一個數(shù)字的影象而輸出這個數(shù)字。或者PPDA32程序接受一個坐標(biāo)而將它分類成A類或B類（類別是由所提供的訓(xùn)練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達(dá)，該雷達(dá)可以分別出車輛或樹。

聯(lián)想模式接受一組數(shù)而輸出另一組。例如HIR程序接受一個?臟?圖像而輸出一個它所學(xué)過而最接近的一個圖像。聯(lián)想模式更可應(yīng)用于復(fù)雜的應(yīng)用程序，如簽名、面部、指紋識別等。

The Ups and Downs of Neural Networks

神經(jīng)網(wǎng)絡(luò)在這個領(lǐng)域中有很多優(yōu)點，使得它越來越流行。它在類型分類/識別方面非常出色。神經(jīng)網(wǎng)絡(luò)可以處理例外及不正常的輸入數(shù)據(jù)，這對于很多系統(tǒng)都很重要（例如雷達(dá)及聲波定位系統(tǒng)）。很多神經(jīng)網(wǎng)絡(luò)都是模仿生物神經(jīng)網(wǎng)絡(luò)的，即是他們仿照大腦的運作方式工作。神經(jīng)網(wǎng)絡(luò)也得助于神經(jīng)系統(tǒng)科學(xué)的發(fā)展，使它可以像人類一樣準(zhǔn)確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在...是的，神經(jīng)網(wǎng)絡(luò)也有些不好的地方。這通常都是因為缺乏足夠強大的硬件。神經(jīng)網(wǎng)絡(luò)的力量源自于以并行方式處理資訊，即是同時處理多項數(shù)據(jù)。因此，要一個串行的機器模擬并行處理是非常耗時的。

神經(jīng)網(wǎng)絡(luò)的另一個問題是對某一個問題構(gòu)建網(wǎng)絡(luò)所定義的條件不足-有太多因素需要考慮：訓(xùn)練的算法、體系結(jié)構(gòu)、每層的神經(jīng)元個數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負(fù)擔(dān)重復(fù)的開發(fā)神經(jīng)網(wǎng)絡(luò)去有效地解決問題。

NN 神經(jīng)網(wǎng)絡(luò)，Neural Network

ANNs 人工神經(jīng)網(wǎng)絡(luò)，Artificial Neural Networks

neurons 神經(jīng)元

synapses 神經(jīng)鍵

self-organizing networks 自我調(diào)整網(wǎng)絡(luò)

networks modelling thermodynamic properties 熱動態(tài)性網(wǎng)絡(luò)模型

網(wǎng)格算法我沒聽說過

好像只有網(wǎng)格計算這個詞

網(wǎng)格計算是伴隨著互聯(lián)網(wǎng)技術(shù)而迅速發(fā)展起來的，專門針對復(fù)雜科學(xué)計算的新型計算模式。這種計算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個“虛擬的超級計算機”，其中每一臺參與計算的計算機就是一個“節(jié)點”，而整個計算是由成千上萬個“節(jié)點”組成的“一張網(wǎng)格”，所以這種計算方式叫網(wǎng)格計算。這樣組織起來的“虛擬的超級計算機”有兩個優(yōu)勢，一個是數(shù)據(jù)處理能力超強；另一個是能充分利用網(wǎng)上的閑置處理能力。簡單地講，網(wǎng)格是把整個網(wǎng)絡(luò)整合成一臺巨大的超級計算機，實現(xiàn)計算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源的全面共享。

第二篇：水利水電中神經(jīng)網(wǎng)絡(luò)應(yīng)用

神經(jīng)網(wǎng)絡(luò)在水環(huán)境保護中的應(yīng)用綜述

摘 要：對神經(jīng)網(wǎng)絡(luò)在水質(zhì)評價、水質(zhì)預(yù)測等水環(huán)境保護方面的研究現(xiàn)狀、發(fā)展趨勢進(jìn)行了綜述，得出結(jié)論：神經(jīng)網(wǎng)絡(luò)用于水環(huán)境保護具有深入開發(fā)的研究價值和良好的應(yīng)用前景。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；水環(huán)境保護；應(yīng)用

1.我國水環(huán)境現(xiàn)狀

2010年，全國廢水排放總量為758億t，由于處理率較低（約20%），排入排入自然水體中的污染物數(shù)量遠(yuǎn)遠(yuǎn)超過水體的自凈能力，對自然水體造成嚴(yán)重污染。但總體排放量比上年有所降低。工業(yè)廢水排放總量、生活污水排放量均有所下降，我們的環(huán)境向好的方向一直發(fā)展。2010年廢水排放總量與上年相比有所減少，化學(xué)需氧量排放與上年基本持平。

1.1河流水質(zhì)

2010年對約1.5*103km的河流水質(zhì)進(jìn)行了檢測評價。一類水河長占評價河長的3.5%，二類水河長占評價河長的31.8%，三類水河長占25.9%，四類水河長占11.4%，五類水河長占6.8%，劣五類水河長占20.6%。全國全年一—三類水河長比例為61.2%。與2007年基本持平。各水資源一級區(qū)中，西南諸河區(qū)、西北諸河區(qū)、長江區(qū)、珠江區(qū)和東南諸河區(qū)水質(zhì)較好，符合優(yōu)于三類水河長占64%—95%；海河區(qū)、黃河區(qū)、淮河區(qū)、遼河區(qū)和松花江區(qū)水質(zhì)較差，符合由于三類水的河長占35%—47%。

1.2湖泊水質(zhì)

2010年對44個湖泊的水質(zhì)進(jìn)行檢測評價表明，水質(zhì)符合由于三類水的面積占44.2%，四類和五類水的面積占32.5%，劣五類水的面積占23.3%。對44個湖泊的營養(yǎng)狀態(tài)檢測為貧營養(yǎng)湖泊有1個，中營養(yǎng)湖泊有22個，輕度富營養(yǎng)湖泊有10個，中度富營養(yǎng)湖泊有11個。

1.3水庫水質(zhì)

2010年在檢測評價的378座水庫，水質(zhì)優(yōu)良（優(yōu)于和符合三類地表水質(zhì)）的水庫有303座，占評價水庫總數(shù)的80.2%；水質(zhì)未達(dá)到三類水的水庫有75座，占評價水庫總數(shù)的19.8%，其中水質(zhì)為劣五類水的水庫有16座。對347座水庫的營養(yǎng)狀態(tài)進(jìn)行評價，中營養(yǎng)水庫有241座，輕度富營養(yǎng)水庫86座，中度富營養(yǎng)水庫18座，重度富營養(yǎng)水庫2座。

2.神經(jīng)網(wǎng)絡(luò)的簡介

人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）和之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達(dá)。

人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖：

BP神經(jīng)網(wǎng)絡(luò)就是倒傳播網(wǎng)絡(luò)，是最簡單的多層神經(jīng)網(wǎng)絡(luò)，也是人工神經(jīng)網(wǎng)絡(luò)中最具備代表性和廣泛性的一種神經(jīng)網(wǎng)絡(luò)。他是由非線性變換單元組成的網(wǎng)絡(luò)，一般由三個神經(jīng)元層次組成，輸入層，輸出層，隱含層。BP網(wǎng)絡(luò)的基本原理是利用最陡坡降法將誤差函數(shù)減小到最小。目前應(yīng)用的比較成功的BP網(wǎng)絡(luò)實例有：自來水廠誰知處理操作、電子電路診斷、質(zhì)問識別、股票市場預(yù)測等。BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如下圖所示：

3.神經(jīng)網(wǎng)絡(luò)在水質(zhì)評價中的應(yīng)用

水質(zhì)評價是水資源開發(fā)利用的一項重要工作，水質(zhì)評價方法是現(xiàn)代環(huán)境科學(xué)基礎(chǔ)理論研究的重要課題。目前，用于水環(huán)境質(zhì)量評價的模型較多，國內(nèi)外學(xué)者廣泛關(guān)注，先后提出特征法、參數(shù)法、生物指標(biāo)法、灰色聚類法和模糊綜合評判法 J，但在這些方法中，多數(shù)需要設(shè)計各評價指標(biāo)對各級標(biāo)準(zhǔn)的隸屬函數(shù)及各指標(biāo)的權(quán)重。因此，評價結(jié)果受評價者主觀因素影響較大。依據(jù)水質(zhì)標(biāo)準(zhǔn)進(jìn)行水環(huán)境質(zhì)量評價，實質(zhì)上是一個典型的模式識別問題，人工神經(jīng)網(wǎng)絡(luò)理論在模式識別方面取得了重大進(jìn)展。

水質(zhì)詳評是選擇擬建項目的經(jīng)濟與水質(zhì)相協(xié)調(diào)的最佳方案，以解決項目相關(guān)的水質(zhì)問題。水質(zhì)詳評的核心內(nèi)容是水質(zhì)預(yù)測，水質(zhì)預(yù)測廣泛應(yīng)用了神經(jīng)網(wǎng)絡(luò)的方法。

水質(zhì)評價的目的，就是對照一定的環(huán)境質(zhì)量標(biāo)準(zhǔn)，確定水體所屬類別及其所具備的使用功能，同時，找出影響水質(zhì)的主要污染因素，從而為水環(huán)境管理提供科學(xué)依據(jù)。人工神經(jīng)網(wǎng)絡(luò)BP模型具有很強的分類功能，可以完成水質(zhì)評價中類別的評判。設(shè)有N維向量共m類，分別記為Gi(i=1，2，…，M)，向量Y0輸入網(wǎng)絡(luò)后，輸出向量Ym的各分量應(yīng)滿足：當(dāng)Y0屬于第Gi類時，則yi=1，其他分量為0，從而實現(xiàn)了分類功能。若將水質(zhì)評價中的環(huán)境質(zhì)量標(biāo)準(zhǔn)做為樣本輸入，評價結(jié)果作為系統(tǒng)輸出，網(wǎng)絡(luò)通過LM算法不斷學(xué)習(xí)，歸納出其中規(guī)律，由此得到的網(wǎng)絡(luò)便具有了聯(lián)想和預(yù)測能力，從而可實現(xiàn)水質(zhì)綜合評價中類別的判定。

水質(zhì)評價是一個典型的模式識別問題。BP網(wǎng)絡(luò)技術(shù)在模式識別方面已表現(xiàn)出了很好的特性[1,2 ]。因此 ,可以將水質(zhì)評價中的評價標(biāo)準(zhǔn)作為樣本輸入 ,評價級別作為網(wǎng)絡(luò)輸出 ,BP網(wǎng)絡(luò)通過不斷學(xué)習(xí),歸納出評價標(biāo)準(zhǔn)與評價級別間復(fù)雜的內(nèi)在對應(yīng)關(guān)系。利用這樣的網(wǎng)絡(luò)模型即可進(jìn)行水質(zhì)綜合評價。

4.神經(jīng)網(wǎng)絡(luò)在水質(zhì)預(yù)測中的應(yīng)用

近年來,人工神經(jīng)網(wǎng)絡(luò)技術(shù)逐漸被用來解決水文預(yù)測問題,如 Donna M.Rizzo 和David E.Dougherty將人工神經(jīng)網(wǎng)絡(luò)與克立格法相結(jié)合,對含水層的特性問題進(jìn)行了探討;Hol2 ger R.Maier Graeme 和 C.Dandy對澳大利亞南部Murray 河上某段的水質(zhì)參數(shù)—礦化度進(jìn)行了預(yù)測,取得了一定成效。此外,費忠華等人運用模糊數(shù)學(xué)方法對撫州市地下水水質(zhì)進(jìn)行了評價,陳昌彥等人則應(yīng)用人工神經(jīng)網(wǎng)絡(luò)技術(shù)對地下水水質(zhì)的污染程度進(jìn)行了分類,且與運用綜合指數(shù)法、模糊綜合評判法和灰色聚類法等多種方法的分類結(jié)果進(jìn)行了比較,結(jié)果表明,神經(jīng)網(wǎng)絡(luò)技術(shù)與其它方法相比具有較強的處理矛盾樣本的能力,且預(yù)測精度較高。

5.小結(jié)

隨著經(jīng)濟社會的發(fā)展和人們對生活環(huán)境的要求的日益提高，應(yīng)用神經(jīng)網(wǎng)絡(luò)保護水環(huán)境的方法也越來越擺在了科技發(fā)展的突出位置。應(yīng)用神經(jīng)網(wǎng)絡(luò)保護水環(huán)境的問題也得到了越來越多的人的認(rèn)可與應(yīng)用，神經(jīng)網(wǎng)絡(luò)用于水環(huán)境保護具有深入開發(fā)的研究價值和良好的應(yīng)用前景。

參考文獻(xiàn)

[1] 胡伍生.神經(jīng)網(wǎng)絡(luò)理論及其工程應(yīng)用[M].北京: 測繪出版社,2006,63-83.[2] 王倫文,張玲.構(gòu)造型神經(jīng)網(wǎng)絡(luò)[J].模式識別與人工智能,2008,21(1):50-54.[3] 楊曉華, 楊志峰, 酈建強, 等.水環(huán)境質(zhì)量綜合評價的多目標(biāo)決策-理想?yún)^(qū)間法[J].水科學(xué)進(jìn)展, 2004, 15(2): 202-205.

第三篇：神經(jīng)網(wǎng)絡(luò)心得[定稿]

人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)心得

時間如白馬過隙，很快八周的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)即將結(jié)束，仿佛昨天才剛剛開始學(xué)習(xí)這門課程，在這段時間的學(xué)習(xí)中，我有起初對神經(jīng)網(wǎng)絡(luò)的不了解到現(xiàn)在的熟悉和掌握，這其中的變化，是我知識提高的過程。我在這個過程中有一些自己的體會和感想。

我是一名學(xué)習(xí)控制科學(xué)和工程的研究生，起初對于神經(jīng)網(wǎng)絡(luò)的認(rèn)識很膚淺，由于我相應(yīng)知識的欠缺，想要理解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)會很不容易。在開始的幾節(jié)課中，老師給我們講了神經(jīng)網(wǎng)絡(luò)的發(fā)展史、結(jié)構(gòu)和原理，當(dāng)時感覺有壓力、緊張。因為我感覺和生物的神經(jīng)學(xué)差不多，一開始接觸覺得它不是一門智能控制學(xué)，而是一門生物學(xué)，所以只能慢慢學(xué)習(xí)和理解，最終完成課程的學(xué)習(xí)。雖然相比于其他學(xué)過的課程，我對這門學(xué)科的了解稍微遜色點，但我還不是一個害怕困難的人，越是困難我越是會迎頭前進(jìn)的，不會倒下，去努力掌握這些知識。

接下來的幾周，是老師的授課過程，說實話老師講的論文我聽的不太懂，講的軟件的應(yīng)用也是一知半解……有種痛苦的感覺，好像什么也沒學(xué)到，問了其他同學(xué)，他們也有同樣的感覺，哦，原來都一樣啊，沒事，那就繼續(xù)堅持吧……

過了這個彷徨期，該是吶喊的時候了，該寫期末作業(yè)了，開始做題的時候還挺緊張，害怕題很難做，找了很多資料，照葫蘆畫瓢，硬著頭皮寫，寫完了之后有一點小小的成就感，我終于給做出來了，可當(dāng)時我們還是不知道如RBF網(wǎng)絡(luò)和BP網(wǎng)絡(luò)怎么應(yīng)用，只是有那么點熟悉，有那么點感覺。最重要的時刻到了，在課堂中老師提的問題，我顯得是那么生疏，滿臉的惆悵，對問題不知所措，迷茫與疲憊纏繞著我的身心。每次上課之前我都要花上一段時間去預(yù)習(xí)課程內(nèi)容，但是每次看的都是一臉迷茫，一知半解。老師所說的每一句話，我要想半天才會明白過來。這事我猜知道，基礎(chǔ)是多么的重要，而且我知道學(xué)習(xí)知識最重要的是要學(xué)會應(yīng)用和實踐。不然就只能只上談兵，但是一到應(yīng)用我就不知從何下手。因此，我知道我還有很長的路要走。

其中的辛酸與樂趣大概也只有一塊學(xué)習(xí)的學(xué)友們了解。在這近兩個月中我們體會到了堅持的力量。遇到問題，不能退縮，只能前進(jìn)。堅持就是勝利。問題只有在不斷的思考和學(xué)習(xí)中才能解決。同時，也能是自己得到提高。

經(jīng)過幾周的的學(xué)習(xí)我對神經(jīng)網(wǎng)絡(luò)的理解能力明顯有所提高。在神經(jīng)網(wǎng)絡(luò)中我們可以用跳躍性的思維去思考問題，這鍛煉了我們的跨越式思維，提高了我們的能力，增強了我們的自信心，在人生道路上選擇的關(guān)鍵時刻起了很大的作用，讓我們明白了獨立思考，開闊眼界，在科研方面所發(fā)揮的重要作用，使我們“學(xué)以致用，終生受益。

在此，我們要感謝授課的李曉強老師，謝謝李老師在這近兩個月來對我們的關(guān)心。通過這八周的學(xué)習(xí)，鍛煉了我的能力；增加了對人工神經(jīng)網(wǎng)絡(luò)知識的了解；提高了創(chuàng)新意識和解決問題的能力。

第四篇：BP神經(jīng)網(wǎng)絡(luò)實驗報告

BP神經(jīng)網(wǎng)絡(luò)實驗報告

一、實驗?zāi)康?、熟悉MATLAB中神經(jīng)網(wǎng)絡(luò)工具箱的使用方法；

2、通過在MATLAB下面編程實現(xiàn)BP網(wǎng)絡(luò)逼近標(biāo)準(zhǔn)正弦函數(shù)，來加深對BP網(wǎng)絡(luò)的了解和認(rèn)識，理解信號的正向傳播和誤差的反向傳遞過程。

二、實驗原理

由于傳統(tǒng)的感知器和線性神經(jīng)網(wǎng)絡(luò)有自身無法克服的缺陷，它們都不能解決線性不可分問題，因此在實際應(yīng)用過程中受到了限制。而BP網(wǎng)絡(luò)卻擁有良好的繁泛化能力、容錯能力以及非線性映射能力。因此成為應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)。

BP算法的基本思想是把學(xué)習(xí)過程分為兩個階段：第一階段是信號的正向傳播過程；輸入信息通過輸入層、隱層逐層處理并計算每個單元的實際輸出值；第二階段是誤差的反向傳遞過程；若在輸入層未能得到期望的輸出值，則逐層遞歸的計算實際輸出和期望輸出的差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值。這種過程不斷迭代，最后使得信號誤差達(dá)到允許或規(guī)定的范圍之內(nèi)。

基于BP算法的多層前饋型網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)如上圖所示。

BP算法的數(shù)學(xué)描述：三層BP前饋網(wǎng)絡(luò)的數(shù)學(xué)模型如上圖所示。三層前饋網(wǎng)中，輸入向量為：；隱層輸入向量為：；輸出層輸出向量為：；期望輸出向量為：。輸入層到隱層之間的權(quán)值矩陣用V表示，其中列向量為隱層第j個神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用W表示，其中列向量為輸出層第k個神經(jīng)元對應(yīng)的權(quán)向量。

下面分析各層信號之間的數(shù)學(xué)關(guān)系。

對于輸出層，有

對于隱層，有

以上兩式中，轉(zhuǎn)移函數(shù)f(x)均為單極性Sigmoid函數(shù)：

f(x)具有連續(xù)、可導(dǎo)的特點，且有

以上共同構(gòu)成了三層前饋網(wǎng)了的數(shù)學(xué)模型。

當(dāng)網(wǎng)絡(luò)輸出和期望輸出不相等時，存在輸出誤差E如下：

將以上誤差定義式展開至隱層，有

進(jìn)一步展開至輸入層，有

由上式可以看出，網(wǎng)絡(luò)輸入誤差是兩層權(quán)值W和V的函數(shù)，因此調(diào)整權(quán)值可以改變誤差E。

顯然，調(diào)整權(quán)值的原則是使誤差不斷的減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即：

式中負(fù)號表示梯度下降，常數(shù)表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率。

容易看出，BP學(xué)習(xí)算法中，各層權(quán)值調(diào)整公式形式上都是一樣的，均有3個因素決定，即：學(xué)習(xí)速率、本層誤差信號和本層輸入信號X/Y。其中輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)，直接反映了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。

三、程序

clc

clear

all

k=1;

n=10;

P=[-1:0.05:1];

T=sin(k*pi*P);

plot(P,T,＇-＇);

title(＇要逼近的非線性函數(shù)＇);

xlabel(＇輸入向量＇);

ylabel(＇非線性函數(shù)目標(biāo)輸出向量＇);

net=newff(minmax(P),[n,1],{＇tansig＇,＇purelin＇},＇trainlm＇);

y1=sim(net,P);

net.trainParam.epochs=50;

net.trainParam.goal=0.01;

net=train(net,P,T);

y2=sim(net,P);

figure;

plot(P,T,＇-＇,P,y1,＇--＇,P,y2,＇*＇);

title(＇訓(xùn)練前后的網(wǎng)絡(luò)仿真結(jié)果對比＇);

xlabel(＇輸入向量＇);

ylabel(＇輸出向量＇);

legend(＇目標(biāo)函數(shù)輸出向量＇,＇未訓(xùn)練BP網(wǎng)絡(luò)輸出＇,＇已訓(xùn)練BP網(wǎng)絡(luò)輸出＇);

仿真結(jié)果如下圖：

由仿真結(jié)果圖可以看出，未經(jīng)訓(xùn)練的BP網(wǎng)絡(luò)輸出與目標(biāo)函數(shù)差距很大，逼近效果不理想，而對BP網(wǎng)絡(luò)訓(xùn)練之后的輸出可以較精確的逼近目標(biāo)函數(shù)，并且BP網(wǎng)絡(luò)的訓(xùn)練迭代次數(shù)僅約1.2次，網(wǎng)絡(luò)的輸出目標(biāo)誤差就達(dá)到了精度要求，收斂速度很快。函數(shù)逼近效果、網(wǎng)絡(luò)訓(xùn)練的收斂速度與原始非線性函數(shù)的頻率、BP網(wǎng)絡(luò)隱含層單元神經(jīng)元的數(shù)目以及BP網(wǎng)絡(luò)訓(xùn)練函數(shù)有關(guān)。

四、實驗結(jié)論

通過編程實現(xiàn)使用BP網(wǎng)絡(luò)對函數(shù)進(jìn)行逼近，對BP網(wǎng)絡(luò)的信號和誤差傳遞的原理以及隱層、輸出層權(quán)值調(diào)整的規(guī)則有了充分的理解和認(rèn)識。

BP網(wǎng)絡(luò)是一個強大的工具，它是應(yīng)用最為廣泛的網(wǎng)絡(luò)。用于文字識別、模式分類、文字到聲音的轉(zhuǎn)換、圖像壓縮、決策支持等。

但是，通過實驗看出，它還是存在一定的不足。由于本實驗中采用的學(xué)習(xí)率是固定不變的，從而使得在函數(shù)逼近的時候在有些地方出現(xiàn)了偏離，如果能自適應(yīng)的調(diào)整學(xué)習(xí)率，使網(wǎng)絡(luò)在學(xué)習(xí)初期具有較大的學(xué)習(xí)率，以快速逼近函數(shù)，當(dāng)已經(jīng)逼近理想輸出時再使用較小的學(xué)習(xí)率，來更加精準(zhǔn)的去逼近函數(shù)，這樣會得到更好的逼近效果和更小的錯誤率。

另外，BP網(wǎng)絡(luò)還具有收斂速度慢、容易陷入局部極小值的問題。這些問題通過對標(biāo)準(zhǔn)BP算法的改進(jìn)能得到一定程度的解決。

第五篇：BP神經(jīng)網(wǎng)絡(luò)優(yōu)缺點

多層前向BP網(wǎng)絡(luò)是目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)形式, 但它也不是非常完美的, 為了更好的理解應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行問題求解, 這里對它的優(yōu)缺點展開討論: 多層前向BP網(wǎng)絡(luò)的優(yōu)點：

①網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機制復(fù)雜的問題；

②網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實例集自動提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力； ③網(wǎng)絡(luò)具有一定的推廣、概括能力。多層前向BP網(wǎng)絡(luò)的問題：

①BP算法的學(xué)習(xí)速度很慢，其原因主要有：

a 由于BP算法本質(zhì)上為梯度下降法，而它所要優(yōu)化的目標(biāo)函數(shù)又非常復(fù)雜，因此，必然會出現(xiàn)“鋸齒形現(xiàn)象”，這使得BP算法低效；

b 存在麻痹現(xiàn)象，由于優(yōu)化的目標(biāo)函數(shù)很復(fù)雜，它必然會在神經(jīng)元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權(quán)值誤差改變很小，使訓(xùn)練過程幾乎停頓；

c 為了使網(wǎng)絡(luò)執(zhí)行BP算法，不能用傳統(tǒng)的一維搜索法求每次迭代的步長，而必須把步長的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò)，這種方法將引起算法低效。

②網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大，其原因有：

a 從數(shù)學(xué)角度看，BP算法為一種局部搜索的優(yōu)化方法，但它要解決的問題為求解復(fù)雜非線性函數(shù)的全局極值，因此，算法很有可能陷入局部極值，使訓(xùn)練失敗；

b 網(wǎng)絡(luò)的逼近、推廣能力同學(xué)習(xí)樣本的典型性密切相關(guān)，而從問題中選取典型樣本實例組成訓(xùn)練集是一個很困難的問題。

③難以解決應(yīng)用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾。這涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學(xué)習(xí)復(fù)雜性問題；

④網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗選定。為此，有人稱神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇為一種藝術(shù)。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個重要的問題；

⑤新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個輸入樣本的特征的數(shù)目也必須相同； ⑥網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾。一般情況下，訓(xùn)練能力差時，預(yù)測能力也差，并且一定程度上，隨訓(xùn)練能力地提高，預(yù)測能力也提高。但這種趨勢有一個極限，當(dāng)達(dá)到此極限時，隨訓(xùn)練能力的提高，預(yù)測能力反而下降，即出現(xiàn)所謂“過擬合”現(xiàn)象。此時，網(wǎng)絡(luò)學(xué)習(xí)了過多的樣本細(xì)節(jié)，而不能反映樣本內(nèi)含的規(guī)律。優(yōu)點——

神經(jīng)網(wǎng)絡(luò)有很強的非線性擬合能力，可映射任意復(fù)雜的非線性關(guān)系，而且學(xué)習(xí)規(guī)則簡單，便于計算機實現(xiàn)。具有很強的魯棒性、記憶能力、非線性映射能力以及強大的自學(xué)習(xí)能力，因此有很大的應(yīng)用市場。

缺點——

（1）最嚴(yán)重的問題是沒能力來解釋自己的推理過程和推理依據(jù)。

（2）不能向用戶提出必要的詢問，而且當(dāng)數(shù)據(jù)不充分的時候，神經(jīng)網(wǎng)絡(luò)就無法進(jìn)行工作。

（3）把一切問題的特征都變?yōu)閿?shù)字，把一切推理都變?yōu)閿?shù)值計算，其結(jié)果勢必是丟失信息。

（4）理論和學(xué)習(xí)算法還有待于進(jìn)一步完善和提高。