神經(jīng)網(wǎng)絡(luò)算法

 　　神經(jīng)網(wǎng)絡(luò)

　　思維學(xué)普遍認(rèn)為，人類(lèi)大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

　　人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個(gè)非線(xiàn)性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。

　　神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。主要的研究工作集中在以下幾個(gè)方面：

　　（1）生物原型研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。

　?。?）建立理論模型。根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識(shí)模型、物理化學(xué)模型、數(shù)學(xué)模型等。

　　（3）網(wǎng)絡(luò)模型與算法研究。在理論模型研究的基礎(chǔ)上構(gòu)作具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計(jì)算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也稱(chēng)為技術(shù)模型研究。

　?。?）人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)，例如，完成某種信號(hào)處理或模式識(shí)別的功能、構(gòu)造專(zhuān)家系統(tǒng)、制成機(jī)器人等等。

　　縱觀當(dāng)代新興科學(xué)技術(shù)的發(fā)展歷史，人類(lèi)在征服宇宙空間、基本粒子，生命起源等科學(xué)技術(shù)領(lǐng)域的進(jìn)程中歷經(jīng)了崎嶇不平的道路。我們也會(huì)看到，探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。

　　人工神經(jīng)網(wǎng)絡(luò)

　　人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANN）系統(tǒng)是20世紀(jì)40年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)。BP（BackPropagation）算法又稱(chēng)為誤差反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)算法在理論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線(xiàn)性變化單元組成，具有很強(qiáng)的非線(xiàn)性映射能力。而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，在優(yōu)化、信號(hào)處理與模式識(shí)別、智能控制、故障診斷等許多領(lǐng)域都有著廣泛的應(yīng)用前景。

　　工作原理

　　人工神經(jīng)元的研究起源于腦神經(jīng)元學(xué)說(shuō)。19世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說(shuō)。人們認(rèn)識(shí)到復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個(gè)以上的神經(jīng)元，每立方毫米約有數(shù)萬(wàn)個(gè)，它們互相聯(lián)結(jié)形成神經(jīng)網(wǎng)絡(luò)，通過(guò)感覺(jué)器官和神經(jīng)接受來(lái)自身體內(nèi)外的各種信息，傳遞至中樞神經(jīng)系統(tǒng)內(nèi)，經(jīng)過(guò)對(duì)信息的分析和綜合，再通過(guò)運(yùn)動(dòng)神經(jīng)發(fā)出控制信息，以此來(lái)實(shí)現(xiàn)機(jī)體與內(nèi)外環(huán)境的聯(lián)系，協(xié)調(diào)全身的各種機(jī)能活動(dòng)。

　　神經(jīng)元也和其他類(lèi)型的細(xì)胞一樣，包括有細(xì)胞膜、細(xì)胞質(zhì)和細(xì)胞核。但是神經(jīng)細(xì)胞的形態(tài)比較特殊，具有許多突起，因此又分為細(xì)胞體、軸突和樹(shù)突三部分。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息。樹(shù)突是作為引入輸入信號(hào)的突起，而軸突是作為輸出端的突起，它只有一個(gè)。

　　樹(shù)突是細(xì)胞體的延伸部分，它由細(xì)胞體發(fā)出后逐漸變細(xì)，全長(zhǎng)各部位都可與其他神經(jīng)元的軸突末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通，它只是發(fā)生信息傳遞功能的結(jié)合部，聯(lián)系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性?xún)煞N類(lèi)型，它相應(yīng)于神經(jīng)元之間耦合的極性。每個(gè)神經(jīng)元的突觸數(shù)目正常，最高可達(dá)10個(gè)。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲(chǔ)信息的功能。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。

　　人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件——神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線(xiàn)性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡(jiǎn)單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。

　　人工神經(jīng)網(wǎng)絡(luò)反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡(jiǎn)化和抽象。

　　與數(shù)字計(jì)算機(jī)比較，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或過(guò)程控制。

　　人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)于寫(xiě)“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。

　　所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門(mén)限比較、再進(jìn)行非線(xiàn)性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。

　　如果輸出為“0”(即結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫(xiě)字母“A”、“B”后，經(jīng)過(guò)網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。一般說(shuō)來(lái)，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。

　　特點(diǎn)

　?。?）人類(lèi)大腦有很強(qiáng)的自適應(yīng)與自組織特性，后天的學(xué)習(xí)與訓(xùn)練可以開(kāi)發(fā)許多各具特色的活動(dòng)功能。如盲人的聽(tīng)覺(jué)和觸覺(jué)非常靈敏；聾啞人善于運(yùn)用手勢(shì)；訓(xùn)練有素的運(yùn)動(dòng)員可以表現(xiàn)出非凡的運(yùn)動(dòng)技巧等等。

　　普通計(jì)算機(jī)的功能取決于程序中給出的知識(shí)和能力。顯然，對(duì)于智能活動(dòng)要通過(guò)總結(jié)編制程序?qū)⑹掷щy。

　　人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過(guò)程中改變突觸權(quán)重值，以適應(yīng)周?chē)h(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以致超過(guò)設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱(chēng)有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類(lèi)或模仿；另一種是無(wú)監(jiān)督學(xué)習(xí)或稱(chēng)無(wú)為導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。

　?。?）泛化能力

　　泛化能力指對(duì)沒(méi)有訓(xùn)練過(guò)的樣本，有很好的預(yù)測(cè)能力和控制能力。特別是，當(dāng)存在一些有噪聲的樣本，網(wǎng)絡(luò)具備很好的預(yù)測(cè)能力。

　　(3)非線(xiàn)性映射能力

　　當(dāng)對(duì)系統(tǒng)對(duì)于設(shè)計(jì)人員來(lái)說(shuō)，很透徹或者很清楚時(shí)，則一般利用數(shù)值分析，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對(duì)系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時(shí)，建立精確的數(shù)學(xué)模型很困難時(shí)，神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性映射能力則表現(xiàn)出優(yōu)勢(shì)，因?yàn)樗恍枰獙?duì)系統(tǒng)進(jìn)行透徹的了解，但是同時(shí)能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡(jiǎn)化設(shè)計(jì)的難度。

　　(4)高度并行性

　　并行性具有一定的爭(zhēng)議性。承認(rèn)具有并行性理由：神經(jīng)網(wǎng)絡(luò)是根據(jù)人的大腦而抽象出來(lái)的數(shù)學(xué)模型，由于人可以同時(shí)做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡(luò)也應(yīng)具備很強(qiáng)的并行性。

　　多少年以來(lái)，人們從醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知學(xué)、組織協(xié)同學(xué)等各個(gè)角度企圖認(rèn)識(shí)并解答上述問(wèn)題。在尋找上述問(wèn)題答案的研究過(guò)程中，這些年來(lái)逐漸形成了一個(gè)新興的多學(xué)科交叉技術(shù)領(lǐng)域，稱(chēng)之為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域，這些領(lǐng)域互相結(jié)合、相互滲透并相互推動(dòng)。不同領(lǐng)域的科學(xué)家又從各自學(xué)科的興趣與特色出發(fā)，提出不同的問(wèn)題，從不同的角度進(jìn)行研究。

　　下面將人工神經(jīng)網(wǎng)絡(luò)與通用的計(jì)算機(jī)工作特點(diǎn)來(lái)對(duì)比一下：

　　若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠(yuǎn)低于計(jì)算機(jī)，前者為毫秒量級(jí)，而后者的頻率往往可達(dá)幾百兆赫。但是，由于人腦是一個(gè)大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問(wèn)題上可以作出快速判斷、決策和處理，其速度則遠(yuǎn)高于串行結(jié)構(gòu)的普通計(jì)算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。

　　人腦存貯信息的特點(diǎn)為利用突觸效能的變化來(lái)調(diào)整存貯內(nèi)容，也即信息存貯在神經(jīng)元之間連接強(qiáng)度的分布上，存貯區(qū)與計(jì)算機(jī)區(qū)合為一體。雖然人腦每日有大量神經(jīng)細(xì)胞死亡（平均每小時(shí)約一千個(gè)），但不影響大腦的正常思維活動(dòng)。

　　普通計(jì)算機(jī)是具有相互獨(dú)立的存貯器和運(yùn)算器，知識(shí)存貯與數(shù)據(jù)運(yùn)算互不相關(guān)，只有通過(guò)人編出的程序使之溝通，這種溝通不能超越程序編制者的預(yù)想。元器件的局部損壞及程序中的微小錯(cuò)誤都可能引起嚴(yán)重的失常。

　　應(yīng)用及發(fā)展

　　心理學(xué)家和認(rèn)知科學(xué)家研究神經(jīng)網(wǎng)絡(luò)的目的在于探索人腦加工、儲(chǔ)存和搜索信息的機(jī)制，弄清人腦功能的機(jī)理，建立人類(lèi)認(rèn)知過(guò)程的微結(jié)構(gòu)理論。

　　生物學(xué)、醫(yī)學(xué)、腦科學(xué)專(zhuān)家試圖通過(guò)神經(jīng)網(wǎng)絡(luò)的研究推動(dòng)腦科學(xué)向定量、精確和理論化體系發(fā)展，同時(shí)也寄希望于臨床醫(yī)學(xué)的新突破；信息處理和計(jì)算機(jī)科學(xué)家研究這一問(wèn)題的目的在于尋求新的途徑以解決不能解決或解決起來(lái)有極大困難的大量問(wèn)題，構(gòu)造更加逼近人腦功能的新一代計(jì)算機(jī)。

　　人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至上世紀(jì)40年代。下面以時(shí)間順序，以著名的人物或某一方面突出的研究成果為線(xiàn)索，簡(jiǎn)要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史。

　　1943年，心理學(xué)家W·Mcculloch和數(shù)理邏輯學(xué)家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進(jìn)展。因而，他們兩人可稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。

　　1945年馮·諾依曼領(lǐng)導(dǎo)的設(shè)計(jì)小組試制成功存儲(chǔ)程序式電子計(jì)算機(jī)，標(biāo)志著電子計(jì)算機(jī)時(shí)代的開(kāi)始。1948年，他在研究工作中比較了人腦結(jié)構(gòu)與存儲(chǔ)程序式計(jì)算機(jī)的根本區(qū)別，提出了以簡(jiǎn)單神經(jīng)元構(gòu)成的再生自動(dòng)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)。但是，由于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻(xiàn)。雖然，馮·諾依曼的名字是與普通計(jì)算機(jī)聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。

　　50年代末，F(xiàn)·Rosenblatt設(shè)計(jì)制作了“感知機(jī)”，它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐。當(dāng)時(shí)，世界上許多實(shí)驗(yàn)室仿效制作感知機(jī)，分別應(yīng)用于文字識(shí)別、聲音識(shí)別、聲納信號(hào)識(shí)別以及學(xué)習(xí)記憶問(wèn)題的研究。然而，這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因?yàn)楫?dāng)時(shí)數(shù)字計(jì)算機(jī)的發(fā)展處于全盛時(shí)期，許多人誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、模式識(shí)別、專(zhuān)家系統(tǒng)等方面的一切問(wèn)題，使感知機(jī)的工作得不到重視；其次，當(dāng)時(shí)的電子技術(shù)工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大，價(jià)格昂貴，要制作在規(guī)模上與真實(shí)的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的；另外，在1968年一本名為《感知機(jī)》的著作中指出線(xiàn)性感知機(jī)功能是有限的，它不能解決如異感這樣的基本問(wèn)題，而且多層網(wǎng)絡(luò)還不能找到有效的計(jì)算方法，這些論點(diǎn)促使大批研究人員對(duì)于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。60年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。

　　另外，在60年代初期，Widrow提出了自適應(yīng)線(xiàn)性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線(xiàn)性加權(quán)求和閾值網(wǎng)絡(luò)。后來(lái)，在此基礎(chǔ)上發(fā)展了非線(xiàn)性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時(shí)，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱(chēng)，而實(shí)際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。

　　隨著人們對(duì)感知機(jī)興趣的衰退，神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長(zhǎng)的時(shí)間。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平，完全付諸實(shí)用化，此外，數(shù)字計(jì)算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示，向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時(shí)機(jī)已經(jīng)成熟。美國(guó)的物理學(xué)家Hopfield于1982年和1984年在美國(guó)科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響。人們重新認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實(shí)性。隨即，一大批學(xué)者和研究人員圍繞著Hopfield提出的方法展開(kāi)了進(jìn)一步的工作，形成了80年代中期以來(lái)人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。

　　1985年，Ackley、Hinton和Sejnowski將模擬退火算法應(yīng)用到神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，提出了Boltzmann機(jī)，該算法具有逃離極值的優(yōu)點(diǎn)，但是訓(xùn)練時(shí)間需要很長(zhǎng)。

　　1986年，Rumelhart、Hinton和Williams提出了多層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，即BP算法。它從證明的角度推導(dǎo)算法的正確性，是學(xué)習(xí)算法有理論依據(jù)。從學(xué)習(xí)算法角度上看，是一個(gè)很大的進(jìn)步。

　　1988年，Broomhead和Lowe第一次提出了徑向基網(wǎng)絡(luò)：RBF網(wǎng)絡(luò)。

　　總體來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了從高潮到低谷，再到高潮的階段，充滿(mǎn)曲折的過(guò)程。