當(dāng)前位置:首頁(yè) > 百科知識(shí) > 工控 > 正文

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,即ANN ),是20世紀(jì)80 年代以來(lái)人工智能領(lǐng)域興起的研究熱點(diǎn)。它從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象, 建立某種簡(jiǎn)單模型,按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型,由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù),稱為激勵(lì)函數(shù)(activation function)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值,稱之為權(quán)重,這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式,權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近,也可能是對(duì)一種邏輯策略的表達(dá)。

神經(jīng)元

  a1~an為輸入向量的各個(gè)分量

  w1~wn為神經(jīng)元各個(gè)突觸的權(quán)值

  b為偏置

  f為傳遞函數(shù),通常為非線性函數(shù)。以下默認(rèn)為hardlim()

  t為神經(jīng)元輸出

  數(shù)學(xué)表示 t=f(WA'+b)

  W為權(quán)向量

  A為輸入向量,A'為A向量的轉(zhuǎn)置

  b為偏置

  f為傳遞函數(shù)

  可見(jiàn),一個(gè)神經(jīng)元的功能是求得輸入向量與權(quán)向量的內(nèi)積后,經(jīng)一個(gè)非線性傳遞函數(shù)得到一個(gè)標(biāo)量結(jié)果。

  單個(gè)神經(jīng)元的作用:把一個(gè)n維向量空間用一個(gè)超平面分割成兩部分(稱之為判斷邊界),給定一個(gè)輸入向量,神經(jīng)元可以判斷出這個(gè)向量位于超平面的哪一邊。

  該超平面的方程: Wp+b=0

  W權(quán)向量

  b偏置

  p超平面上的向量

基本特征

  人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的,試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)具有四個(gè)基本特征:

 ?。?)非線性 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài),這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性

  關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能,可以提高容錯(cuò)性和存儲(chǔ)容量。

 ?。?)非局限性 一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征,而且可能主要由單元之間的相互作用、相互連接所決定。通過(guò)單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

 ?。?)非常定性 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化,而且在處理信息的同時(shí),非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過(guò)程描寫動(dòng)力系統(tǒng)的演化過(guò)程。

 ?。?)非凸性 一個(gè)系統(tǒng)的演化方向,在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如能量函數(shù),它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值,故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài),這將導(dǎo)致系統(tǒng)演化的多樣性。

  人工神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元處理單元可表示不同的對(duì)象,例如特征、字母、概念,或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類:輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù);輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出;隱單元是處在輸入和輸出單元之間,不能

  由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度,信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理 ,其本質(zhì)是通過(guò)網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能,并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、思維科學(xué)、人工智能、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科。

  人工神經(jīng)網(wǎng)絡(luò)是并行分布式系統(tǒng),采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理,克服了傳統(tǒng)的基于邏輯符號(hào)的人工智能在處理直覺(jué)、非結(jié)構(gòu)化信息方面的缺陷,具有自適應(yīng)、自組織和實(shí)時(shí)學(xué)習(xí)的特點(diǎn)。[1]

發(fā)展歷史

  1943年,心理學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型,稱為MP模型。他們通過(guò)MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法,證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能,從而開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。1949年,心理學(xué)家提出了突觸聯(lián)系強(qiáng)度可變的設(shè)想。60年代,人工神經(jīng)網(wǎng)絡(luò)得到了進(jìn)一步發(fā)展,更完善的神經(jīng)網(wǎng)絡(luò)模型被提出

  ,其中包括感知器和自適應(yīng)線性元件等。M.Minsky等仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后,于1969年出版了《Perceptron》一書(shū),指出感知器不能解決高階謂詞問(wèn)題。他們的論點(diǎn)極大地影響了神經(jīng)網(wǎng)絡(luò)的研究,加之當(dāng)時(shí)串行計(jì)算機(jī)和人工智能所取得的成就,掩蓋了發(fā)展新型計(jì)算機(jī)和人工智能新途徑的必要性和迫切性,使人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。在此期間,一些人工神經(jīng)網(wǎng)絡(luò)的研究者仍然致力于這一研究,提出了適應(yīng)諧振理論(ART網(wǎng))、自組織映射、認(rèn)知機(jī)網(wǎng)絡(luò),同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。1982年,美國(guó)加州工學(xué)院物理學(xué)家J.J.Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型,引入了“計(jì)算能量”概念,給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984年,他又提出了連續(xù)時(shí)間Hopfield神經(jīng)網(wǎng)絡(luò)模型,為神經(jīng)計(jì)算機(jī)的研究做了開(kāi)拓性的工作,開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑,有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究,1985年,又有學(xué)者提出了波耳茲曼模型,在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù),保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn)。1986年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究,提出了并行分布處理的理論。1986年,Rumelhart, Hinton, Williams發(fā)展了BP算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今,BP算法已被用于解決大量實(shí)際問(wèn)題。1988年,Linsker對(duì)感知機(jī)網(wǎng)絡(luò)提出了新的自組織理論,并在Shanon信息論的基礎(chǔ)上形成了最大互信息理論,從而點(diǎn)燃了基于NN的信息應(yīng)用理論的光芒。1988年,Broomhead和Lowe用徑向基函數(shù)(Radial basis function, RBF)提出分層網(wǎng)絡(luò)的設(shè)計(jì)方法,從而將NN的設(shè)計(jì)與數(shù)值分析和線性適應(yīng)濾波相掛鉤。90年代初,Vapnik等提出了支持向量機(jī)(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)維數(shù)的概念。人工神經(jīng)網(wǎng)絡(luò)的研究受到了各個(gè)發(fā)達(dá)國(guó)家的重視,美國(guó)國(guó)會(huì)通過(guò)決議將1990年1月5日開(kāi)始的十年定為“腦的十年”,國(guó)際研究組織號(hào)召它的成員國(guó)將“腦的十年”變?yōu)槿蛐袨?。在日本?ldquo;真實(shí)世界計(jì)算(RWC)”項(xiàng)目中,人工智能的研究成了一個(gè)重要的組成部分。
  特點(diǎn)優(yōu)點(diǎn)編輯

  人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性,主要表現(xiàn)在三個(gè)方面:

  第一,具有自學(xué)習(xí)功能。例如實(shí)現(xiàn)圖像識(shí)別時(shí),只在先把許多不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)就會(huì)通過(guò)自學(xué)習(xí)功能,慢慢學(xué)會(huì)識(shí)別類似的圖像。自學(xué)習(xí)功能對(duì)于預(yù)測(cè)有特別重要的意義。預(yù)期未來(lái)的人工神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)將為人類提供經(jīng)濟(jì)預(yù)測(cè)、市場(chǎng)預(yù)測(cè)、效益預(yù)測(cè),其應(yīng)用前途是很遠(yuǎn)大的。

  第二,具有聯(lián)想存儲(chǔ)功能。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。

  第三,具有高速尋找優(yōu)化解的能力。尋找一個(gè)復(fù)雜問(wèn)題的優(yōu)化解,往往需要很大的計(jì)算量,利用一個(gè)針對(duì)某問(wèn)題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò),發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力,可能很快找到優(yōu)化解。

研究方向

  神經(jīng)網(wǎng)絡(luò)的研究可以分為理論研究和應(yīng)用研究?jī)纱蠓矫妗?/p>

  理論研究可分為以下兩類:[4]

  1、利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維以及智能機(jī)理。

  2、利用神經(jīng)基礎(chǔ)理論的研究成果,用數(shù)理方法探索功能更加完善、性能更加優(yōu)

  越的神經(jīng)網(wǎng)絡(luò)模型,深入研究網(wǎng)絡(luò)算法和性能,如:穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等;開(kāi)發(fā)新的網(wǎng)絡(luò)數(shù)理理論,如:神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等。

  應(yīng)用研究可分為以下兩類:

  1、神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究。

  2、神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中應(yīng)用的研究。這些領(lǐng)域主要包括

  :模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、機(jī)器人控制等。隨著神經(jīng)網(wǎng)絡(luò)理論本身以及相關(guān)理論、相關(guān)技術(shù)的不斷發(fā)展,神經(jīng)網(wǎng)絡(luò)的應(yīng)用定將更加深入。

發(fā)展趨勢(shì)

  人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力,克服了傳統(tǒng)人工智能方法對(duì)于直覺(jué),如模式、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷,使之在神經(jīng)專家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合,將推動(dòng)人工智能和信息處理技術(shù)不斷發(fā)展。近年來(lái),人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展,與模糊系統(tǒng)、遺傳算法、進(jìn)化機(jī)制等結(jié)合,形成計(jì)算智能,成為人工智能的一個(gè)重要方向,將在實(shí)際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究,為人工神經(jīng)網(wǎng)絡(luò)的理論研究開(kāi)辟了新的途徑。神經(jīng)計(jì)算機(jī)的研究發(fā)展很快,已有產(chǎn)品進(jìn)入市場(chǎng)。光電結(jié)合的神經(jīng)計(jì)算機(jī)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。

  神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已得到了很好的應(yīng)用,但其需要研究的方面還很多。其中,具有分布存儲(chǔ)、并行處理、自學(xué)習(xí)、自組織以及非線性映射等優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)與其他技術(shù)的結(jié)合以及由此而來(lái)的混合方法和混合系統(tǒng),已經(jīng)成為一大研究熱點(diǎn)。由于其他方法也有它們各自的優(yōu)點(diǎn),所以將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合,取長(zhǎng)補(bǔ)短,繼而可以獲得更好的應(yīng)用效果。目前這方面工作有神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論、證據(jù)理論和灰色系統(tǒng)等的融合。

  下面主要就神經(jīng)網(wǎng)絡(luò)與小波分析、混沌、粗集理論、分形理論的融合進(jìn)行分析。

  與小波分析的結(jié)合

  1981年,法國(guó)地質(zhì)學(xué)家Morlet在尋求地質(zhì)數(shù)據(jù)時(shí),通過(guò)對(duì)Fourier變換與加窗Fourier變換的異同、特點(diǎn)及函數(shù)構(gòu)造進(jìn)行創(chuàng)造性的研究,首次提出了"小波分析"的概念,建立了以他的名字命名的Morlet小波。1986年以來(lái)由于YMeyer、S.Mallat及IDaubechies等的奠基工作,小波分析迅速發(fā)展成為一門新興學(xué)科。Meyer所著的"小波與算子",Daubechies所著的"小波十講"是小波研究領(lǐng)域最權(quán)威的著作。

  小波變換是對(duì)Fourier分析方法的突破。它不但在時(shí)域頻域同時(shí)具有良好的局部化性質(zhì),而且對(duì)低頻信號(hào)在頻域和對(duì)高頻信號(hào)在時(shí)域里都有很好的分辨率,從而可以聚集到對(duì)象的任意細(xì)節(jié)。小波分析相當(dāng)于一個(gè)數(shù)學(xué)顯微鏡,具有放大、縮小和平移功能,通過(guò)檢查不同放大倍數(shù)下的變化來(lái)研究信號(hào)的動(dòng)態(tài)特性。因此,小波分析已成為地球物理、信號(hào)處理、圖像處理、理論物理等諸多領(lǐng)域的強(qiáng)有力工具。

  小波神經(jīng)網(wǎng)絡(luò)將小波變換良好的時(shí)頻局域化特性和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能相結(jié)合,因而具有較強(qiáng)的逼近能力和容錯(cuò)能力。在結(jié)合方法上,可以將小波函數(shù)作為基函數(shù)構(gòu)造神經(jīng)網(wǎng)絡(luò)形成小波網(wǎng)絡(luò),或者小波變換作為前饋神經(jīng)網(wǎng)絡(luò)的輸入前置處理工具,即以小波變換的多分辨率特性對(duì)過(guò)程狀態(tài)信號(hào)進(jìn)行處理,實(shí)現(xiàn)信噪分離,并提取出對(duì)加工誤差影響最大的狀態(tài)特性,作為神經(jīng)網(wǎng)絡(luò)的輸入。

  小波神經(jīng)網(wǎng)絡(luò)在電機(jī)故障診斷、高壓電網(wǎng)故障信號(hào)處理與保護(hù)研究、軸承等機(jī)械故障診斷以及許多方面都有應(yīng)用,將小波神經(jīng)網(wǎng)絡(luò)用于感應(yīng)伺服電機(jī)的智能控制,使該系統(tǒng)具有良好的跟蹤控制性能,以及好的魯棒性,利用小波包神經(jīng)網(wǎng)絡(luò)進(jìn)行心血管疾病的智能診斷,小波層進(jìn)行時(shí)頻域的自適應(yīng)特征提取,前向神經(jīng)網(wǎng)絡(luò)用來(lái)進(jìn)行分類,正確分類率達(dá)到94%。

  小波神經(jīng)網(wǎng)絡(luò)雖然應(yīng)用于很多方面,但仍存在一些不足。從提取精度和小波變換實(shí)時(shí)性的要求出發(fā),有必要根據(jù)實(shí)際情況構(gòu)造一些適應(yīng)應(yīng)用需求的特殊小波基,以便在應(yīng)用中取得更好的效果。另外,在應(yīng)用中的實(shí)時(shí)性要求,也需要結(jié)合DSP的發(fā)展,開(kāi)發(fā)專門的處理芯片,從而滿足這方面的要求。

  混沌神經(jīng)網(wǎng)絡(luò)

  混沌第一個(gè)定義是上世紀(jì)70年代才被Li-Yorke第一次提出的。由于它具有廣泛的應(yīng)用價(jià)值,自它出現(xiàn)以來(lái)就受到各方面的普遍關(guān)注。混沌是一種確定的系統(tǒng)中出現(xiàn)的無(wú)規(guī)則的運(yùn)動(dòng),混沌是存在于非線性系統(tǒng)中的一種較為普遍的現(xiàn)象,混沌運(yùn)動(dòng)具有遍歷性、隨機(jī)性等特點(diǎn),能在一定的范圍內(nèi)按其自身規(guī)律不重復(fù)地遍歷所有狀態(tài)?;煦缋碚撍鶝Q定的是非線性動(dòng)力學(xué)混沌,目的是揭示貌似隨機(jī)的現(xiàn)象背后可能隱藏的簡(jiǎn)單規(guī)律,以求發(fā)現(xiàn)一大類復(fù)雜問(wèn)題普遍遵循的共同規(guī)律。

  1990年Kaihara、T.Takabe和M.Toyoda等人根據(jù)生物神經(jīng)元的混沌特性首次提出混沌神經(jīng)網(wǎng)絡(luò)模型,將混沌學(xué)引入神經(jīng)網(wǎng)絡(luò)中,使得人工神經(jīng)網(wǎng)絡(luò)具有混沌行為,更加接近實(shí)際的人腦神經(jīng)網(wǎng)絡(luò),因而混沌神經(jīng)網(wǎng)絡(luò)被認(rèn)為是可實(shí)現(xiàn)其真實(shí)世界計(jì)算的智能信息處理系統(tǒng)之一,成為神經(jīng)網(wǎng)絡(luò)的主要研究方向之一。

  與常規(guī)的離散型Hopfield神經(jīng)網(wǎng)絡(luò)相比較,混沌神經(jīng)網(wǎng)絡(luò)具有更豐富的非線性動(dòng)力學(xué)特性,主要表現(xiàn)如下:在神經(jīng)網(wǎng)絡(luò)中引入混沌動(dòng)力學(xué)行為;混沌神經(jīng)網(wǎng)絡(luò)的同步特性;混沌神經(jīng)網(wǎng)絡(luò)的吸引子。

  當(dāng)神經(jīng)網(wǎng)絡(luò)實(shí)際應(yīng)用中,網(wǎng)絡(luò)輸入發(fā)生較大變異時(shí),應(yīng)用網(wǎng)絡(luò)的固有容錯(cuò)能力往往感到不足,經(jīng)常會(huì)發(fā)生失憶現(xiàn)象?;煦缟窠?jīng)網(wǎng)絡(luò)動(dòng)態(tài)記憶屬于確定性動(dòng)力學(xué)運(yùn)動(dòng),記憶發(fā)生在混沌吸引子的軌跡上,通過(guò)不斷地運(yùn)動(dòng)(回憶過(guò)程)一一聯(lián)想到記憶模式,特別對(duì)于那些狀態(tài)空間分布的較接近或者發(fā)生部分重疊的記憶模式,混沌神經(jīng)網(wǎng)絡(luò)總能通過(guò)動(dòng)態(tài)聯(lián)想記憶加以重現(xiàn)和辨識(shí),而不發(fā)生混淆,這是混沌神經(jīng)網(wǎng)絡(luò)所特有的性能,它將大大改善Hopfield神經(jīng)網(wǎng)絡(luò)的記憶能力?;煦缥拥奈虼嬖?,形成了混沌神經(jīng)網(wǎng)絡(luò)固有容錯(cuò)功能。這將對(duì)復(fù)雜的模式識(shí)別、圖像處理等工程應(yīng)用發(fā)揮重要作用。

  混沌神經(jīng)網(wǎng)絡(luò)受到關(guān)注的另一個(gè)原因是混沌存在于生物體真實(shí)神經(jīng)元及神經(jīng)網(wǎng)絡(luò)中,并且起到一定的作用,動(dòng)物學(xué)的電生理實(shí)驗(yàn)已證實(shí)了這一點(diǎn)。

  混沌神經(jīng)網(wǎng)絡(luò)由于其復(fù)雜的動(dòng)力學(xué)特性,在動(dòng)態(tài)聯(lián)想記憶、系統(tǒng)優(yōu)化、信息處理、人工智能等領(lǐng)域受到人們極大的關(guān)注。針對(duì)混沌神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶功能,但其搜索過(guò)程不穩(wěn)定,提出了一種控制方法可以對(duì)混沌神經(jīng)網(wǎng)絡(luò)中的混沌現(xiàn)象進(jìn)行控制。研究了混沌神經(jīng)網(wǎng)絡(luò)在組合優(yōu)化問(wèn)題中的應(yīng)用。

  為了更好的應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性,并對(duì)其存在的混沌現(xiàn)象進(jìn)行有效的控制,仍需要對(duì)混沌神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行進(jìn)一步的改進(jìn)和調(diào)整,以及混沌神經(jīng)網(wǎng)絡(luò)算法的進(jìn)一步研究。

  基于粗集理論

  粗糙集(Rough Sets)理論是1982年由波蘭華沙理工大學(xué)教授Z.Pawlak首先提出,它是一個(gè)分析數(shù)據(jù)的數(shù)學(xué)理論,研究不完整數(shù)據(jù)、不精確知識(shí)的表達(dá)、學(xué)習(xí)、歸納等方法。粗糙集理論是一種新的處理模糊和不確定性知識(shí)的數(shù)學(xué)工具,其主要思想就是在保持分類能力不變的前提下,通過(guò)知識(shí)約簡(jiǎn),導(dǎo)出問(wèn)題的決策或分類規(guī)則。目前,粗糙集理論已被成功應(yīng)用于機(jī)器學(xué)習(xí)、決策分析、過(guò)程控制、模式識(shí)別與數(shù)據(jù)挖掘等領(lǐng)域。

  粗集和神經(jīng)網(wǎng)絡(luò)的共同點(diǎn)是都能在自然環(huán)境下很好的工作,但是,粗集理論方法模擬人類的抽象邏輯思維,而神經(jīng)網(wǎng)絡(luò)方法模擬形象直覺(jué)思維,因而二者又具有不同特點(diǎn)。粗集理論方法以各種更接近人們對(duì)事物的描述方式的定性、定量或者混合性信息為輸入,輸入空間與輸出空間的映射關(guān)系是通過(guò)簡(jiǎn)單的決策表簡(jiǎn)化得到的,它考慮知識(shí)表達(dá)中不同屬性的重要性確定哪些知識(shí)是冗余的,哪些知識(shí)是有用的,神經(jīng)網(wǎng)絡(luò)則是利用非線性映射的思想和并行處理的方法,用神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)表達(dá)輸入與輸出關(guān)聯(lián)知識(shí)的隱函數(shù)編碼。

  在粗集理論方法和神經(jīng)網(wǎng)絡(luò)方法處理信息中,兩者存在很大的兩個(gè)區(qū)別:其一是神經(jīng)網(wǎng)絡(luò)處理信息一般不能將輸入信息空間維數(shù)簡(jiǎn)化,當(dāng)輸入信息空間維數(shù)較大時(shí),網(wǎng)絡(luò)不僅結(jié)構(gòu)復(fù)雜,而且訓(xùn)練時(shí)間也很長(zhǎng);而粗集方法卻能通過(guò)發(fā)現(xiàn)數(shù)據(jù)間的關(guān)系,不僅可以去掉冗余輸入信息,而且可以簡(jiǎn)化輸入信息的表達(dá)空間維數(shù)。其二是粗集方法在實(shí)際問(wèn)題的處理中對(duì)噪聲較敏感,因而用無(wú)噪聲的訓(xùn)練樣本學(xué)習(xí)推理的結(jié)果在有噪聲的環(huán)境中應(yīng)用效果不佳。而神經(jīng)網(wǎng)絡(luò)方法有較好的抑制噪聲干擾的能力。

  因此將兩者結(jié)合起來(lái),用粗集方法先對(duì)信息進(jìn)行預(yù)處理,即把粗集網(wǎng)絡(luò)作為前置系統(tǒng),再根據(jù)粗集方法預(yù)處理后的信息結(jié)構(gòu),構(gòu)成神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)。通過(guò)二者的結(jié)合,不但可減少信息表達(dá)的屬性數(shù)量,減小神經(jīng)網(wǎng)絡(luò)構(gòu)成系統(tǒng)的復(fù)雜性,而且具有較強(qiáng)的容錯(cuò)及抗干擾能力,為處理不確定、不完整信息提供了一條強(qiáng)有力的途徑。

  目前粗集與神經(jīng)網(wǎng)絡(luò)的結(jié)合已應(yīng)用于語(yǔ)音識(shí)別、專家系統(tǒng)、數(shù)據(jù)挖掘、故障診斷等領(lǐng)域,將神經(jīng)網(wǎng)絡(luò)和粗集用于聲源位置的自動(dòng)識(shí)別,將神經(jīng)網(wǎng)絡(luò)和粗集用于專家系統(tǒng)的知識(shí)獲取中,取得比傳統(tǒng)專家系統(tǒng)更好的效果,其中粗集進(jìn)行不確定和不精確數(shù)據(jù)的處理,神經(jīng)網(wǎng)絡(luò)進(jìn)行分類工作。

  雖然粗集與神經(jīng)網(wǎng)絡(luò)的結(jié)合已應(yīng)用于許多領(lǐng)域的研究,為使這一方法發(fā)揮更大的作用還需考慮如下問(wèn)題:模擬人類抽象邏輯思維的粗集理論方法和模擬形象直覺(jué)思維的神經(jīng)網(wǎng)絡(luò)方法更加有效的結(jié)合;二者集成的軟件和硬件平臺(tái)的開(kāi)發(fā),提高其實(shí)用性。

  與分形理論的結(jié)合

  自從美國(guó)哈佛大學(xué)數(shù)學(xué)系教授Benoit B. Mandelbrot于20世紀(jì)70年代中期引入分形這一概念,分形幾何學(xué)(Fractal geometry)已經(jīng)發(fā)展成為科學(xué)的方法論--分形理論,且被譽(yù)為開(kāi)創(chuàng)了20世紀(jì)數(shù)學(xué)重要階段?,F(xiàn)已被廣泛應(yīng)用于自然科學(xué)和社會(huì)科學(xué)的幾乎所有領(lǐng)域,成為現(xiàn)今國(guó)際上許多學(xué)科的前沿研究課題之一。

  由于在許多學(xué)科中的迅速發(fā)展,分形已成為一門描述自然界中許多不規(guī)則事物的規(guī)律性的學(xué)科。它已被廣泛應(yīng)用在生物學(xué)、地球地理學(xué)、天文學(xué)、計(jì)算機(jī)圖形學(xué)等各個(gè)領(lǐng)域。

  用分形理論來(lái)解釋自然界中那些不規(guī)則、不穩(wěn)定和具有高度復(fù)雜結(jié)構(gòu)的現(xiàn)象,可以收到顯著的效果,而將神經(jīng)網(wǎng)絡(luò)與分形理論相結(jié)合,充分利用神經(jīng)網(wǎng)絡(luò)非線性映射、計(jì)算能力、自適應(yīng)等優(yōu)點(diǎn),可以取得更好的效果。

  分形神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域有圖像識(shí)別、圖像編碼、圖像壓縮,以及機(jī)械設(shè)備系統(tǒng)的故障診斷等。分形圖像壓縮/解壓縮方法有著高壓縮率和低遺失率的優(yōu)點(diǎn),但運(yùn)算能力不強(qiáng),由于神經(jīng)網(wǎng)絡(luò)具有并行運(yùn)算的特點(diǎn),將神經(jīng)網(wǎng)絡(luò)用于分形圖像壓縮/解壓縮中,提高了原有方法的運(yùn)算能力。將神經(jīng)網(wǎng)絡(luò)與分形相結(jié)合用于果實(shí)形狀的識(shí)別,首先利用分形得到幾種水果輪廓數(shù)據(jù)的不規(guī)則性,然后利用3層神經(jīng)網(wǎng)絡(luò)對(duì)這些數(shù)據(jù)進(jìn)行辨識(shí),繼而對(duì)其不規(guī)則性進(jìn)行評(píng)價(jià)。

  分形神經(jīng)網(wǎng)絡(luò)已取得了許多應(yīng)用,但仍有些問(wèn)題值得進(jìn)一步研究:分形維數(shù)的物理意義;分形的計(jì)算機(jī)仿真和實(shí)際應(yīng)用研究。隨著研究的不斷深入,分形神經(jīng)網(wǎng)絡(luò)必將得到不斷的完善,并取得更好的應(yīng)用效果。


內(nèi)容來(lái)自百科網(wǎng)