神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法(Hopfield神經(jīng)網(wǎng)絡(luò)有哪幾種訓(xùn)練方法)

1.Hopfield 神經(jīng)網(wǎng)絡(luò)有哪幾種訓(xùn)練方法

人工神經(jīng)網(wǎng)絡(luò)模型主要考慮網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征、學(xué)習(xí)規(guī)則等。目前，已有近40種神經(jīng)網(wǎng)絡(luò)模型，其中有反傳網(wǎng)絡(luò)、感知器、自組織映射、Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)、適應(yīng)諧振理論等。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可以分為：

(1)前向網(wǎng)絡(luò) 網(wǎng)絡(luò)中各個(gè)神經(jīng)元接受前一級(jí)的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中沒(méi)有反饋，可以用一個(gè)有向無(wú)環(huán)路圖表示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來(lái)自于簡(jiǎn)單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。

(2)反饋網(wǎng)絡(luò) 網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個(gè)無(wú)向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動(dòng)力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)均屬于這種類型。

學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要內(nèi)容，它的適應(yīng)性是通過(guò)學(xué)習(xí)實(shí)現(xiàn)的。根據(jù)環(huán)境的變化，對(duì)權(quán)值進(jìn)行調(diào)整，改善系統(tǒng)的行為。由Hebb提出的Hebb學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。Hebb規(guī)則認(rèn)為學(xué)習(xí)過(guò)程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。在此基礎(chǔ)上，人們提出了各種學(xué)習(xí)規(guī)則和算法，以適應(yīng)不同網(wǎng)絡(luò)模型的需要。有效的學(xué)習(xí)算法，使得神經(jīng)網(wǎng)絡(luò)能夠通過(guò)連接權(quán)值的調(diào)整，構(gòu)造客觀世界的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲(chǔ)和處理體現(xiàn)在網(wǎng)絡(luò)的連接中。

根據(jù)學(xué)習(xí)環(huán)境不同，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，將訓(xùn)練樣本的數(shù)據(jù)加到網(wǎng)絡(luò)輸入端，同時(shí)將相應(yīng)的期望輸出與網(wǎng)絡(luò)輸出相比較，得到誤差信號(hào)，以此控制權(quán)值連接強(qiáng)度的調(diào)整，經(jīng)多次訓(xùn)練后收斂到一個(gè)確定的權(quán)值。當(dāng)樣本情況發(fā)生變化時(shí)，經(jīng)學(xué)習(xí)可以修改權(quán)值以適應(yīng)新的環(huán)境。使用監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型有反傳網(wǎng)絡(luò)、感知器等。非監(jiān)督學(xué)習(xí)時(shí)，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于環(huán)境之中，學(xué)習(xí)階段與工作階段成為一體。此時(shí)，學(xué)習(xí)規(guī)律的變化服從連接權(quán)值的演變方程。非監(jiān)督學(xué)習(xí)最簡(jiǎn)單的例子是Hebb學(xué)習(xí)規(guī)則。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則是一個(gè)更復(fù)雜的非監(jiān)督學(xué)習(xí)的例子，它是根據(jù)已建立的聚類進(jìn)行權(quán)值調(diào)整。自組織映射、適應(yīng)諧振理論網(wǎng)絡(luò)等都是與競(jìng)爭(zhēng)學(xué)習(xí)有關(guān)的典型模型。

研究神經(jīng)網(wǎng)絡(luò)的非線性動(dòng)力學(xué)性質(zhì)，主要采用動(dòng)力學(xué)系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計(jì)理論，來(lái)分析神經(jīng)網(wǎng)絡(luò)的演化過(guò)程和吸引子的性質(zhì)，探索神經(jīng)網(wǎng)絡(luò)的協(xié)同行為和集體計(jì)算功能，了解神經(jīng)信息處理機(jī)制。為了探討神經(jīng)網(wǎng)絡(luò)在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會(huì)發(fā)揮作用?；煦缡且粋€(gè)相當(dāng)難以精確定義的數(shù)學(xué)概念。一般而言，“混沌”是指由確定性方程描述的動(dòng)力學(xué)系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機(jī)性?！按_定性”是因?yàn)樗蓛?nèi)在的原因而不是外來(lái)的噪聲或干擾所產(chǎn)生，而“隨機(jī)性”是指其不規(guī)則的、不能預(yù)測(cè)的行為，只可能用統(tǒng)計(jì)的方法描述?；煦鐒?dòng)力學(xué)系統(tǒng)的主要特征是其狀態(tài)對(duì)初始條件的靈敏依賴性，混沌反映其內(nèi)在的隨機(jī)性。混沌理論是指描述具有混沌行為的非線性動(dòng)力學(xué)系統(tǒng)的基本理論、概念、方法，它把動(dòng)力學(xué)系統(tǒng)的復(fù)雜行為理解為其自身與其在同外界進(jìn)行物質(zhì)、能量和信息交換過(guò)程中內(nèi)在的有結(jié)構(gòu)的行為，而不是外來(lái)的和偶然的行為，混沌狀態(tài)是一種定態(tài)?；煦鐒?dòng)力學(xué)系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準(zhǔn)同期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結(jié)合的結(jié)果，稱之為奇異吸引子。

2.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是指網(wǎng)絡(luò)權(quán)值的調(diào)整。主要的學(xué)習(xí)方式如下： 1.死記式學(xué)習(xí) 網(wǎng)絡(luò)連接權(quán)值根據(jù)特殊記憶模式設(shè)計(jì)而成，其值不變。在網(wǎng)絡(luò)輸入相關(guān)模式時(shí)，喚起對(duì)記憶模式的回憶，對(duì)輸入模式進(jìn)行相應(yīng)處理。Hnp}eld網(wǎng)絡(luò)在作聯(lián)想記憶和優(yōu)化計(jì)算時(shí)采用了死記式學(xué)習(xí)。 2.有監(jiān)督學(xué)習(xí) 有監(jiān)督學(xué)習(xí)又稱為有教師學(xué)習(xí)。網(wǎng)絡(luò)將實(shí)際輸出和教師指定的輸出加以比較，得到在一定范數(shù)意義下的誤差，由誤差函數(shù)決定連接權(quán)值的調(diào)整，目的是使誤差函數(shù)達(dá)到最小值口一般根據(jù)占規(guī)則對(duì)連接權(quán)值進(jìn)行調(diào)整。前向神經(jīng)網(wǎng)絡(luò)BP算法采用了監(jiān)督學(xué)習(xí)方式。 3.無(wú)監(jiān)督學(xué)習(xí) 無(wú)監(jiān)督學(xué)習(xí)又稱為無(wú)教師學(xué)習(xí)。網(wǎng)絡(luò)的學(xué)習(xí)是自我調(diào)整的過(guò)程，不存在教師示教來(lái)指示網(wǎng)絡(luò)輸出是否正確。自組織學(xué)習(xí)根據(jù)某種規(guī)則，反復(fù)調(diào)整連接權(quán)值，以便適應(yīng)輸入模式的激勵(lì)，指導(dǎo)網(wǎng)絡(luò)形成某種有序狀態(tài)。竟?fàn)帉W(xué)習(xí)是一種無(wú)監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)以某種內(nèi)部規(guī)則確定競(jìng)爭(zhēng)層“獲勝”神經(jīng)元。自組織特征映射網(wǎng)絡(luò)采用了無(wú)監(jiān)督學(xué)習(xí)方式。 4.有監(jiān)督與無(wú)監(jiān)督的混合學(xué)習(xí) 混合學(xué)習(xí)過(guò)程首先采用無(wú)監(jiān)督學(xué)習(xí)抽取輸入模式的特征，然后利用有監(jiān)督學(xué)習(xí)方式對(duì)其進(jìn)行處理，形成輸入輸出的某種映射。

3.如何訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)

deeplearinig就是神經(jīng)網(wǎng)絡(luò)的一類，就是解決的訓(xùn)練問(wèn)題的深層神經(jīng)網(wǎng)絡(luò)，所以你這問(wèn)題“深度學(xué)習(xí)會(huì)代替神經(jīng)網(wǎng)絡(luò)‘就不對(duì)，BP么，BP有自己的優(yōu)勢(shì)，也是很成熟的算法，做手寫(xiě)識(shí)別等等效果已經(jīng)商用化了，不會(huì)被輕易替代。deeplearning遠(yuǎn)比BP要復(fù)雜，用來(lái)解決的問(wèn)題也不是一個(gè)層面，所以也沒(méi)有替代的必要。Deeplearning所涉及的問(wèn)題大多數(shù)BP都沒(méi)法解決的。

度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)，通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念由Hinton等人于2006年提出，基于深信度網(wǎng)（DBN）提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本。

系統(tǒng)地論述了神經(jīng)網(wǎng)絡(luò)的基本原理、方法、技術(shù)和應(yīng)用，主要內(nèi)容包括：神經(jīng)信息處理的基本原理、感知器、反向傳播網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)、遞歸網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、核函數(shù)方法、神經(jīng)網(wǎng)絡(luò)集成、模糊神經(jīng)網(wǎng)絡(luò)、概率神經(jīng)網(wǎng)絡(luò)、脈沖耦合神經(jīng)網(wǎng)絡(luò)、神經(jīng)場(chǎng)理論、神經(jīng)元集群以及神經(jīng)計(jì)算機(jī)。每章末附有習(xí)題，書(shū)末附有詳細(xì)的參考文獻(xiàn)。神經(jīng)網(wǎng)絡(luò)是通過(guò)對(duì)人腦或生物神經(jīng)網(wǎng)絡(luò)的抽象和建模，研究非程序的、適應(yīng)性的、大腦風(fēng)格的信息處理的本質(zhì)和能力。它以腦科學(xué)和認(rèn)知神經(jīng)科學(xué)的研究成果為基礎(chǔ)，拓展智能信息處理的方法，為解決復(fù)雜問(wèn)題和智能控制提供有效的途徑，是智能科學(xué)和計(jì)算智能的重要部分。

4.如何訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。 多層神經(jīng)網(wǎng)絡(luò)是指單計(jì)算層感知器只能解決線性可分問(wèn)題，而大量的分類問(wèn)題是線性不可分的?？朔斡?jì)算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入。 深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

多層神經(jīng)網(wǎng)絡(luò)是指單計(jì)算層感知器只能解決線性可分問(wèn)題，而大量的分類問(wèn)題是線性不可分的?？朔斡?jì)算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入隱層（隱層個(gè)數(shù)可以大于或等于1）作為輸入模式“的內(nèi)部表示” ，單計(jì)算層感知器變成多（計(jì)算）層感知器。

補(bǔ)充：

深度學(xué)習(xí)的概念由Hinton等人于2006年提出?；谏钚哦染W(wǎng)（DBN）提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本。 全部