1.2 ELM研究背景

單隱藏層前饋神經(jīng)網(wǎng)絡(luò)[5]是ELM的前身，如圖1-1所示。該網(wǎng)絡(luò)從形式上模擬生物神經(jīng)系統(tǒng)，由多個(gè)節(jié)點(diǎn)（人工神經(jīng)元）相互連接而成，可以用來(lái)對(duì)輸入／輸出數(shù)據(jù)之間的映射關(guān)系進(jìn)行建模。不同節(jié)點(diǎn)之間的連接被賦予了不同的權(quán)重，每個(gè)權(quán)重代表了一個(gè)節(jié)點(diǎn)對(duì)另一個(gè)節(jié)點(diǎn)的影響大小；隱藏層（位于網(wǎng)絡(luò)中間層）的每個(gè)節(jié)點(diǎn)代表一種非線性激活函數(shù)，通過(guò)接收來(lái)自其他節(jié)點(diǎn)的綜合信息（經(jīng)過(guò)其相應(yīng)的權(quán)重綜合計(jì)算），輸出得到一個(gè)新的活性值（興奮或抑制）。由此可以看出，SLFNN是由多個(gè)非線性神經(jīng)元通過(guò)豐富的連接而組合成的非線性信息處理系統(tǒng)。

圖1-1 單隱藏層前饋神經(jīng)網(wǎng)絡(luò)

早在20世紀(jì)90年代，SLFNN的學(xué)習(xí)能力便得到了充分的證明：任何連續(xù)目標(biāo)函數(shù)都可以被SLFNN以可自適應(yīng)調(diào)節(jié)的隱藏層節(jié)點(diǎn)近似表示。換言之，只要隱藏層節(jié)點(diǎn)數(shù)量足夠且連接權(quán)重可調(diào)，SLFNN可看作是一個(gè)通用的函數(shù)逼近器，可對(duì)目標(biāo)函數(shù)獲得任意小的逼近誤差[6-9]，其逼近任何函數(shù)的能力大小可以稱為網(wǎng)絡(luò)容量[10]。

然而上述理論僅回答了網(wǎng)絡(luò)模型的存在性問(wèn)題，并未具體指明或限定網(wǎng)絡(luò)的構(gòu)造與權(quán)重參數(shù)學(xué)習(xí)方法。為此，在過(guò)去近30年產(chǎn)生了很多算法試圖解決隱藏層節(jié)點(diǎn)參數(shù)調(diào)節(jié)的問(wèn)題[11]，即針對(duì)特定的網(wǎng)絡(luò)模型設(shè)計(jì)不同的學(xué)習(xí)策略。但這些方法通常會(huì)遇到以下問(wèn)題。

①對(duì)網(wǎng)絡(luò)規(guī)模、激活函數(shù)類型非常敏感。

②并行化、嵌入式實(shí)現(xiàn)困難。

③對(duì)設(shè)計(jì)者預(yù)設(shè)的超參數(shù)敏感。

④調(diào)參過(guò)程非常耗時(shí)，易陷入局部最優(yōu)解等。

上述方法的諸多局限性引發(fā)一系列新的疑問(wèn)，例如，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展本身是不是也陷入了“局部最小點(diǎn)”？不同類型的神經(jīng)網(wǎng)絡(luò)是否真的需要不同類型的學(xué)習(xí)算法？是否存在一種通用的學(xué)習(xí)方法來(lái)處理不同類型的神經(jīng)網(wǎng)絡(luò)？人工神經(jīng)網(wǎng)絡(luò)與生物系統(tǒng)之間是否存在學(xué)習(xí)機(jī)制上的鴻溝……。因此，提出了新型神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)動(dòng)機(jī)：尋找一種一般化的人工神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方法，并具備強(qiáng)泛化能力、弱人工干預(yù)和實(shí)時(shí)學(xué)習(xí)3個(gè)方面優(yōu)勢(shì)，如圖1-2所示。

圖1-2 理想的神經(jīng)網(wǎng)絡(luò)模型