1.3.1 快速前饋神經網絡

基于新的設計動機與SLFNN的結構特點，ELM被HUANG等[12]正式提出。與傳統的SLFNN不同，ELM理論強調有效的學習，不需自適應調整網絡隱藏層節點：給定任何連續目標函數，只要前饋神經的隱藏層節點是非線性分段連續的，則神經網絡模型不需調整隱藏層節點就能逼近任意連續目標函數，即具備通用逼近能力（Universal Approximation Capability, UAC）[13-15]。此外，一旦不需要調整隱藏層節點，網絡輸出權重便可以通過有效的凸優化（通常是線性優化）快速獲取全局最優解，實現快速高效學習。

毫無疑問，放棄調節隱藏層節點參數的做法非常大膽但卻不失理論支撐，直接顛覆了常規的網絡學習范式。許多廣泛使用的SLFNN在此之前都被認為是不同而且沒有聯系的學習或計算技術，而ELM理論則認為這些方法都具有類似的網絡拓撲結構，只是網絡的隱藏層使用的是不同類型的神經元而已。并且ELM提出，只要隱藏層神經元是非線性階段連續的，即在具備UAC的情況下一般不需要為不同的前饋神經網絡設計不同的參數學習算法。

同樣的疑問也可遷移至多隱藏層前饋神經網絡：真的需要迭代式地調整多隱藏層前饋神經網絡的隱藏層參數嗎？前饋神經網絡真的要一直被認為是個黑箱嗎？不同于傳統的反向傳播（Back Propagation, BP）算法[16]將多隱藏層前饋神經網絡視為黑箱，ELM主張將多隱藏層前饋神經網絡視為白箱，并且可以逐層進行快速訓練。此外，ELM將單隱藏層前饋神經網絡和多隱藏層前饋神經網絡看成一個類似的統一體，用類似的方法來處理單隱藏層前饋神經網絡和多隱藏層前饋神經網絡。具體而言，與多隱藏層前饋神經網絡需要精細、密集地調整其隱藏層節點不同，ELM理論表明，隱藏層節點很重要，但不需要調整；其隱藏層節點參數可以與待處理數據無關，學習過程也可以避免通過煩瑣的迭代式求解來實現[17-19]。

此外，ELM還強調層次性學習的重要性，及其與多隱藏層學習間的差異性。多隱藏層學習強調的是一個特定應用（比如圖像分類）由一個包含多個隱藏層的網絡實現，而ELM的層次性學習強調的是每個隱藏層實現一個功能，各個功能單元通過級聯、并聯等組合形成一個復合的機器學習系統。在ELM的理論體系下，各個功能塊可以采用與應用相關的ELM算法。此外，ELM的隱藏層節點可以由多個神經元復合而成[20]。總之，與多隱藏層學習相比，ELM所強調的層次性學習具有更加豐富的內涵。