- 智能計算：原理與實踐
- 郭業才
- 657字
- 2022-12-14 19:25:36
第1章 支持向量機
內容導讀
本章在分析支持向量機的理論基礎，包括機器學習問題的基本框架、經驗風險最小化原則及VC維理論等的基礎上，重點講述了基于結構風險最小化原則的支持向量機原理及支持向量機分類和回歸問題，討論了核函數對分類回歸問題的影響。最后，通過基于改進支持向量機的正交小波盲均衡算法和基于U-支持向量機的正交小波盲均衡算法兩個實例，給出了利用支持向量機理論解決通信信道均衡問題的思路、架構、方法與效果。
從20世紀60年代起，Vapnik領導的實驗小組開始研究機器學習問題，20世紀70年代建立了統計學習理論（Statistical Learning Theory, SLT），20世紀90年代初提出了支持向量機（Support Vector Machine, SVM）這一新的機器學習方法。自此以后，支持向量機理論與應用得到了快速發展，出現了諸如支持向量機的泛化性能及多值回歸、分類問題的擴展問題，支持向量機和正則化網絡的關系問題，通用支持向量機（Generalised SVM）的概念，硬/軟鄰域支持向量機的學習誤差界限理論等。
支持向量機是小樣本學習機器，適用于小樣本情況。當樣本數量變大時，計算量會增加，從而造成效率下降。為此，很多針對大規模樣本集的算法被提出，如塊算法、子集選擇算法及序列最小優化算法等。其中，塊算法是利用刪除矩陣中對應的拉格朗日乘數為零的列和行不會對結果產生影響的特點，減小算法占用內存資源。子集選擇算法是將訓練集分塊，在其中提取、保留支持向量，然后補充新樣本，重復上述運算，直至都滿足KKT（Karush-Kuhn-Tucker）收斂條件。序列最小優化算法是將樣本集縮減到兩個，并且其中的一個變量用另一個表示，這樣，每一步子集中的最優解可以直接用解析的方法求出，提高了運算速度。