1.2　從數據中訓練ML算法

一個典型的預處理數據集的正式定義如下所示：

其中y是與輸入向量x對應的期望輸出值。因此，ML的動機是使用數據來發現使用高度復雜的張量（向量）乘法和加法來求出x的線性和非線性變換，或者簡單地找到某種方法來衡量數據點之間的相似性或距離，最終目的是基于x的取值預測y的取值。

有一種常見的基于x預測y的思考方式，即給出某個關于x的未知函數的近似表示，如下所示：

其中w是某個未知的向量，用于實現對x和b的變換。這個公式非常基本，它是線性的，只是簡單地說明了一個簡單的機器學習模型應該是什么樣子的。在這個簡單的例子中，ML訓練算法的目的是尋找最佳的w和b，使其最接近（如果沒有達到完美的話）y的期望輸出。例如，感知機（Rosenblatt,F.1958）算法嘗試w和b的不同取值，利用過去關于w和b的選擇錯誤，根據所犯錯誤的比例進行下一次選擇。

直觀地說，將多個類似感知機的模型結合起來觀察相同的輸入，得到的預測結果應該比使用單個模型更好。后來，人們意識到，將它們堆疊起來可能是通往多層感知機的下一個邏輯步驟。但是問題在于，對于20世紀70年代的人而言，學習過程相當復雜。這種多層系統類似于大腦神經元，因此將其稱為神經網絡。隨著ML中一些有趣發現的出現，一些新的特定類型的神經網絡和算法被開發出來，通常稱之為深度學習。