1 神經網絡是個什么東西

時間進入2014年，我們在各種媒體上看到與大數據和人工智能相關的新聞，其中炒得最熱的是深度學習，深度學習是什么？神經網絡跟深度學習是什么關系？我們帶著這樣的疑問來看如下事例。

1.1 買橙子和機器學習

有一天，你到水果店去買橙子，當然要挑選最甜、最熟的。你是根據橙子的重量來付錢的，而不是根據橙子的甜度或者成熟度，雖然水果店有時候會把好的橙子挑出一堆單獨漲價，但是這里沒這么做。

你媽媽曾經告訴你，橙子要挑深橙色的，顏色有點發紅的，這樣的橙子最甜，不要挑那些淺黃色甚至發青的，那些還沒熟透。

這樣你就有了一點經驗，雖然這點經驗是別人直接教給你的，但你也可以在挑選的時候用上：深橙色的橙子熟透了，甜。你在水果店，挑了些深橙色的橙子，稱重付錢回家了。這事就這么完了？別急，還有下文。

小事兒也沒那么簡單。

你回到家，高高興興吃橙子，但是你發現并不是每個橙子都那么甜，有一些還是不夠甜?？磥韹寢尩慕涷炦€是不足，只通過顏色判斷橙子甜不甜，不是很靠譜。

你開始回憶自己吃過的橙子。到底什么樣子的橙子最甜？好像是個頭大而且是深橙色的比較甜，那些個頭小的深橙色的橙子，大概有一半是不甜的。（比如，買了100個深橙色的橙子，有50個大的，都是甜的；另外50個小的，其中有25個是不甜的。）

你總算總結出了一條經驗規則：大的深橙色的橙子是最甜的，哈哈。你又高高興興地去買橙子。可你熟悉的那種橙子賣完了，現在賣的是另一個品種，產自不同的地方，你之前總結的經驗可能行不通了。你不知道之前的經驗能不能遷移過去（遷移學習），于是你重新嘗試，把各種橙子買回家嘗，幾次之后你發現這個品種中小的、淺黃色的橙子是最甜的！

過了幾天，表妹來你家玩，她想吃橙子，于是你們一起去買。她不在乎橙子甜不甜，只要多汁就好。唉，從前總結的經驗又不管用了。你只能開始新的一輪實驗，目標就是多汁的橙子（優化目標變了）。你又總結出，捏起來越有彈性的橙子汁越多。

后來，你出國讀書，國外的橙子跟你家鄉賣的又不一樣了，這里果蒂小、皮細膩的最好吃。畢業后，你結婚了，老婆不喜歡吃橙子，喜歡吃香蕉。生活是兩個人的事情，從現在開始，你不光要買橙子，還要買香蕉！你積累的挑選橙子的經驗規則都行不通了。你只能從頭開始新的實驗嘗試，雖然這個過程很枯燥，但是你去做了，因為你愛她。

1.1.1 規則列表

你想把如何挑選橙子、香蕉等這些水果的方法和經驗用程序實現，這樣用計算機，甚至用你的手機攝像頭掃一下，就能自動挑選出很多好吃的水果。因為你積累了一些規則，可以這么實現：

    if (color is deep orange  and size is big  and sold by favorite vendor):
    orange is sweet.
    if (flexible): orange is juicy.
    etc.

這些規則越來越多的話，特征之間的組合就越來越麻煩和復雜，管理和使用都很麻煩。寫程序實現的時候，誰會笨到寫這么多If…Then，這個時候就涉及我們的下一個問題。

1.1.2 機器學習

機器學習算法是普通算法的進化，更加聰明和自動。現在，我們分析如何把選橙子的問題定義成標準的機器學習問題。

隨機選擇一個市場上的橙子，作為我們要研究的目標（Training Data）。你可以用一個表格描述橙子的屬性和類型的關系，每一行可以放一個橙子的數據，包括橙子的各種物理屬性（Feature）：顏色、大小、形狀、產地等，還有品嘗時橙子的屬性（Output Variables）：甜度、成熟度、多汁度等?，F在這就是一個多分類問題，或者是回歸問題，自動從數據中學習出特征與橙子類型的各種關系等。

如果用決策樹算法，那么這個模型的樣子就是你的規則庫。當然，你也可以使用其他模型，比如線性模型，這樣就是特征的線性組合了。

下次你去買水果，采集了一個橙子的各個指標特征，扔進你的模型，模型就會告訴你這個橙子的各種屬性。

甚至你選擇橙子的模型稍微變化下就可以選擇香蕉了，這就叫遷移學習。

甚至你的模型會隨著新的樣本、新橙子的種類，變得越來越好，越來越全面，增量學習。

……

這就是機器學習，大家有點感覺了嗎？