1.6　人工智能在海量數(shù)據(jù)處理中不可替代的原因

人工智能的精髓在于從人類的經(jīng)驗中學習，通過反思調(diào)整，由學習的內(nèi)容不斷改善接下來的行動，完善系統(tǒng)的參數(shù)，以便表現(xiàn)得更好。

機器學習的定義。從構(gòu)建人工智能框架和開發(fā)人工智能應用程序的角度，這個定義是最適合的：基于經(jīng)驗來自我調(diào)整，更好地改進處理現(xiàn)實中事情的能力。可能有時候調(diào)整需要一些依據(jù)，這是監(jiān)督學習的內(nèi)容，可能有時候也沒什么依據(jù)，需要通過機器學習找出一些規(guī)律，這是非監(jiān)督學習的內(nèi)容。非監(jiān)督學習是推薦系統(tǒng)的核心。深度學習自動編碼技術(shù)都是以非監(jiān)督學習的方式去發(fā)現(xiàn)一些規(guī)律，然后做推薦。

機器學習的經(jīng)典步驟。無論是普通的機器學習算法還是深度學習算法，基本上都采用以下步驟實現(xiàn)：

（1）獲取數(shù)據(jù)。從各種終端獲取數(shù)據(jù)，例如手機、汽車終端等。

（2）數(shù)據(jù)預處理。對獲取的數(shù)據(jù)進行預處理。

（3）選擇模型。根據(jù)業(yè)務的需要選擇適合的模型。框架通常都提供了算法作為支撐，如果框架沒有提供相應的算法，則需手動實現(xiàn)算法。

（4）模型訓練。構(gòu)建一個損失函數(shù)，輸入訓練集樣本，通過前向傳播算法得到預測值，將預測值與實際值比較計算損失度，然后通過反向傳播算法更新權(quán)重參數(shù)，不斷迭代直到損失度很小，使準確率達到一個理想值。

（5）模型評估。對于回歸、分類問題采用不同的模型評估方法。例如，對于回歸模型可采用擬合度、改進的擬合度進行性能評估；對分類模型可以采用混淆矩陣、準確率、累積精度曲線進行性能評估。

（6）參數(shù)調(diào)優(yōu)，例如學習率的調(diào)整。參數(shù)調(diào)優(yōu)的根本在于對算法模型的理解。

深度學習的美妙之處在于給它一批數(shù)據(jù)，它能自動找出數(shù)據(jù)之間的規(guī)律，且進化的速度特別快，找出規(guī)律的速度也特別快，而不需要人從海量的數(shù)據(jù)中去找規(guī)律，因為人的體力、智力、記憶力都是有限的。

為了應對海量的數(shù)據(jù)，人類必須借助人工智能的方式來處理數(shù)據(jù)。目前，只有人工智能能面對現(xiàn)在和未來數(shù)據(jù)爆發(fā)式增長的挑戰(zhàn)。所以，作為IT人才，要在今后二年有大的作為，必須要進行人工智能研發(fā)。另外，由于人工智能本身的特點，傳統(tǒng)的編程方式可能會被人工智能取代，因為無論什么行業(yè)，無論什么編程語言，是用于前端、后端還是移動端等，編程都是基于框架，流程都很標準化，如果數(shù)據(jù)的產(chǎn)生過程實現(xiàn)了標準化，那么傳統(tǒng)的編程不再需要開發(fā)工程師。

技術(shù)背后的技能是可以轉(zhuǎn)移的，從技術(shù)的角度，開發(fā)安卓軟件和做人工智能或大數(shù)據(jù)沒什么區(qū)別，只不過使用的架構(gòu)是從不同的角度去處理數(shù)據(jù)。做安卓軟硬件集成的時候，處理數(shù)據(jù)是由最底層驅(qū)動，然后依次是Linux內(nèi)核、HAL、Service、服務框架、安卓應用層，按垂直順序處理用戶的數(shù)據(jù)；做社交網(wǎng)絡時是通過服務端，提供J2EE版本及Linux PHP+MySQL處理數(shù)據(jù)；做大數(shù)據(jù)時是以分布式計算處理數(shù)據(jù)；做人工智能也是通過各種算法處理數(shù)據(jù)。處理數(shù)據(jù)時，一是要回到最原始的狀態(tài)，就是面向CPU、GPU、內(nèi)存、磁盤及網(wǎng)絡，這是最基本的；二是起決定性作用的。例如人工智能，我們實現(xiàn)的盤古人工智能框架，是一個真正可以應用而且效果還不錯的人工智能框架，它底層起決定性因素的是前向傳播算法和反向傳播算法。