序言

2017年年初，我參加北大組織的大數(shù)據(jù)人才交流論壇時，無論是從會上的嘉賓發(fā)言中還是從會下同仁的交流中，都很容易得出一個結(jié)論，那就是大數(shù)據(jù)人才是非常非常匱乏的，各大企業(yè)、院校及組織都不得不用互相挖角的方法尋找相關(guān)人才。2017年，大數(shù)據(jù)已經(jīng)發(fā)展了十多年，相關(guān)書籍也是汗牛充棟，因此，出現(xiàn)這種人才匱乏的狀態(tài)，確實有些令人疑惑。仔細想想，也許是以下這些原因?qū)е碌模菏紫龋髷?shù)據(jù)的應(yīng)用領(lǐng)域擴展太快，人才的培養(yǎng)速度跟不上；其次，大數(shù)據(jù)技能的學習周期比較長，進入門檻較高；最后，大數(shù)據(jù)本質(zhì)上是一種工程應(yīng)用，在不同領(lǐng)域哪怕使用相同算法，或者在相同領(lǐng)域使用不同數(shù)據(jù)，算法都需要一個調(diào)試和優(yōu)化的過程，這就要求學習者領(lǐng)悟原理，而不能簡單地照著葫蘆畫瓢，而領(lǐng)悟原理的要求又和工程應(yīng)用的實用性需求有一定差異。

到了那年四五月份的時候，和劉振川先生、甘智峰博士討論后，我們都覺得可以把我們多年相關(guān)工作和經(jīng)驗總結(jié)一下，寫一本比純粹的工程應(yīng)用更理論一些、比純粹的理論介紹更實用一些的書。這樣的書面向大數(shù)據(jù)工程師，幫助受過基本訓(xùn)練的工程師開發(fā)出系統(tǒng)，達到實用目的。由于我們?nèi)酥R面有局限，便又邀請了周翊博士和金涬博士加入，他們在各自的領(lǐng)域都有很豐富的實戰(zhàn)經(jīng)驗。

晚些時候，我又認識了在國內(nèi)大數(shù)據(jù)領(lǐng)域做過很多工作和進行過投資的潘磊先生。潘總又給我介紹了國際數(shù)據(jù)管理協(xié)會（DAMA）中國分會資深顧問汪關(guān)盛先生，還有母潤坤先生。通過和他們的溝通，我們才意識到我們原本的計劃是不完備的。我們一直關(guān)注數(shù)據(jù)處理，可是在實際應(yīng)用中，很多時候面臨的不是如何處理已有的數(shù)據(jù)，而是如何管理和治理已有的數(shù)據(jù)。“數(shù)據(jù)過多就相當于沒有數(shù)據(jù)”，這句話不僅僅指我們需要用算法發(fā)現(xiàn)大量數(shù)據(jù)背后的價值，同時也指我們需要去蕪存菁，從更有價值的數(shù)據(jù)中以更小的代價發(fā)現(xiàn)更高的價值。從事大數(shù)據(jù)行業(yè)一段時間的人都會有兩個感受：很多時候數(shù)據(jù)源比算法有價值，獲得好的數(shù)據(jù)源總能得出有價值的結(jié)論；事后再看大數(shù)據(jù)分析出的結(jié)論，往往發(fā)現(xiàn)那些結(jié)論很直觀。這些都體現(xiàn)出數(shù)據(jù)治理和項目實施管理的價值。汪總和母總為我們的計劃補上了最后的拼圖。

經(jīng)過了差不多一年半的努力，我們終于完成了規(guī)劃的小目標，結(jié)果發(fā)現(xiàn)好像已經(jīng)錯過了大數(shù)據(jù)圖書的熱賣期。后來，人民郵電出版社的繆永合先生對我們的努力給予了認可，并支持我們把這本書出版發(fā)行。我們在此也感謝本書的編輯團隊。

書中關(guān)于高速緩存、集群總線、資源調(diào)度、用戶畫像和廣告投放的實用內(nèi)容都來自劉振川先生的實踐。第6章數(shù)據(jù)治理的內(nèi)容則來自汪關(guān)盛先生的長期經(jīng)驗。第7章大數(shù)據(jù)在人工智能領(lǐng)域的應(yīng)用是周翊博士、甘智峰博士和金涬博士的專長，他們分別貢獻了語音部分、視覺部分和博弈部分的內(nèi)容。母潤坤先生則將他多年來實際的大數(shù)據(jù)處理和實施方法總結(jié)在了第1章的相應(yīng)部分。

由于作者團隊一直在第一線工作，理論基礎(chǔ)研究相對比較薄弱，為了讓更多讀者有更深入的收獲，我們梳理、借鑒了很多經(jīng)典的論文和網(wǎng)絡(luò)資源。書中也對引用和借鑒的資料標明了來源，在此對相關(guān)資料的著作者表示感謝！

研究與實踐都還在不斷發(fā)展中，誠摯希望有關(guān)專家與專業(yè)人士給予寶貴的意見和建議，共同推動大數(shù)據(jù)事業(yè)的快速發(fā)展！

謝謝！

陸晟