前言

為什么要寫這本書

隨著2013年大數(shù)據(jù)元年的開啟，各行各業(yè)都已經(jīng)將大數(shù)據(jù)視為推動企業(yè)發(fā)展、推進(jìn)行業(yè)進(jìn)步、加快產(chǎn)業(yè)升級、促進(jìn)民生繁榮、鞏固社會安全甚至提升國家競爭力的核心武器。從個(gè)性化推薦、關(guān)聯(lián)銷售到精準(zhǔn)營銷，從云平臺、云服務(wù)、云計(jì)算到大數(shù)據(jù)產(chǎn)業(yè)鏈，從百度遷徙、高考預(yù)測到冬季流感預(yù)測，從機(jī)器學(xué)習(xí)、圖像識別到智能交通，從奧巴馬總統(tǒng)競選到美國中央情報(bào)局反恐，從美國的大數(shù)據(jù)研究和發(fā)展計(jì)劃到中國的促進(jìn)大數(shù)據(jù)發(fā)展行動綱要等一系列事實(shí)說明了大數(shù)據(jù)正受到來自政治、經(jīng)濟(jì)、社會、文化、軍事等各個(gè)領(lǐng)域的廣泛關(guān)注，并越來越彰顯其巨大價(jià)值。

大數(shù)據(jù)不僅是一個(gè)技術(shù)名詞，更是當(dāng)下企業(yè)資產(chǎn)、核心競爭力、完整產(chǎn)業(yè)鏈和先進(jìn)生產(chǎn)力的代名詞。因此，大數(shù)據(jù)應(yīng)該是作為一個(gè)整合概念和體系被認(rèn)知，而非獨(dú)立的方法論、技術(shù)論甚至應(yīng)用論。處于飛速變革時(shí)代的中國，在大數(shù)據(jù)產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)的企事業(yè)單位受限于自身產(chǎn)業(yè)屬性、盈利模式、利益趨向、認(rèn)知、能力等，無法完整地展示出大數(shù)據(jù)的知識圖譜與價(jià)值圖譜。

縱觀當(dāng)下整個(gè)大數(shù)據(jù)認(rèn)知取向，大致有三類基本認(rèn)知點(diǎn)：

第一類是大數(shù)據(jù)知識論，這種認(rèn)知以大數(shù)據(jù)方法、理論、知識的研究和推導(dǎo)為聚焦點(diǎn)，通過深度學(xué)習(xí)，歸納、總結(jié)出大數(shù)據(jù)知識體系。這是典型的學(xué)院派，優(yōu)勢是對基礎(chǔ)理論研究非常透徹并且具備深厚的理論基礎(chǔ)，不足之處是缺乏對產(chǎn)業(yè)、學(xué)術(shù)、應(yīng)用的結(jié)合，更缺少真正能落地的應(yīng)用案例。

第二類是大數(shù)據(jù)技術(shù)論，這種認(rèn)知以大數(shù)據(jù)技術(shù)為聚焦點(diǎn)，落腳于大數(shù)據(jù)的硬件、服務(wù)、架構(gòu)、開發(fā)、計(jì)算、算法等具體實(shí)施層面。誠然，大數(shù)據(jù)技術(shù)是大數(shù)據(jù)實(shí)施的核心，也是帶來技術(shù)變革和生產(chǎn)力突破的關(guān)鍵，但只有技術(shù)而缺乏正確的方向以及有價(jià)值的應(yīng)用引導(dǎo)，技術(shù)便無法發(fā)揮作用，更無法轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值、社會價(jià)值和政治價(jià)值。

第三類是大數(shù)據(jù)應(yīng)用論，這種認(rèn)知以大數(shù)據(jù)的場景化為聚焦點(diǎn)，通過對歷史、現(xiàn)在、未來的變革、創(chuàng)新和實(shí)踐的總結(jié)和構(gòu)想，營造出大數(shù)據(jù)的豐富應(yīng)用場景和能力空間。這是一種典型的以應(yīng)用為驅(qū)動的認(rèn)知理論，通過落地案例驅(qū)動技術(shù)來表現(xiàn)大數(shù)據(jù)的巨大價(jià)值。但這種應(yīng)用論過于專注場景化包裝，更強(qiáng)調(diào)落地而忽視技術(shù)的巨大潛力和推動作用，更無法體現(xiàn)出大數(shù)據(jù)作為企業(yè)資產(chǎn)、技術(shù)競爭力等非直接利潤表現(xiàn)的價(jià)值因素。

本書的幾位聯(lián)合作者彼此是共事多年的朋友，各自負(fù)責(zé)大數(shù)據(jù)工作中的不同環(huán)節(jié)。大家的工作和知識有交集更有互補(bǔ)，因此，我們認(rèn)為只有依靠這種“知識合并”和“知識互補(bǔ)”的關(guān)系才能夠呈現(xiàn)出大數(shù)據(jù)的全貌，這也是撰寫本書的出發(fā)點(diǎn)之一。

當(dāng)前，市場上有非常多關(guān)于大數(shù)據(jù)的書籍，但能從整體性、全局性、安全性、價(jià)值性、技術(shù)性、體系性等方面完整考慮的書非常少。我們希望通過本書讓讀者認(rèn)識到大數(shù)據(jù)不僅僅是數(shù)據(jù)、技術(shù)、架構(gòu)、應(yīng)用，更是結(jié)合了商業(yè)模式、戰(zhàn)略定位、信息安全、單位協(xié)同、組織保障、實(shí)施選型的完整體系。

幾位聯(lián)合作者對于本書內(nèi)容的貢獻(xiàn)如下：呂兆星撰寫了技術(shù)的架構(gòu)部分，包括第4章、第5章、第6章；鄭傳峰撰寫了戰(zhàn)略和應(yīng)用的部分，包括第1章、第2章、第9章；宋天龍撰寫了數(shù)據(jù)和價(jià)值評估的部分，包括第3章、第8章、第10章、第11章、第12章、第13章；楊曉鵬撰寫了技術(shù)開發(fā)的部分中第7章的全部內(nèi)容。

作者簡介

呂兆星（Ethan Lv）

資深大數(shù)據(jù)技術(shù)專家，精通基于大數(shù)據(jù)的分布式數(shù)據(jù)挖掘、存儲、計(jì)算技術(shù)，以及其生態(tài)體系架構(gòu)；精通垂直搜索技術(shù)、機(jī)器學(xué)習(xí)、文本情感傾向性挖掘、網(wǎng)絡(luò)爬蟲、全文索引體系架構(gòu)。曾任軟通動力集團(tuán)大數(shù)據(jù)研究院總架構(gòu)師、Hive Cloud創(chuàng)始人、蘿卜網(wǎng)CTO、國美在線大數(shù)據(jù)中心高級架構(gòu)師等。

主導(dǎo)研發(fā)的大數(shù)據(jù)和文本挖掘平臺包括：DMP、DSP、推薦系統(tǒng)、決策運(yùn)營系統(tǒng)、i Creations系列產(chǎn)品、蜂棱系列產(chǎn)品、軍犬輿情系列產(chǎn)品等。并成功應(yīng)用到能源、電力、電商、電信、金融、政府、食品、醫(yī)療保健等行業(yè)與機(jī)構(gòu)，覆蓋超過500家各級企業(yè)用戶。所著《基于機(jī)器學(xué)習(xí)的數(shù)據(jù)挖掘模型》獲得國家級技術(shù)創(chuàng)新基金。

鄭傳峰（Peter Zheng）

大數(shù)據(jù)業(yè)務(wù)應(yīng)用領(lǐng)域?qū)＜遥鲗?dǎo)大數(shù)據(jù)方向的戰(zhàn)略規(guī)劃，包括數(shù)據(jù)產(chǎn)品、數(shù)據(jù)應(yīng)用、數(shù)據(jù)價(jià)值變現(xiàn)等方向。曾任軟通動力數(shù)據(jù)科技公司資深數(shù)據(jù)應(yīng)用專家，Hive Cloud首席戰(zhàn)略官。

階段性負(fù)責(zé)國美電器、國美在線，以及庫巴網(wǎng)會員營銷、網(wǎng)站運(yùn)營和產(chǎn)品設(shè)計(jì)工作，在CRM系統(tǒng)、DMP數(shù)據(jù)平臺、精準(zhǔn)營銷系統(tǒng)、廣告精投、能源大數(shù)據(jù)擁有多年的操盤經(jīng)驗(yàn)，涉及大數(shù)據(jù)上層應(yīng)用服務(wù)產(chǎn)品的設(shè)計(jì)、咨詢和實(shí)施。參與多家大型企業(yè)或機(jī)構(gòu)的大數(shù)據(jù)戰(zhàn)略規(guī)劃和實(shí)施，行業(yè)覆蓋零售、電商、電信、政府、交通、能源和電力等。

宋天龍（Tony Song）

大數(shù)據(jù)領(lǐng)域資深數(shù)據(jù)分析、挖掘和建模專家，精通端到端數(shù)據(jù)價(jià)值場景設(shè)計(jì)、業(yè)務(wù)需求轉(zhuǎn)換、數(shù)據(jù)結(jié)構(gòu)梳理、數(shù)據(jù)建模與學(xué)習(xí)，以及數(shù)據(jù)工程交付。曾任軟通動力集團(tuán)大數(shù)據(jù)研究院數(shù)據(jù)總監(jiān)，Webtrekk（德國最大的網(wǎng)站數(shù)據(jù)分析服務(wù)提供商）中國區(qū)技術(shù)和咨詢負(fù)責(zé)人，國美大數(shù)據(jù)中心經(jīng)理。

擁有豐富的大數(shù)據(jù)項(xiàng)目工作經(jīng)驗(yàn)，參與過集團(tuán)和企業(yè)級大數(shù)據(jù)存儲平臺、大數(shù)據(jù)開發(fā)和集成平臺、數(shù)據(jù)體系規(guī)劃、大數(shù)據(jù)產(chǎn)品開發(fā)、網(wǎng)站流量系統(tǒng)建設(shè)、網(wǎng)站智能推薦、企業(yè)大數(shù)據(jù)智能等大型數(shù)據(jù)工作項(xiàng)目。參與實(shí)施客戶案例包括Webpower、德國OTTO集團(tuán)電子商務(wù)（中國）、Esprit中國、豬八戒網(wǎng)、順豐優(yōu)選、樂視商城、泰康人壽、酒仙網(wǎng)，國美在線、迪信通等。合作培訓(xùn)及沙龍單位包括人民大學(xué)、數(shù)盟、蘿卜網(wǎng)、Netconcepts、觸脈、中商聯(lián)數(shù)據(jù)分析委等。蘿卜課堂、天善學(xué)院特邀講師，百度文庫認(rèn)證作家，36大數(shù)據(jù)、站長之家、互聯(lián)網(wǎng)分析沙龍專欄作家。著有《網(wǎng)站數(shù)據(jù)挖掘與分析：系統(tǒng)方法與商業(yè)實(shí)踐》一書。

楊曉鵬（Kelvin Yang）

大數(shù)據(jù)及BI技術(shù)領(lǐng)域資深架構(gòu)師，精通傳統(tǒng)數(shù)據(jù)模式及大數(shù)據(jù)分布模式的數(shù)據(jù)存儲、計(jì)算與應(yīng)用架構(gòu)，以及大數(shù)據(jù)量的數(shù)據(jù)遷移、存儲、索引、計(jì)算、分析與挖掘等相關(guān)環(huán)節(jié)的設(shè)計(jì)、實(shí)現(xiàn)與優(yōu)化。曾任軟通動力集團(tuán)大數(shù)據(jù)研究院高級架構(gòu)師，Hive Cloud總架構(gòu)師，主導(dǎo)大數(shù)據(jù)存儲平臺、計(jì)算平臺和應(yīng)用服務(wù)平臺的設(shè)計(jì)與研發(fā)，曾任居然之家O2O大數(shù)據(jù)平臺總負(fù)責(zé)人、中國銀聯(lián)大數(shù)據(jù)報(bào)文分析項(xiàng)目高級技術(shù)顧問、國美在線大數(shù)據(jù)中心高級技術(shù)工程師。

曾參與企業(yè)級項(xiàng)目包括大型電商網(wǎng)站的BI系統(tǒng)、數(shù)據(jù)倉庫、大數(shù)據(jù)系統(tǒng)等設(shè)計(jì)和研發(fā)項(xiàng)目，以及金融銀行類企業(yè)風(fēng)險(xiǎn)及異常交易分析項(xiàng)目。實(shí)施大中型企業(yè)數(shù)據(jù)項(xiàng)目包括居然之家、中國銀聯(lián)、華農(nóng)保險(xiǎn)、中國電信等超過50家客戶的案例。精通大數(shù)據(jù)Hadoop、Hive、HBase、Impala、Spark等組件的架構(gòu)與實(shí)施，精通數(shù)學(xué)模型，自主開發(fā)實(shí)現(xiàn)分治/覆蓋的C4.5決策樹、馬爾科夫預(yù)測、KMeans、Apriori等模型算法程序，并成功應(yīng)用到電商、金融等行業(yè)。

讀者對象

本書雖然是一本有關(guān)大數(shù)據(jù)的書籍，但并沒有對讀者的數(shù)據(jù)、技術(shù)等專業(yè)知識做硬性要求，相反，我們盡量讓書籍的內(nèi)容深入淺出、便于理解。當(dāng)然，如果讀者具有一定的知識背景，在對專業(yè)知識的理解上會更有幫助。本書適合以下幾類讀者閱讀：

?對大數(shù)據(jù)感興趣的專業(yè)人員。數(shù)據(jù)工作能力已經(jīng)成為提升自身技能、增強(qiáng)職業(yè)競爭力的重要因素。無論讀者從事什么工作，如果能夠?qū)⒋髷?shù)據(jù)的思路、價(jià)值和應(yīng)用方法與工作實(shí)踐相結(jié)合，一定會對現(xiàn)有工作有所幫助。

?剛進(jìn)入大數(shù)據(jù)行業(yè)的新人。剛?cè)胄械男袠I(yè)新人需要對大數(shù)據(jù)有完整的認(rèn)知，然后才能針對不同的大數(shù)據(jù)工作并結(jié)合自己特點(diǎn)、喜好等制定適合自己的職業(yè)規(guī)劃和成長路徑。本書針對大數(shù)據(jù)體系做出詳細(xì)、系統(tǒng)的介紹，涵蓋從戰(zhàn)略規(guī)劃到實(shí)施應(yīng)用，從技術(shù)架構(gòu)到技術(shù)開發(fā)，從數(shù)據(jù)工作流到價(jià)值評估等一系列知識，對新人的指導(dǎo)意義非常大。

?具備一定實(shí)踐經(jīng)驗(yàn)的大數(shù)據(jù)從業(yè)者。對于已經(jīng)在大數(shù)據(jù)方面工作1～3年的從業(yè)者，相信你已經(jīng)遇到了一些瓶頸，想要在原有的大數(shù)據(jù)思維基礎(chǔ)上獲得更有效的工作方法和價(jià)值提升。本書中豐富的應(yīng)用案例可以幫助你撥開云霧見青天。

?已經(jīng)具有豐富工作經(jīng)驗(yàn)的大數(shù)據(jù)從業(yè)者。當(dāng)大數(shù)據(jù)從業(yè)者工作3年以上時(shí)，就已經(jīng)有機(jī)會從執(zhí)行層走向管理層。機(jī)會總是留給準(zhǔn)備好的人，作為管理者如何從數(shù)據(jù)工作流程、制度、風(fēng)險(xiǎn)、績效、安全和價(jià)值等方面進(jìn)行思考并開展工作？相信本書會給你滿意的答案。

如何閱讀本書

本書內(nèi)容共分為三個(gè)部分，按照大數(shù)據(jù)的規(guī)劃定位、組織實(shí)施和價(jià)值提升，以及變革與挑戰(zhàn)的思路撰寫。

第1～4章講解企業(yè)大數(shù)據(jù)的戰(zhàn)略規(guī)劃，主要從宏觀的角度介紹大數(shù)據(jù)的定位、組織保障、解決方案選擇和自主實(shí)施思路，目的是從全局角度引導(dǎo)建立大數(shù)據(jù)工作的整體思維。

第5～10章講解企業(yè)大數(shù)據(jù)的落地實(shí)施，主要從執(zhí)行層面介紹了大數(shù)據(jù)落地的相關(guān)技術(shù)、架構(gòu)、開發(fā)、大數(shù)據(jù)工作流、應(yīng)用和價(jià)值評估，直接以落地視角解讀大數(shù)據(jù)工作中每個(gè)環(huán)節(jié)涉及的流程、知識和方法，這也是本書的核心章節(jié)。

第11～13章講解大數(shù)據(jù)的價(jià)值、變革和挑戰(zhàn)，主要涉及大數(shù)據(jù)的社會價(jià)值、當(dāng)前問題和挑戰(zhàn)以及大數(shù)據(jù)的未來趨勢，這是對現(xiàn)有大數(shù)據(jù)工作的延展以及未來趨勢的探索。

由于本書各個(gè)章節(jié)的內(nèi)容相對獨(dú)立，均可自成體系，因此在閱讀本書的過程中并不要求讀者注意特定的邏輯關(guān)系，讀者可直接選擇感興趣的內(nèi)容閱讀。但是，從整書的邏輯結(jié)構(gòu)和撰寫出發(fā)點(diǎn)上，仍然建議讀者從頭開始閱讀。

勘誤和支持

由于作者的水平有限，書中難免會出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請讀者不吝指正。為此，作者特地創(chuàng)建了一個(gè)QQ群（群號：303237546），讀者可以在QQ群中進(jìn)行交流并提出意見與建議（或者添加微信Tony Song2013進(jìn)行反饋）；同時(shí)如果有任何問題，也可以在群中溝通討論；更重要的是，我們希望能夠?qū)氖麓髷?shù)據(jù)行業(yè)的志同道合的人士聚集起來，分享彼此的工作經(jīng)驗(yàn)。

致謝

在本書的撰寫過程中，我們得到了來自多方的指導(dǎo)、幫助和支持。

首先要感謝的是我們的創(chuàng)作導(dǎo)師及本書的審校尹慧敏先生，以及軟通動力集團(tuán)高級副總裁史研先生，是他們給我們提供了更多探索企業(yè)大數(shù)據(jù)在不同行業(yè)的實(shí)踐機(jī)會，并在該過程中給予我們戰(zhàn)略引導(dǎo)、思想提升和方法啟迪，本書的順利完成與此密不可分。

其次要感謝在各個(gè)大數(shù)據(jù)項(xiàng)目和工作中，擔(dān)當(dāng)核心骨干的團(tuán)隊(duì)成員，他們是王平、曹佳佳、陳駿、陳海洋、李國彬、呂奔、姚璐、張麗濤、江濤、豆阿婷、高杰、侯良偉、楊勇、麻建昕等；當(dāng)然，也要感謝來自項(xiàng)目團(tuán)隊(duì)中的各位領(lǐng)導(dǎo)、伙伴、朋友的大力支持！

再次要感謝機(jī)械工業(yè)出版社華章公司的楊福川老師，是他鼓勵(lì)我們完成了本書并在撰寫過程中給予了詳細(xì)的思路拓展和專業(yè)指導(dǎo)；感謝全程參與審核、校驗(yàn)等工作的孫海亮編輯以及其他在背后默默支持的出版工作者。

最后要感謝我們的家人和朋友，在寫書的這段期間里，他們幫我們解決了很多生活和工作中的問題，使得我們有精力、有時(shí)間完成本書的全部撰寫工作。

謹(jǐn)以本書獻(xiàn)給我們最親愛的父母，以及眾多熱愛大數(shù)據(jù)工作并為之奮斗的朋友們！

宋天龍（Tony Song）