前言

技術(shù)革命的浪潮推動著人類文明的發(fā)展。

第一次浪潮造就了農(nóng)業(yè)革命，它在數(shù)千年前出現(xiàn)并持續(xù)了數(shù)千年；第二次浪潮造就了工業(yè)革命，它在數(shù)百年前出現(xiàn)并持續(xù)了數(shù)百年；我們今天正在經(jīng)歷著信息技術(shù)第三次浪潮，發(fā)端于數(shù)十年前，目前也只是處在初級階段。

農(nóng)業(yè)技術(shù)革命釋放了“物之力”；工業(yè)技術(shù)革命釋放了“能之力”，而今天的信息技術(shù)革命釋放的是“智之力”。

距今400年前，培根在《偉大的復(fù)興》中預(yù)言：知識就是力量。今天，人類終于迎來“知識經(jīng)濟(jì)時代”，它是人類社會經(jīng)濟(jì)增長方式與經(jīng)濟(jì)發(fā)展的全新模式。

人類認(rèn)識物質(zhì)世界、人類社會和精神世界的最高境界是智慧，而要達(dá)智慧的境界，必然要跨越數(shù)據(jù)、信息、知識三個層級。

數(shù)據(jù)作為基礎(chǔ)，是信息之母、知識之初、智慧之源。正是今天的大數(shù)據(jù)技術(shù)，引燃了人們實現(xiàn)智慧城市、智慧醫(yī)療、智慧教育等有關(guān)人工智慧的激情。人們真切地認(rèn)識到，對于人工智能，只要讓數(shù)據(jù)發(fā)生質(zhì)變，即使是簡單的數(shù)據(jù)，也比復(fù)雜的算法更有效。

今天，移動互聯(lián)網(wǎng)的發(fā)展，使我們在獲取數(shù)據(jù)上有了質(zhì)的飛躍，人類的各種社會活動都與互聯(lián)網(wǎng)這個虛擬世界相聯(lián)系，使全樣本、全過程地有效測量和記錄成為可能，構(gòu)建了生成大數(shù)據(jù)生態(tài)的土壤，同時，人們還在期待和憧憬物聯(lián)網(wǎng)帶來更大的沖擊。

另一方面，云計算發(fā)展到今天，不論從技術(shù)到產(chǎn)業(yè)都開始進(jìn)入成熟期，這也是大數(shù)據(jù)發(fā)展的基石和推進(jìn)器。

在今天這個時代中，運(yùn)用大數(shù)據(jù)洞見事物蘊(yùn)藏的“智慧”成為人們的渴望。大數(shù)據(jù)更新了人們對數(shù)據(jù)的認(rèn)識。在技術(shù)層面，小數(shù)據(jù)時代的很多數(shù)據(jù)處理方法和工具已不再有效，需要一系列新的方法和工具。所幸，有大量平民化的開源軟件可用，它們不需要特殊的硬件系統(tǒng)，也更適用于云計算環(huán)境。

本書正是一本介紹主流的大數(shù)據(jù)開源軟件平臺和工具的技術(shù)專著，側(cè)重于大數(shù)據(jù)的實踐性技術(shù)，幫助讀者快速入門，通過具體深入的實踐，體會大數(shù)據(jù)的技術(shù)本質(zhì)特征，領(lǐng)略大數(shù)據(jù)技術(shù)帶來的創(chuàng)新理念，更好地理解和把握信息技術(shù)的發(fā)展趨勢。

本書定位

（1）信息發(fā)展已步入大數(shù)據(jù)時代，當(dāng)前對于大數(shù)據(jù)還缺乏面向公眾的技術(shù)實踐手冊。

（2）本書的創(chuàng)作團(tuán)隊有豐富的大數(shù)據(jù)規(guī)劃、開發(fā)、運(yùn)營等經(jīng)驗，多位作者成功地架構(gòu)了教育部、科技部、互聯(lián)網(wǎng)等大數(shù)據(jù)架構(gòu)與分析項目。

（3）本書的參與者均是部委信息一線工程師、著名外企架構(gòu)師、國內(nèi)企業(yè)資深高級工程師，所做的理論分析易于學(xué)習(xí)，實踐具有可操作性。

（4）本書重點介紹大數(shù)據(jù)的基礎(chǔ)理論、關(guān)鍵技術(shù)，以及編程實踐。利用本書，就可以完全搭建并能有效地管理好大數(shù)據(jù)平臺。

本書特色

（1）理念先進(jìn)：均是國內(nèi)外最新的大數(shù)據(jù)理念；方便讀者全面了解國內(nèi)外大數(shù)據(jù)研究與發(fā)展的情況。

（2）技術(shù)領(lǐng)先：參與者均是國內(nèi)IT人士；采用的平臺均是業(yè)界主流開源平臺，涉及大數(shù)據(jù)常用的HDFS、MapReduce、YARN、Zookeeper、HBase、Hive、Sqoop、Storm、Kafka等技術(shù)的介紹與編程使用。

（3）案例豐富：提供翔實的實例與解決方法，供項目中參考。

（4）資源齊備：本書涉及的配套下載資源可以從清華大學(xué)出版社的網(wǎng)站中下載。

全書關(guān)鍵字

大數(shù)據(jù)、分布式計算、數(shù)據(jù)倉庫、數(shù)據(jù)分析、HDFS、MapReduce、YARN、Zookeeper、HBase、Hive、Sqoop、Storm、Kafka。

由于編者的水平有限，書中難免有疏漏和錯誤，希望業(yè)內(nèi)專家和廣大讀者指正。

編者