前言

當(dāng)今世界，信息技術(shù)為人類開啟了步入智能社會(huì)的大門，同時(shí)也帶動(dòng)了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、（電子商務(wù)、現(xiàn)代物流、網(wǎng)絡(luò)金融）等現(xiàn)代服務(wù)業(yè)的發(fā)展，帶來了車聯(lián)網(wǎng)、智能電網(wǎng)、新能源、智能交通、智慧城市、高端裝備制造等產(chǎn)業(yè)的興起?，F(xiàn)代信息技術(shù)正成為各行各業(yè)運(yùn)營和發(fā)展的引擎，而由于各種業(yè)務(wù)數(shù)據(jù)正以幾何級(jí)數(shù)的形式增長，這個(gè)引擎正面臨著大數(shù)據(jù)這個(gè)巨大的考驗(yàn)。對于數(shù)據(jù)的格式、收集、儲(chǔ)存、檢索、分析、應(yīng)用等諸多問題，已不能再用傳統(tǒng)的信息處理技術(shù)解決。這給人類邁入數(shù)字社會(huì)、網(wǎng)絡(luò)社會(huì)和智能社會(huì)造成了極大的障礙。

數(shù)據(jù)無疑是新型信息技術(shù)服務(wù)和科學(xué)研究的基石，而大數(shù)據(jù)處理技術(shù)理所當(dāng)然地成為當(dāng)今信息技術(shù)發(fā)展的核心熱點(diǎn)。大數(shù)據(jù)處理技術(shù)的蓬勃發(fā)展也預(yù)示著又一次信息技術(shù)革命的到來。隨著國家經(jīng)濟(jì)結(jié)構(gòu)調(diào)整、產(chǎn)業(yè)升級(jí)的不斷深化，信息處理技術(shù)的作用日益凸顯，而大數(shù)據(jù)處理技術(shù)無疑將在國民經(jīng)濟(jì)支柱產(chǎn)業(yè)的信息化建設(shè)中成為實(shí)現(xiàn)核心技術(shù)的彎道追趕、跟隨發(fā)展、應(yīng)用突破、減少綁架的最佳突破點(diǎn)。

當(dāng)前，市面上已經(jīng)陸續(xù)出版了不少關(guān)于大數(shù)據(jù)的書，有面向大眾的概念普及類圖書，也有講解大數(shù)據(jù)技術(shù)的書，本書屬于第二類。本書專注于研究與大數(shù)據(jù)處理有關(guān)的互聯(lián)網(wǎng)架構(gòu)，全書共分為六章。第一章是緒論，介紹了大數(shù)據(jù)的發(fā)展與相關(guān)概念；第二章是大數(shù)據(jù)處理流程與系統(tǒng)架構(gòu)，介紹了大數(shù)據(jù)的基礎(chǔ)知識(shí)；第三章是大數(shù)據(jù)基礎(chǔ)技術(shù)支持，講述了數(shù)據(jù)中心與云計(jì)算平臺(tái)的架構(gòu)、虛擬化技術(shù)與數(shù)據(jù)采集；第四章是大數(shù)據(jù)存儲(chǔ)，介紹了分布式文件系統(tǒng)與分布式數(shù)據(jù)庫，并詳細(xì)講述了分布式數(shù)據(jù)庫中的列式存儲(chǔ)、文檔存儲(chǔ)和Key-Value存儲(chǔ)；第五章是大數(shù)據(jù)處理，講述了大數(shù)據(jù)的兩種處理技術(shù)——批處理和流式計(jì)算，并研究了大數(shù)據(jù)分析與挖掘的工具與架構(gòu)；第六章是大數(shù)據(jù)架構(gòu)設(shè)計(jì)實(shí)例，講述了大數(shù)據(jù)應(yīng)用實(shí)例及大數(shù)據(jù)在各行各業(yè)的應(yīng)用架構(gòu)實(shí)例。

本書在寫作過程中參考了大量的書籍，謹(jǐn)向這些書的作者和譯者表示真誠的謝意。另外，本書在寫作過程中還參考了部分網(wǎng)上相關(guān)資料，書中所用部分圖片也是通過搜索引擎在網(wǎng)上找到的，但本書對參考網(wǎng)文與圖片的來源無法一一注明，在此謹(jǐn)向這些網(wǎng)文與圖片的作者或所有者表示感謝，還請見諒。最后需要說明的是，由于作者水平有限，書中難免有不足或錯(cuò)誤，敬請各位讀者批評(píng)指正。

作者

2017年5月