1.7 大數據實踐平臺的搭建

針對大數據技術的學習，本書假定讀者已掌握Linux的基本使用、Java簡單編程。

本書的定位是實踐，所以在進入后面的學習前，需要動手搭建實踐環境。這里給出幾種搭建模式，幫助讀者建立適合自己的環境。

1.7.1 初學者模式

本模式是在一臺物理機（筆記本電腦或臺式機）上，根據計算機硬件性能，搭建一臺或三臺虛擬主機，在虛擬主機里部署各類大數據組件。

（1）所需要的主要軟件環境如下。

●虛擬主機軟件：推薦采用VMware Workstation或Oracle VM VirtualBox。

●Linux操作系統：推薦采用Red Hat或CentOS。

●遠程管理軟件：SSH或SecureCRT。

（2）本模式的安裝流程如下。

①在物理機上安裝虛擬主機軟件。

②在虛擬主機軟件中新建虛擬主機，安裝Linux。

③調通新建虛擬主機的網絡，可以實現在物理機與虛擬主機之間互訪問。

④開啟SSH服務，實現物理主機通過SSH管理虛擬主機。

本模式適合初學者，優點是簡單，缺點是每次使用大數據時，需要先開啟虛擬主機，無法隨時隨地使用。

1.7.2 物理集群模式

本模式是采用多臺（1至3臺）物理服務器，在標準的機房環境里搭建大數據平臺。

（1）所需要的主要軟硬件環境如下：

●多臺物理服務器。

●一臺交換機。

●個人管理機，筆記本電腦或臺式機。

●Linux操作系統，推薦采用Red Hat或CentOS。

●遠程管理軟件，SSH或SecureCRT。

（2）本模式的安裝流程如下。

①服務器上架與物理連線。

②在所有物理服務器上安裝Linux操作系統。

③調通物理服務器之間的網絡，調通管理機對物理服務器的網絡。

④在所有物理服務器上開啟SSH服務，并增加機房網絡防火墻安全策略，允許管理機通過SSH管理物理服務器。

本模式適合于機構用戶，有一定的硬件資源，優點是性能優越，可永備使用；缺點是成本相對較高，集群規模有限。

1.7.3 虛擬化集群模式

本模式是采用云計算的模式，底層設置多臺物理服務器，通過云計算管理軟件實現幾十、上百臺虛擬主機的制備，在虛擬主機中搭建大數據平臺。

（1）所需要的主要軟硬件環境如下：

●一定數量的物理服務器。

●一定數量的交換機。

●個人管理機，筆記本電腦或臺式機。

●OpenStack等云管理軟件。

●Linux操作系統：推薦采用Red Hat或CentOS。

●遠程管理軟件：SSH或SecureCRT。

（2）本模式的安裝流程如下。

①服務器上架與物理連線。

②在所有物理服務器上安裝Linux操作系統。

③部署OpenStack框架，在物理服務器上按要求部署Nova、Ceph、Glance、Keystone、Quantum、MySQL、HTTP、Horizon等組件模塊，完成云計算環境的部署。

④調通物理服務器、云計算內部網絡，調通管理機對物理服務器的網絡。

⑤制備Linux虛擬主機，并開放相關的SSH管理權限。

本模式適合于中型以上機構用戶，利用富余的硬件資源搭建云環境，并按需對外提供虛擬主機資源，優點是可在分鐘級內批量創建或回收上百個大數據節點，滿足更多用戶、更大范圍的使用；缺點是需要維護云計算環境，如果規模不大，成本會比較高。