2.1　Ceph集群的組成架構(gòu)

Ceph集群服務(wù)端主要有3種類型的守護進程，每種類型的守護進程最后都被規(guī)劃到特定服務(wù)器節(jié)點上。下面對這3種類型的守護進程進行簡單描述。

1）Ceph OSD：利用Ceph節(jié)點上的CPU、內(nèi)存和網(wǎng)絡(luò)進行數(shù)據(jù)復(fù)制、糾錯、重新平衡、恢復(fù)、監(jiān)控和報告等。

2）Ceph Monitor：維護Ceph集群的主副本映射、Ceph集群的當前狀態(tài)以及處理各種與運行控制相關(guān)的工作。

3）Ceph Manager：維護Placement Group（放置組）有關(guān)的詳細信息，代替Ceph Monitor處理元數(shù)據(jù)和主機元數(shù)據(jù)，能顯著改善大規(guī)模集群的訪問性能。Ceph Manager處理許多只讀Ceph CLI的查詢請求，例如放置組統(tǒng)計信息。Ceph Manager還提供了RESTful API。

Ceph客戶端接口負責和Ceph集群進行數(shù)據(jù)交互，包括數(shù)據(jù)的讀寫。客戶端需要以下數(shù)據(jù)才能與Ceph集群進行通信。

·Ceph配置文件或集群的名稱（通常命名為ceph）、Monitor地址

·存儲池名稱

·用戶名和密鑰路徑

Ceph客戶端維護對象ID和存儲對象的存儲池名稱。為了存儲和檢索數(shù)據(jù)，Ceph客戶端訪問Ceph Monitor并檢索最新的Cluster Map副本，然后由Ceph客戶端向Librados提供對象名稱和存儲池名稱。Librados會使用CRUSH算法為要存儲和檢索的數(shù)據(jù)計算對象的放置組和主OSD。客戶端連接到主OSD，并在其中執(zhí)行讀取和寫入操作。

圖2-1展示了Ceph集群的組成架構(gòu)。它包含構(gòu)建一個Ceph集群所需的必要功能節(jié)點以及網(wǎng)絡(luò)關(guān)聯(lián)關(guān)系，只有少部分集群的網(wǎng)關(guān)節(jié)點未在圖中顯示。

圖2-1　Ceph集群的組成架構(gòu)

圖2-1中有兩個重要的關(guān)注點。

（1）網(wǎng)絡(luò)

這里有兩個萬兆網(wǎng)絡(luò)，集群對外通信網(wǎng)絡(luò)和集群內(nèi)部通信網(wǎng)絡(luò)。我們也可以在該網(wǎng)絡(luò)中增加一個管理網(wǎng)絡(luò)，但由于管理數(shù)據(jù)的流量很小，可將管理網(wǎng)絡(luò)和公網(wǎng)網(wǎng)絡(luò)合并。

由于Ceph集群最初的設(shè)計是為了提高集群的性能，并且考慮到集群網(wǎng)絡(luò)的帶寬要求，因此將集群內(nèi)部流量與客戶端到集群流量進行隔離，從而設(shè)計了兩層網(wǎng)絡(luò)。在較小的集群上，1G網(wǎng)絡(luò)可能適用于正常操作環(huán)境，但不適用于繁重的負載或故障恢復(fù)環(huán)境。如果驅(qū)動器發(fā)生故障，則跨1G網(wǎng)絡(luò)復(fù)制1TB數(shù)據(jù)需要3小時。這對于集群的使用體驗來說是不能接受的。而對于10G網(wǎng)絡(luò)，復(fù)制同樣的數(shù)據(jù)時間則在20分鐘內(nèi)。這也是生產(chǎn)環(huán)境中一定要使用萬兆網(wǎng)絡(luò)，甚至服務(wù)器綁定多萬兆網(wǎng)卡的原因。

（2）服務(wù)器

這里面的服務(wù)器分了幾種角色，每種角色都對應(yīng)集群的一類功能，主要包括MON（Ceph集群的Monitor節(jié)點）、OSD（Ceph集群的存儲節(jié)點）、MGR（Ceph集群的管理節(jié)點）、RGW（Ceph集群的對象網(wǎng)關(guān)節(jié)點）、MDS（CephFS元數(shù)據(jù)節(jié)點）、iSCSI網(wǎng)關(guān)、NFS集群網(wǎng)關(guān)和Ceph客戶端。

接下來，我們對集群中涉及的主要服務(wù)器角色進行逐一分析，闡述其具體功能。