第一篇 IT運維篇

第1章 云平臺架構

1.1 數據中心

Q1.網絡云資源池機房基礎設施及配套要求是什么？

一、機房基礎設施及配套要求

（一）集中網絡云機房總體要求

（1）“面向未來、長遠規劃”，按照滿足5～10年業務發展需求，先行規劃建設集中網絡云所在數據中心機房基礎設施[1]。

（2）集中網絡云所在數據中心機房應滿足《中國移動數據中心機電工程建設指導意見》最新版中關于A級數據中心的相關規定。

（3）集中網絡云所在數據中心機房所在機樓原則上應具備三條出局光纜，滿足接入省份至本節點省份主用節點、備用節點路由需求。

（二）機房工藝要求

（1）尾纖槽道下線孔與機柜下線孔位置匹配，方便布線，減少路由迂回。

（2）為充分利用機架空間、提升裝機率，服務器機柜（包括計算型、存儲型）應采用密集部署方式裝機。

（三）機房消防要求

在進行機房規劃時，應該遵守國家關于消防安全的規定，不得設置對消防噴頭有任何阻擋的設施，依據現行的《氣體滅火系統設計規范》（GB 50370—2015）、《建筑設計防火規范（2018 年修訂版）》（GB 50016—2014）、《火災自動報警系統設計規范》（GB 50116—2013）、《消防給水及消火栓系統技術規范》（GB 50974—2014）、《自動噴水滅火系統設計規范》（GB 50084—2017）和《建筑滅火器配置設計規范》（GB 50140—2005）等的相關規定進行設計。

（四）機房環境監控要求

監控系統要對機房環境、安防等方面進行實時監控，并記錄和處理相關數據，保障各類通信設備的安全運行。

二、機架、走線架及尾纖槽道要求

（一）機架要求

每個網絡云節點省份內同一機房的機架為同一種樣式：顏色深色系，統一要求新增機柜不設柜門。機架尺寸建議為600mm（寬）×1200mm（深）×2200mm（高）。

（二）走線架及尾纖槽道要求

機房線纜在布放時應采用走線架及尾纖槽道方式。

1.走線架要求

（1）機房線纜在布放時應采用走線架，走線架應選擇開放式走線架，并應設置至少兩層走線架；交流電纜、直流電纜、信號電纜嚴禁交叉混走，各走線架用途應有清晰標識。

（2）列走線架不應安裝在熱通道上方，應盡量安裝在機架上方，以避免阻礙回風效果。

（3）水平安裝的走線架距機架頂部不應小于0.1m。

（4）走線架多層敷設時，其層間距離應符合下列規定：電力電纜走線架間距離不宜小于 0.3m；通信電纜與電力電纜走線架間距離不宜小于 0.3m；通信電纜走線架間距離不宜小于 0.2m；走線架上部與頂棚、樓板或梁等障礙物間距離不宜小于0.3m。

（5）走線架敷設應滿足機房內信號線纜雙路由要求。

2.尾纖槽道要求

（1）考慮網絡云設備信號線纜以尾纖為主，并且尾纖數量較多，尾纖槽道寬度要求原則上不低于240mm。

（2）列尾纖槽道敷設位置應保證其下線口與機架下線口對準。

（3）主尾纖槽道建議敷設在列尾纖槽道兩端位置。

（4）尾纖槽道敷設應滿足機房內信號線纜雙路由要求。

3.機架排列要求

（1）在進行機房平面規劃時，機架布置采用“面對面、背對背”的排列方式，相鄰兩列設備的吸風面（正面）安裝在冷通道上，排風面（背面）安裝在熱通道上，實現冷熱氣流分隔，形成良好的氣流組織，提高空調的制冷效率[2]。

（2）機架內未安裝設備的 U 位，應安裝擋風盲板，實現冷熱氣流分隔，形成良好的氣流組織。

（3）工藝設備列間距要考慮工藝設備維護空間，還應根據機架裝機功率密度的大小合理選擇列間距。

（4）機架列間距根據設備發熱量、送風方式、設備運輸及維護要求等因素確定，標準機架正面維護凈間距不小于1200mm，背面維護凈間距不小于800mm。

4.機架加固要求

機架應根據《電信設備安裝抗震設計規范》（YD 5059—2005）進行加固處理。

注：后續如發布更新的業務、網絡系統對應機房級別劃分相關規范，應按照最新規范要求執行。

Q2.網絡云資源池供電系統如何管理？

一、電源設計要求

（一）機房電源要求

（1）電源配套建設標準應滿足《中國移動數據中心機電工程建設指導意見》A級機房要求。

（2）網絡云機房應采用雙路高壓直流、雙路 UPS （Uninterruptible Power Supply，不間斷電源）保障兩種供電方式。UPS、高壓直流采用2N系統。

（3）網絡云設備應采用專用通信電源系統（高壓直流電源系統+蓄電池組/UPS+蓄電池組）為網絡云設備供電；蓄電池組按后備時間15分鐘高功率型電池配置。

（4）應由相互獨立的電源系統（高壓直流電源系統+蓄電池組/UPS+蓄電池組）為A、B硬件分區設備分別供電。

（二）機架電源要求

（1）對于機柜PDU（Power Distribution Unit，電源分配單元），應按機房規劃選擇合適的規格。

（2）所有插座應為防脫插座，有效杜絕電源線松動。

（3）高壓直流插座分路應配置相應的高壓直流斷路器，對于機架配電母線場景使用的PDU應配置總開關。

（4）單機架要求至少支持 7kW 的設備運行功耗，推薦采用機架配電母線替代傳統列頭柜配電，提高配電柔性，解決個別高功耗設備的配電需求。

二、電源建設現狀

網絡云電力電池室配UPS、低壓配電柜、高壓直流電源及蓄電池組。數據中心機樓進場電源為兩路 10kV 市電，經一次高壓、二次高壓及機樓變壓器等設備變為低壓市電，送至各網絡云機房配套電力電池室低壓配電設備。

Q3.網絡云資源池常用供電方式的區別是什么？

網絡云資源池常用供電方式主要有 220V 交流電和 336V 直流電兩種，其區別如下。

1.220V交流電

在三相四線制中，相線與零線之間的電壓稱為相電壓，其標稱有效值為220V，是目前交流設備常用的供電方式，在數據中心、通信機房中通常由 UPS為用電設備供電。

2.336V直流電

直接為用電設備提供336V直流電的供電方式，與UPS相比，結構簡單，效率、可靠性更高，336V高壓直流電目前主要應用于數據中心。

Q4.網絡云資源池電源2N系統、3N系統的區別是什么？

一、2N系統

2N 系統又稱雙總線供電系統，由兩套完全獨立運行的 UPS 系統、LBS（LoadBus Synchronization，負載同步系統）、STS（Static Transfer Switch，靜態轉換開關）、輸入及輸出屏構成，當一套UPS系統出現問題時，另一套UPS系統可承擔供電工作[3]。

二、3N系統

3N系統也稱為三母線系統、三角形供電系統，即每三套UPS系統組成兩兩雙總線分布冗余系統，三套UPS系統互為主備用，有三條母線同時對外輸出電力[3]。當一套UPS系統異常時，另兩套UPS系統可承擔供電工作。

三、2N系統和3N系統的主要區別

（1）正常運行時的最大負載率要求。在2N系統中，每套UPS系統的負載率不應超過額定容量的 45%；在 3N 系統中，每套 UPS 系統的負載率不應超過額定容量的60%。

（2）故障時的最大負載率要求。在2N系統中，當其中一套UPS系統退出時，另一套UPS系統的最大負載率不應超過額定容量的90%；在3N系統中，當其中一套UPS系統退出時，另兩套UPS系統的最大負載率不應超過額定容量的90%。

（3）3N 系統供電方式滿足雙總線供電系統的基本要求，面對相同的供電容量需求，3N 系統的供電方式需要的供電設備更少，相應地縮減了配電設備對機房空間的占用，有效地提升了通信設備的可安裝面積[3]。

（4）相較 2N 系統，3N 系統在應用中容易出現負載三相不平衡、系統 UPS單機負載不平衡等現象，需要合理分配負載，否則會導致中性線零點漂移，嚴重時甚至會燒毀負載設備[3]。

Q5.網絡云資源池制冷系統如何管理？

一、機房制冷系統設計要求

（一）機房空調要求

網絡云新啟用機房空調方式應為新型空調末端，制冷能力應滿足設備功耗。

（二）機房散熱要求

根據網絡云資源池設備功耗統計，單機架最大運行功耗為 7kW，基本上可以滿足所有硬件設備的散熱要求。

對于列間空調方式：兩列機架組成的一個封閉熱通道（或封閉冷通道）是一套空調系統，一套系統承擔機架總發熱量不超過設計值即可，系統內個別機架發熱量可不受限。

二、機房制冷系統建設現狀

網絡云機房冷站制冷系統采用數據中心集中供冷模式（見圖 Q5-1），以河北節點省為例，保定數據中心集中供冷模式主要采用 10kV 高壓離心冷水機組+板式換熱器（簡稱板換）+冷卻塔系統的形式。數據中心兩棟機房樓分別設置一個冷站，每個冷站有三套制冷系統，兩棟機房樓共六套制冷系統，通過地下母聯管路形成“5+1”配置。每棟機房樓配置一個600m3的蓄冷罐。

每個冷站內三套制冷系統的冷凍水側并入一個環網，冷機/板換與冷凍泵可交叉對應；三套制冷系統的冷卻水側分別為獨立運行的系統，冷機/板換與冷卻循環泵、管路、冷卻塔一一對應（僅樓頂冷卻塔之間可以互連）。

1.冷凍水供水路由

從冷機/板換降溫后的冷凍水通過分水器、雙路環管，送至各樓層末端。

2.冷凍水回水路由

從各樓層末端通過雙路環管、集水器、冷凍泵，回到冷機/板換進行降溫。

3.冷卻水供水路由

從冷卻塔蒸發散熱后，溫度相對較低的冷卻水通過供水管路、冷卻循環泵，回到冷機/板換進行熱交換。

4.冷卻水回水路由

從冷機/板換完成熱交換的溫度相對較高的冷卻水通過回水管路、冷卻塔進行蒸發散熱。

制冷系統主要包括冷機、板式換熱器、冷凍水循環系統、冷卻水循環系統、冷卻塔、蓄冷罐、末端空調等設施。

（一）冷機

每個冷站配置三臺高壓離心冷機，兩棟機房樓共六臺高壓離心冷機，通過地下母聯管路形成“5+1”配置。按照設計，數據中心滿載時，A 樓運行三臺冷機，B樓運行兩臺冷機。冷機供冷模式主要應用于非自然冷卻時間。

（二）板式換熱器

每棟機房樓三臺板式換熱器，兩棟機房樓共六臺板式換熱器，通過地下母聯管路形成“5+1”配置。按照設計，數據中心在滿載時，A 樓運行三臺板式換熱器，B 樓運行兩臺板式換熱器。板式換熱器供冷模式主要應用于自然冷卻時間。

（三）冷凍水循環系統

冷凍水管路在冷站內形成環路，每個冷站采用分水器、集水器以雙管環路系統給機房樓二層至五層供應冷源（一樓為單路冷源）。但是，在管路爆管、冷凍水大量失水等故障情況下，故障點隔離、系統排氣、補水等應急處置措施歷時較長。

1.分水器

每個冷站配置兩臺分水器，以負荷分擔方式運行。

2.集水器

每個冷站配置兩臺集水器，以負荷分擔方式運行。

3.冷凍泵

每個冷站配置三臺冷凍泵，以負荷分擔方式運行。

4.定壓補水裝置

每個冷站配置一大（5m3/h）、一小（2m3/h）兩套定壓補水裝置，以主備用工作方式運行。

（四）冷卻水循環系統

每個冷站配置獨立的三套冷卻水循環系統，分別與三臺冷水機組、三臺板式換熱器、三組冷卻塔一一對應。

1.冷卻循環泵

每棟數據樓配置三臺冷卻循環泵，獨立運行，分別與三套冷卻水循環系統一一對應。

2.冷卻塔補水蓄水池

園區配置兩個冷卻塔補水蓄水池，以負荷分擔方式運行，共1584m3，可在供水中斷的情況下滿足12小時用水需求。

（五）冷卻塔

每棟數據樓配置三組制冷用冷卻塔，其中，兩組冷卻塔每組有五個冷卻塔，以負荷分擔方式運行，一組冷卻塔有三個冷卻塔，同樣以負荷分擔方式運行。負荷冷卻塔組之間也以負荷分擔方式運行。

（六）蓄冷罐

每棟機房樓配置一個 600m3的蓄冷罐，可在緊急情況下提供 15 分鐘冷源供應。

（七）末端空調

網絡云業務機房末端空調為熱管背板空調，每個機房配置244 臺，共1220 臺。按照系統設計，每個機房的制冷冗余量為35%。

電力電池室空調為上送風冷凍水型精密空調，每個空調間配置三臺，以“2+1”模式運行。

Q6.數據中心常見的空調背板類型有哪些？

大型數據中心普遍采用集中水冷冷凍水空調系統，冷凍水送至機房末端空調，在空調內部表冷器與機房空氣進行熱交換，通過風機將冷風送至 IT 設備進風，抵消 IT 設備工作過程中產生的熱量，使得機房處于合適的溫度和濕度，提升IT設備工作的穩定性和使用壽命。

數據中心末端空調一般采用三種形式：熱管空調、列間空調和水冷末端空調。其中，熱管空調和列間空調通過冷媒或空氣將冷凍水進水的冷量送至機房，熱交換通過板式換熱器完成；水冷末端空調的制冷過程無制冷劑參考，冷水的冷量與機房內熱空氣直接進行熱量交換。

數據中心常見的空調背板為水冷背板和熱管背板。水冷背板采用水作為載冷劑，水資源相對比較豐富，所以投資更少，水冷背板比熱管背板減少了一次換熱，效率更高。因為冷凍水進入了機房內，所以機房的風險變高，一旦出現漏水就會損壞設備。熱管背板采用氟利昂作為載冷劑，投資偏高，又多了一次換熱，系統效率略低，但是水不進入機房，安全性更高。