1.1 從國際互聯網開始

幾臺計算機接在一臺交換機上，相互能直接發送信息、傳輸數據，這樣的網絡叫作局域網，辦公室和家庭里的網絡就是典型的局域網。局域網需要上外網的時候，需要電信服務提供商（ISP）提供上網服務，將局域網對接到更大的網絡——城域網。連接幾個城域網的網絡叫作國家骨干網，連接全球骨干網的網絡叫作國際骨干網。如下所示是國際互聯網的一個示意圖，國際互聯網是一個分層匯聚網絡，位于頂端的是國際骨干網，負責連接國家骨干網，在一些國家之間還有直達通道。在國家內部通常有一個全國性的高速國家骨干網，這個骨干網只能在某些點對接國際骨干網。國家骨干網負責將分布在各個城市里的城域網連接起來，每個城域網則負責將本區域眾多園區網接入，這些園區網可以是省內某些高新產業園的網絡、一些大的IT公司的網絡等。

首先說說位于頂端的國際骨干網。為了將地球上的各個大洲互聯，人們建設了很多海底光纜，可以說海底光纜構成了國際骨干網的骨架。美國是國際互聯網的中心，它周邊有豐富的海底光纜，直達各個大洲。中國大陸地區的海底光纜連接點有三個：青島、上海和汕頭，總共有6條光纜通向全球。

接下來說說國家骨干網。以中國為例，中國的全國性骨干網是CHINANET，它是前郵電部經營管理的網絡，1995年年初與國際互聯網連通并向社會提供服務。類似于國際互聯網的架構，CHINANET也是分層網絡，由骨干網和匯接層兩部分組成：骨干網是其主要信息通路，由直轄市和各省會城市的網絡節點構成；匯接層則用來連接各省（區）的城域網。

CHINANET由8個核心節點組成，這8個核心節點分別是北京、上海、廣州、沈陽、南京、武漢、成都、西安。毫無懸念，“北上廣”3個節點成為超級節點，也是CHINANET的3個國際出口，在這3個超級節點之間形成大三角電路，其他5個普通節點則與每個超級節點互聯。

為了保證國內企業用戶訪問國外網站的速度和帶寬，中國電信后來啟動了另外一個精品網絡，即CN2網絡。從下圖中可以看到CN2網絡專門增加了海外直連線路，以保證海外站點的帶寬和品質。

再說說CHINANET的“匯接層”網絡，這一層由54個匯接節點組成，除甘肅、山西、新疆、寧夏、貴州、青海、西藏、內蒙古等8個省份的單匯接節點外，每個省都有兩個骨干網匯接節點，在第一和第二出入口節點之間通過一條省內中繼連接。各省份雙方向上連接，分別連接到一個超級核心節點和一個普通核心節點。如下所示是天津電信城域網匯聚接入CHINANET的網絡示意圖。

最后說說“城域網”。城域網也是一個分層匯聚網絡，主要用來提供寬帶接入服務，因此存在一種特殊設備，即寬帶遠程接入服務器BRAS（Broadband Remote Access Server），它是用來完成各種寬帶接入方式的寬帶網絡用戶的接入、認證、計費、控制、管理的網絡設備，是寬帶網絡可運營、可管理的基石。

我們如果在家上網，則通常會通過當地某個寬帶運營商的網絡接入城域網，最終實現“全球互聯”，這是我們都熟悉的方式。另一方面，我們開發的互聯網應用被部署到IDC機房里的某個服務器上，從而完成應用互聯網的接入。由于IDC機房與我們所開發的分布式應用密切相關，所以接下來我們一起了解IDC機房的相關知識。

IDC機房又被稱為互聯網數據中心（Internet Data Center）或者數據中心，不僅是數據存儲的中心，還是數據流通的中心。IDC機房是標準化的電信專業級機房，為企業、政府提供服務器托管、租用及相關增值等方面的全方位服務。一開始，IDC機房主要是電信、聯通等運營商建設的，后來很多企業也有了自己的IDC機房，BAT都自建了IDC機房，比如騰訊先后自建了深圳寶安、深圳騰大、天津三個IDC機房。

由于2002年5月國內電信業大重組，原中國電信北方10個省份正式劃入中國網通集團，南方21個省份重組為新的中國電信。這將把中國的互聯網一分為二，導致互聯互不通，使國內的IDC機房往往具備雙線接入這一奇特特性。

如下所示是IDC機房的網絡架構圖，一般分為出口路由區、核心交換區、接入網絡區及增值業務區四個區域。

（1）出口路由區的主要功能是作為IDC機房的出口，與國干網（CHINANET）和本身的城域網互聯，完成外部網絡和IDC內網的三層互通，通常由兩臺CR路由器組成。某些大型省份通常會建設多個IDC機房，若每個IDC機房之間都與國干網和城域網互聯，則會浪費國干網和城域網設備的端口資源和線路資源，因此通常會再建設一個IDC路由骨干層網絡。骨干層中的兩臺CR路由器直接與國干網和城域網互聯，各機房IDC出口的CR路由器則與骨干層出口路由器互聯。

（2）核心交換區則由一組核心交換機組成，作為接入層與出口路由區的互聯設備，起到匯聚流量的作用，同時IDC內部的流量互通也可以通過核心交換機完成。在云計算業務興起后，為了擴大二層網絡規模，同時提高內網效率，交換網絡大多采用核心層加接入層的扁平化組網，不再設置匯聚層。為了實現高密接入，核心交換機通常采用數據中心級設備，具有高吞吐、大緩存等特點，同時通過IRF2網絡虛擬化技術將多臺核心交換機虛擬成一臺，既提高接入密度，又方便管理。

（3）接入網絡區下連物理服務器，上連核心交換機，主要部署千兆或萬兆交換機。物理服務器數量多，且每臺物理服務器均有多個端口，這就要求接入層交換機實現高密接入。當前在IDC網絡中，接入交換機通常以TOR方式在每個機柜都部署兩臺，實現本機柜的服務器接入。接入交換機通常采用千兆下行（連接服務器）、萬兆上行（連接核心交換機）的連接方式，并通過IRF2技術進行虛擬化部署。

（4）增值業務區部署與增值業務相關的設備，包括防火墻、IPS、負載均衡等設備。這些設備通常以旁掛核心交換機的方式進行設計，根據業務需求，在核心交換機上將流量引到增值業務區處理。對于云主機等業務，由于規劃使用私網IP網段，因此必須使用防火墻實現NAT轉換，該防火墻設備通常也以旁掛方式部署在核心交換機上。

在IDC機房里通常采用傳統的VLAN技術實現租戶網絡的隔離，VLAN基于IEEE的802.1Q協議，在該協議的幀格式里面定義了VLAN ID的位數為12比特，因此最多只能支持4094個VLAN。而隨著云數據中心的各種業務應用的規模落地，業務量不斷增長，就可能需要成千上萬個VLAN，傳統VLAN的數量不能滿足云數據中心日后業務規模發展的需求。另外，在物理服務器被虛擬化后，云數據中心內部虛擬機的數量相比原有的物理機發生了數量級的增加，與之對應的虛擬機虛擬網卡的MAC地址數量也相應增加，這對云數據中心接入區網絡的交換機地址容量能力產生了很大沖擊。虛擬機數量很多時，會導致交換機的MAC地址表溢出，從而導致數據幀的丟棄或者產生大量的廣播幀，嚴重影響網絡的性能。最后，云數據中心的虛擬機通常需要在一定范圍內遷移，在傳統的VLAN網絡下，虛擬機只能在二層網絡下遷移，并且為了能夠支持虛擬機的遷移，需要在二層網絡中對VLAN進行預配置，這造成了VLAN配置混亂，影響了VLAN廣播域的隔離，降低了網絡的效率。VXLAN（Virtual eXtensible Local Area Network）虛擬擴展局域網是一種“VLAN升級技術”，是一種大二層虛擬網絡擴展的隧道封裝技術，可以很好地解決上述問題，目前該技術已經成為各種規模化運營的云數據中心不可忽視的關鍵應用技術。

VXLAN是VMware、思科、Arista、Broadcom、Citrix和RedHat共同提出的IETF草案，可以通過軟件的方式來實現支持，其中最重要的開源軟件交換機是Open vSwitch，它也是虛擬化網絡解決方案中最重要的一個開源軟件，OpenStack、Docker都可以用它實現虛擬網絡。