1.1 再談云計算

我們在《Cloud Foundry：從數字化戰略到實現》一書中曾詳細討論過云計算的定義、機理和技術驅動的新商業模式，這里不再重復。作為P層云技術的領先企業和研發團隊，我們也在該書中分享了關于P層云存在的必要性和由其帶來的云計算的新高潮的觀點。這里將著重討論自《Cloud Foundry：從數字化戰略到實現》出版至今P層云的新發展以及對于大數據系統的影響。

1.1.1 云計算由南向轉為北向

因為地圖中一般把上面標記為北，所以在戰略決策討論中，一般把從下往上看的視角稱為北向，從上往下看的視角稱為南向。在軟件棧中，P層云在I層云的上面，所以由P層云向I層云看齊叫作南向，由I層云向P層云看齊叫作北向。在一個正確的時間點選擇一個正確的視角是戰略成功的關鍵。

在Cloud Foundry產品出現和Pivotal公司成立之前，整個云計算行業是南向的。云計算行業的研發集聚在I層云，包括虛擬機、虛擬機動態遷移、網絡虛擬化、軟件定義的存儲乃至整個軟件定義的數據中心。分析師雖然提出了P層云，但是大部分云廠商把P層云看作I層云的一個工具集或者服務抽象層，沒有一個云廠商真正發布過一款獨立的P層云產品能夠兼容其他云廠商的I層云服務。

Cloud Foundry第一次作為一個獨立的PaaS云產品由VMWare提出，但是早期也只朝南向vSphere產品看齊。一直到Pivotal公司獨立于VMWare公司運作以后，行業才看到了Cloud Foundry成為一個獨立的PaaS云產品的決心，之后又看到了Cloud Foundry在AWS、Azure和谷歌云等各大云廠商上的兼容。即便如此，分析師在和作者交流的過程中還是會問：“前面的I層云巨頭都有類似的一個P層云的功能集，Pivotal公司作為一個云計算的新玩家如何在PaaS云市場勝出？”在作者看來，雖然同為PaaS云產品，但Cloud Foundry的視角卻是和其他云廠商的P層云產品完全相反。這就像在PC興起的年代，雖然每個大型機廠商都有自己的操作系統，但是微軟作為一個新公司發明的DOS和Windows操作系統卻因為視角的轉變最終獲得勝出的機會。

從南向轉變到北向的云計算行業趨勢在2018年變得明朗起來。Pivotal公司的Cloud Foundry產品在500強企業數字化轉型中不斷得到認可。Pivotal公司也在2018年4月成功登錄紐交所，被分析師稱為“PaaS第一股”。更為明顯的跡象是各個云廠商研發明顯由I層云向P層云遷移。P層云的新技術Kubernetes和背后的CNCF（Cloud Native Computing Foundation）基金會的熱度空前高漲。前不久，作者應Linux基金會（也是CNCF和Cloud Foundry Foundation的母基金會）邀請參加開放云服務產業專題討論，探討如何引導產業將I層云做得更加開放和標準，以迎接P層云的興起。Pivotal公司的Cloud Foundry和Greenplum系統作為P層云上軟件的典范來驗證I層云的開放和標準化程度。在Cloud Foundry和Greenplum出現的早期，主要由Pivotal公司和其社群來完成這兩個P層云產品在各個I層云上的適配。Linux基金會號召所有云廠商開放和支持I層云的標準，使得P層云產品的適配更加容易和無障礙。這也充分說明了云計算從P層云向I層云兼容的南向視角開始轉變為由I層云向P層云適配的北向視角。

1.1.2 P層云的精細化發展

Cloud Foundry和Pivotal公司的成功以及IBM大手筆收購Redhat的舉措，使得P層云的熱度空前高漲。最近5年，Docker、Kubernetes和Cloud Foundry技術生態圈不斷擴充北向視角的P層云，技術不斷細化，目前已經形成了如下涵蓋容器服務、應用服務和函數服務的架構：

?在容器技術層面，代表性技術主要有Cloud Foundry為主導的Garden容器技術和Docker容器技術。在容器編排技術方面，除了Cloud Foundry，以谷歌為代表的Kubernetes（縮寫為K8s）技術逐漸盛行。在Pivotal公司發行的Cloud Foundry 2.0中也融入了Kubernetes和Docker容器，并且聯合谷歌公司和兄弟公司VMWare發布了Pivotal容器服務（Pivotal Container Service, PKS）。

?在應用服務技術層面，Pivotal Cloud Foundry 2.0把原來的1.0版的PaaS應用服務發布成為Pivotal Application Service（縮寫為PAS），繼續為開發者提供透明的應用全生命周期管理。

?在函數服務方面，亞馬遜最近推出的Lambda服務最終成就了函數即服務(Function as a Servivce, FaaS）。在FaaS基礎上，AWS等云計算服務以比服務器更細粒度的服務和對應的計費被業界稱為無服務器計算（Serverless Computing）。隨后，谷歌在Knative的基礎上推出了谷歌的無服務器計算。Pivotal公司在Knative的基礎上推出了Pivotal函數服務（Pivotal Function Service, PFS），PFS也是Pivotal Cloud Foundry 2.0的組成部分。

綜上所述，P層云目前的技術構成可以用圖1-1表示。

這里之所以要剖析P層云的層次，是為了幫助讀者理解大數據系統在云中部署的實際情況和最新的趨勢。

1.1.3 大數據系統在云中部署不斷朝南上移

大數據的技術發展動力和商業賦能將在后面的章節展開討論，本節將討論云計算技術的發展對Greenplum和Hadoop這樣的大數據系統的部署的影響。在圖1-1中，大數據系統可以運行在云計算數據中心的裸機硬件、I層云或者P層云的容器服務上。

1）將大數據系統直接運行在硬件上面。因為大數據軟件本身的機制，一個好的大數據系統能滿足云計算定義：計算資源可以隨業務增長的需求而彈性增長。具體細節將在下一節中闡述。國內的公有云廠商為政府和企業提供專有云服務，為其專門部署屬于他們自己的硬件環境。

2）將大數據系統運行在公有云或者私有云的IaaS上面。不少公有云上的Hadoop服務就屬于這類情況。

3）將大數據系統運行在PaaS云的容器服務上面。截至本書完稿時，Pivotal和阿里云等主流云計算廠商都認為將Greenplum運行在容器層可以有效減輕大數據系統的運維工作。因此，不少公有云服務商喜歡把大數據系統劃為P層云服務。

現在，主流云計算廠商都支持以上三種形式的大數據系統的部署。當企業將大數據系統部署不斷從硬件和I層云向北遷移至P層云的時候，云計算系統管理和調度的資源粒度更細，大數據系統部署的成本優勢和敏捷程度也不斷提升。另外，因為P層云的容器的標準化，使得大數據系統更容易實現跨云部署。這種北向遷移的變化表面看沒有什么特別之處，事實上這標志著大數據系統開始走向平民化。在后面的章節會談到，在算力和存儲資源提升的基礎上，大數據系統模型的準確程度也有所提升。在云計算出現之前，小企業投資和管理上百臺服務器組成的大數據系統是不敢想象的。公有云按資源使用量收費的模式，使得小企業運行大數據系統成為可能。例如，不少企業在一個季度結束的時候，在公有云上申請幾百臺服務器和內置的大數據服務，將這些計算資源開啟數周來計算自己的企業數據，以獲得對自己企業的商業洞察。P層云帶來的更加精細的計費方式和更加標準的服務方式，使得企業可以在整個互聯網上快速獲得大數據系統運營所需要的資源。云計算從早期I層云的跑馬圈地轉變到P層云的應用和分析結果導向的精耕細作，這種精益化運作意味著這項技術走向成熟。