3.1 云端大數據

基于大規模數據的系列應用正在悄然推動著IT基礎設施的發展，尤其是大數據對海量、高速存儲的需求。為了對大規模數據進行有效的計算，必須最大限度地利用計算和網絡資源。計算虛擬化和網絡虛擬化要對分布式、異構的計算、存儲及網絡資源進行有效的管理。 

云計算為人們提供了跨地域、高可靠、按需付費、所見即所得和快速部署等能力，這些都是長期以來IT行業所追尋的。隨著云計算的發展，大數據正成為云計算面臨的一個重大考驗。 

3.1.1 什么是云計算

云計算（Cloud Computing，見圖3-1）是一種基于互聯網的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機和其他設備。 

“云”是網絡、互聯網的一種比喻說法。過去往往用云來表示電信網，后來也用來表示互聯網和底層基礎設施的抽象。云計算是繼20世紀80年代大型計算機到客戶端—服務器的大轉變之后的又一種巨變。用戶不再需要了解“云”中基礎設施的細節，不必具有相應的專業知識，也無須直接進行控制。云計算描述了一種基于互聯網的新的IT服務增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展并且經常是虛擬化的資源，它意味著計算能力也可作為一種商品通過互聯網進行流通。 

圖3-1 云計算 

Wiki（維基）的定義是：云計算是一種通過因特網以服務的方式提供動態可伸縮的虛擬化的資源的計算模式。 

美國國家標準與技術研究院（NIST）的定義是：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡、服務器、存儲、應用軟件和服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。 

云計算是分布式計算（Distributed Computing）、并行計算（Parallel Computing）、效用計算Utility Computing）、網絡存儲（Network Storage Technologies）、虛擬化（Virtualization）和負載均衡（Load Balance）等傳統計算機和網絡技術發展融合的產物。 

3.1.2 云計算的服務形式

云計算按照服務的組織及交付方式的不同，有公有云、私有云和混合云之分。公有云向所有人提供服務，典型的公有云提供商是亞馬遜，人們可以用相對低廉的價格方便地使用亞馬遜EC2的虛擬主機服務。私有云往往只針對特定客戶群提供服務，比如一個企業內部IT可以在自己的數據中心搭建私有云，并向企業內部提供服務。目前也有部分企業整合了內部私有云和公有云，統一交付云服務，這就是混合云。 

云計算包括以下幾個層次的服務：基礎設施即服務（IaaS），平臺即服務（PaaS）和軟件即服務（SaaS）。這里，分層體系架構意義上的“層次”IaaS、PaaS和SaaS分別在基礎設施層、軟件開放運行平臺層和應用軟件層實現。 

IaaS（Infrastructure as a Service）：基礎設施即服務。消費者通過因特網可以從完善的計算機基礎設施獲得服務。 

IaaS通過網絡向用戶提供計算機（物理機和虛擬機）、存儲空間、網絡連接、負載均衡和防火墻等基本計算資源；用戶在此基礎上部署和運行各種軟件，包括操作系統和應用程序。例如，通過亞馬遜的AWS，用戶可以按需定制所要的虛擬主機和塊存儲等，在線配置和管理這些資源。 

PaaS（Platform as a Service）：平臺即服務。PaaS實際上是指將軟件研發的平臺作為一種服務，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現可以加快SaaS的發展，尤其是加快SaaS應用的開發速度。 

平臺通常包括操作系統、編程語言的運行環境、數據庫和 Web服務器，用戶在此平臺上部署和運行自己的應用。用戶不能管理和控制底層的基礎設施，只能控制自己部署的應用。目前常見的PaaS提供商有CloudFoundry、谷歌的GAE等。 

SaaS（Software as a Service）：軟件即服務。它是一種通過因特網提供軟件的模式，用戶無須購買軟件，而是向提供商租用基于Web的軟件來管理企業經營活動，例如郵件服務、數據處理服務和財務管理服務等。 

3.1.3 云計算與大數據

半個世紀以來信息技術的發展主要解決的是云計算中結構化數據的存儲、處理與應用。結構化數據的特征就像到銀行去存取款，銀行的計算機系統記錄著客戶的名字，在名字之后是存取款的數量、時間和類型等信息。這些數據的特征是“邏輯性強”，每個“因”都有“果”。然而，現實社會中大量數據事實上沒有“顯現”的因果關系，如一個時刻的交通堵塞、天氣狀態或人的心理狀態等，它們的特征是隨時、海量與彈性的，如一個突變天氣分析會包含幾百 PB 數據。而一個社會事件如喬布斯去世在互聯網上瞬間產生的數據（微博、紀念、文章和視頻等）也是突然爆發出來的。 

傳統的計算機設計與軟件都是以解決結構化數據為主，對“非結構”要求一種新的計算架構。互聯網時代，尤其是社交網絡、電子商務與移動通信把人類社會帶入一個以PB為單位的結構與非結構數據信息的新時代，它就是“大數據”（Big Data）時代。 

簡單地概括云計算和大數據之間的關系，在很大程度上它們是相輔相成的，它們最大的不同在于：云計算是你正在做的事情，而大數據是你所擁有的東西。以云計算為基礎的信息存儲、分享和挖掘手段為知識生產提供了工具，而通過對大數據進行分析和預測會使得決策更加精準，兩者相得益彰。從另一個角度講，云計算是一種IT理念、技術架構和標準，而云計算也不可避免地會產生大量的數據。所以說，大數據技術與云計算的發展密切相關，大型的云計算應用不可或缺的就是數據中心的建設（見圖3-2），大數據技術是云計算技術的延伸。 

圖3-2 位于美國艾奧瓦州的谷歌數據中心，占地1萬m² 

大數據為云計算大規模與分布式的計算能力提供了應用的空間，解決了傳統計算機無法解決的問題。目前的基本計算單元常常是普通的x86服務器，它們組成了一個大的云。而未來的云計算單元里可能有獨立的存儲單元、計算單元和協調單元，總體效率會更高。 

海量的數據需要足夠的存儲來容納它，快速、低廉價格、綠色的數據中心部署成為關鍵。Google、Facebook和Rackspace等公司都紛紛建設了新一代的數據中心，大部分都采用更高效、節能、訂制化的云服務器，用于大數據存儲、挖掘和云計算業務。 

數據中心正在成為新時代知識經濟的基礎設施。從海量數據中提取有價值的信息，數據分析使數據變得更有意義，并將影響政府、金融、零售、娛樂和媒體等各個領域，帶來革命性的變化。 

3.1.4 云基礎設施

大數據解決方案的構架離不開云計算的支撐。支撐大數據及云計算的底層原則是一樣的，即規模化、自動化、資源配置和自愈性。也可以說，大數據是構建在云計算基礎架構之上的應用形式，因此它很難獨立于云計算架構而存在。云計算下的海量存儲、計算虛擬化、網絡虛擬化、云安全及云平臺就像支撐大數據這座大樓的鋼筋水泥一樣，只有好的云基礎架構支持，大數據才能立起來，站得更高。 

虛擬化（Virtualization）是云計算所有要素中最基本、最核心的組成部分。和云計算在最近幾年才出現不同，虛擬化技術的發展其實已經走過了半個多世紀（開始于1956年）。在虛擬化技術的發展初期，IBM是主力軍，它把虛擬化技術用在了大型機領域。1964年，IBM設計了名為CP-40的新型操作系統，實現了虛擬內存和虛擬機。到1965年，IBM推出了System/360 Model 67（見圖3-3）和TSS分時共享系統（Time Sharing System），允許很多遠程用戶共享同一高性能計算設備的使用時間。 

圖3-3 IBM System/360

1972年，IBM發布了用于創建靈活大型主機的虛擬機技術，實現了根據動態需求快速而有效地使用各種資源的效果。作為對大型機進行邏輯分區以形成若干獨立虛擬機的一種方式，這些分區允許大型機進行“多任務處理”—同時運行多個應用程序和進程。由于當時大型機是十分昂貴的資源，虛擬化技術起到了提高投資利用率的作用。 

利用虛擬化技術，允許在一臺主機上運行多個操作系統，讓用戶盡可能地充分利用昂貴的大型機資源。其后，虛擬化技術從大型機延伸到UNIX小型機領域，HP、Sun（已被Oracle收購）及IBM都將虛擬化技術應用到其小型機中。 

1998年，VMware公司成立，這是在x86虛擬化技術發展史上十分重要的一個里程碑。VMware發布的第一款虛擬化產品VMware Virtual Platform，通過運行在Windows NT上的VMware來啟動Windows 95，開啟了虛擬化在x86服務器上的應用。 

相比于大型機和小型機，x86服務器和虛擬化技術兼容得并不是很好。但是VMware針對x86平臺研發的虛擬化技術不僅克服了虛擬化技術層面的種種挑戰，其提供的VMware Infrastructure更是極大地方便了虛擬機的創建和管理。VMware對虛擬化技術的研究開創了虛擬化技術的x86時代，在很長一段時間內，服務器虛擬化市場都是VMware一枝獨秀。 

虛擬化技術中最核心的部分分別是計算虛擬化、存儲虛擬化和網絡虛擬化。 

3.1.5 云平臺

PaaS（platform-as-a-service，平臺即服務）是云計算中最為重要的一個類型，如圖3-4所示，在云計算的技術實現環節起到了承上啟下的作用。PaaS有以下幾個特點。 

圖3-4 醫療云平臺架構 

（1）PaaS提供的是一個基礎平臺，而不是某種應用。在傳統的觀念中，平臺是向外提供服務的基礎。一般來說，平臺作為應用系統部署的基礎，是由應用服務提供商搭建和維護的，而PaaS顛覆了這種概念，由專門的平臺服務提供商搭建和運營該基礎平臺，并將該平臺以服務的方式提供給應用系統運營商。 

（2）PaaS運營商所需提供的服務，不僅僅是單純的基礎平臺，而且包括針對該平臺的技術支持服務，甚至是針對該平臺而進行的應用系統開發、優化等服務。PaaS的運營商最了解他們所運營的基礎平臺，所以由PaaS運營商所提出的對應用系統優化和改進的建議也非常重要。而在新應用系統的開發過程中，PaaS運營商的技術咨詢和支持團隊的介入，也是保證應用系統在以后的運管中得以長期、穩定運行的重要因素。 

（3）PaaS運營商對外提供的服務不同于其他服務，這種服務的背后是強大而穩定的基礎運營平臺，以及專業的技術支持隊伍。這種“平臺級”服務能夠保證支撐SaaS或其他軟件服務提供商的各種應用系統長時間、穩定的運行。PaaS的實質是將互聯網的資源服務化為可編程接口，為第三方開發者提供具有商業價值的資源和服務平臺。有了PaaS平臺的支撐，云計算的開發者就獲得了大量的可編程元素，這些可編程元素有具體的業務邏輯，這就為開發帶來了極大的方便，不但提高了開發效率，還節約了開發成本。有了PaaS平臺的支持，Web應用的開發將變得更加敏捷，能夠快速響應用戶需求的開發能力，也為最終用戶帶來了實實在在的利益。