- 典型Hadoop云計算
- 趙書蘭編著
- 5773字
- 2018-12-27 06:30:12
1.1 云計算概述
“云計算”被稱為繼個人計算機(jī)、互聯(lián)網(wǎng)之后的第三次信息化革命,通過與相關(guān)技術(shù)創(chuàng)新要素、商業(yè)模式創(chuàng)新要素形成新革命,通過與相關(guān)技術(shù)創(chuàng)建要素、商業(yè)模式創(chuàng)建要素形成有機(jī)互動,“云計算”將成為推動電信業(yè)乃至廣義ICT產(chǎn)業(yè)下一輪突破發(fā)展的重要驅(qū)動力。
1.1.1 云計算的定義
云計算是在2007年第3季度才誕生的新名詞,但僅僅過了半年多,其受關(guān)注的程度就超過了網(wǎng)格計算(Grid Computing),如圖1-1所示。

圖1-1 云計算和網(wǎng)絡(luò)計算在Google中的搜索趨勢圖
云計算迄今為止還沒有統(tǒng)一的定義,不同的組織從不同的角度給出了不同的定義。據(jù)不完全統(tǒng)計,至少有25種以上的定義。例如,Gartner認(rèn)為,云計算是一種使用網(wǎng)絡(luò)技術(shù)并由IT使能而具有可擴(kuò)展性和彈性能力作為服務(wù)提供給多個外部用戶的計算方式;美國國家標(biāo)準(zhǔn)與技術(shù)實驗室對云計算的定義為,云計算是便捷地通過互聯(lián)網(wǎng)訪問一個可定制的IT資源共享池能力按使用量付費的一種模式(IT資源包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù)),這些資源能夠快速部署,并只需要很少的管理工作,與服務(wù)供應(yīng)商進(jìn)行很少的交互”等。隨著應(yīng)用場景的變化和使能技術(shù)的發(fā)展,關(guān)于云計算的定義還在不斷產(chǎn)生新的觀點。
云計算將網(wǎng)絡(luò)上分布的計算、存儲、服務(wù)構(gòu)件、網(wǎng)絡(luò)軟件等資源集中起來,基于資源虛擬化的方式,為用戶提供方便快捷的服務(wù),其可以實現(xiàn)計算與存儲的分布式與并行處理。如果把“云”視為一個虛擬化的存儲與計算資源池,那么云計算則是這個資源池基于網(wǎng)絡(luò)平臺為用戶提供的數(shù)據(jù)存儲和網(wǎng)絡(luò)計算服務(wù)。互聯(lián)網(wǎng)是最大的一片“云”,其上的各種計算機(jī)資源共同組成了若干個龐大的數(shù)據(jù)中心及計算中心。
但是,云計算并不是一個簡單的技術(shù)名詞,并不僅僅意味著一項技術(shù)或一系列技術(shù)的組合。其所指向的是IT基礎(chǔ)設(shè)施的交付和使用模式,即通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源(硬件、平臺和軟件)。提供資源的網(wǎng)絡(luò)被稱為“云”。從更廣泛的意義上來看,云計算是指服務(wù)的交付和使用模式,即通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù),這種服務(wù)可以是IT基礎(chǔ)設(shè)施(硬件、平臺和軟件),也可以是任意其他的服務(wù)。無論是狹義還是廣義,云計算所秉承的核心理念是“按需服務(wù)”,就像人們使用水、電、天然氣等資源的方式一樣。這也是云計算對于ICT領(lǐng)域乃至于人類社會發(fā)展最重要的意義所在。
1.1.2 云計算的特點
之所以稱為“云”,是因為它在某些方面具有現(xiàn)實中“云”的特點。
(1)云一般都較大。
(2)云的規(guī)模可以動態(tài)伸縮,它的邊界是模糊的。
(3)云在空中飄忽不定,無法也無須確定它的具體位置,但它確實存在于某處。同時還因為云計算的鼻祖之一——亞馬遜公司將大家曾經(jīng)稱為網(wǎng)格計算的東西,取了一個新名字“彈性計算云”(Elastic Computing Cloud),并取得了商業(yè)上的成功。
有人將這種模式比喻為從單臺發(fā)電機(jī)供電模式轉(zhuǎn)向了電廠集中供電的模式。其意味著計算能力也可以作為一種商品進(jìn)行流通,就像煤氣、水及電一樣,使用方便,費用低廉。最大的不同在于,它是通過互聯(lián)網(wǎng)進(jìn)行傳遞的。
云計算是并行計算(Parallel Computing)、分布式計算(Distributed Computing)及網(wǎng)格計算(Grid Computing)的發(fā)展,或者說是這些計算科學(xué)概念的商業(yè)實現(xiàn)。云計算是虛擬化(Virtualization)、效用計算(Utility Computing)、將基礎(chǔ)設(shè)施作為服務(wù)IaaS(Infrastructure as a Service)、將平臺作為服務(wù)PaaS(Platform as a Service)和將軟件作為服務(wù)SaaS(Software as a Service)等概念混合演進(jìn)并躍升的結(jié)果。從研究現(xiàn)狀上看,云計算具有以下特點。
(1)超大規(guī)模。“云”具有相當(dāng)?shù)囊?guī)模,Google云計算已經(jīng)擁有100多萬臺服務(wù)器,亞馬遜、IBM、微軟和Yahoo等公司的“云”均擁有幾十萬臺服務(wù)器等。“云”能賦予用戶前所未有的計算能力。
(2)虛擬化。云計算支持用戶隨時隨地使用各種終端獲取服務(wù)。所請求的資源來自“云”,而不是固定的有形實體。應(yīng)用在“云”中某處運行,但實際上用戶無須了解應(yīng)用運行的具體位置,只需要一臺筆記本電腦或一部PDA,就可以通過網(wǎng)絡(luò)服務(wù)來獲取各種能力超強(qiáng)的服務(wù)。
(3)提高設(shè)備計算能力。云計算把大量計算資源集中到一個公共資源池中,通過多主租用的方式共享計算資源。雖然單個用戶在云計算平臺上獲得的服務(wù)水平受到網(wǎng)絡(luò)帶寬等各因素的影響,未必能獲得優(yōu)于本地主機(jī)所提供的服務(wù),但從整個社會資源的角度而言,整體的資源調(diào)控降低了部分地區(qū)峰值荷載,提高了部分荒廢的主機(jī)的運行率,從而提高了資源利用率。
(4)高可靠性。“云”使用了數(shù)據(jù)多容錯性、計算節(jié)點可互換等措施來保障服務(wù)的高可靠性,使用云計算比使用本地計算機(jī)更加可靠。
(5)減少設(shè)備依賴性。虛擬化層將云平臺上方的應(yīng)用軟件和下方的基礎(chǔ)設(shè)備隔離開來。技術(shù)設(shè)備的維護(hù)者無法看到設(shè)備中運行的具體應(yīng)用。同時對軟件層的用戶而言,基礎(chǔ)設(shè)備層是透明的,用戶只能看到虛擬化層中虛擬出來的各類設(shè)備。這種架構(gòu)減小了設(shè)備依賴性,也使動態(tài)的資源配置成為可能。
(6)通用性。云計算不針對特定的應(yīng)用,在“云”的技術(shù)支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用,同一片“云”可以同時支撐不同的運行程序。
(7)高可擴(kuò)展性。“云”的規(guī)模可以動態(tài)伸縮,滿足應(yīng)用和用戶規(guī)模增長的需要。
(8)彈性服務(wù)。云平臺管理軟件將整合的計算資源根據(jù)應(yīng)用訪問的具體情況進(jìn)行動態(tài)調(diào)整,包括增大或減小資源的要求。因此云計算對于在非恒定需求的應(yīng)用,如對需求波動很大、階段性需求等,具有非常好的應(yīng)用效果。在云計算環(huán)境中,既可以對規(guī)律性需求通過事先預(yù)測事先分配,也可以根據(jù)事先設(shè)定的規(guī)則進(jìn)行實時公臺調(diào)整。彈性的云服務(wù)可以幫助用戶在任意時間得到滿足需求的計算資源。
(9)按需服務(wù)。“云”是一個龐大的資源池,用戶按需購買,可以像自來水、電和煤氣那樣計費。
(10)極其廉價。“云”的特殊容錯措施使得可以采用極其低價的節(jié)點來構(gòu)成“云”;“云”的自動化管理使數(shù)據(jù)中心管理成本大大降低;“云”的公用性和通用性使資源的利用率大幅提升;“云”設(shè)施可以構(gòu)建在電力資源豐富的地區(qū),大大降低了能源成本,因此“云”具有前所未有的性價比。
Google中國區(qū)前總裁李開復(fù)聲稱:Google每年投入約16億美元構(gòu)建云計算數(shù)據(jù)中心,所獲得的能力相當(dāng)于使用傳統(tǒng)技術(shù)投入640億美元,節(jié)省了約40倍的成本。因此,用戶可以充分享受“云”的低成本優(yōu)勢,需要時,花費幾百美元、一天時間就能完成以前需要數(shù)萬美元、數(shù)月時間才能完成的數(shù)據(jù)處理任務(wù)。
1.1.3 云計算的發(fā)展史
云計算的起源要先從互聯(lián)網(wǎng)的演進(jìn)講起,如圖1-2所示為云計算的演進(jìn)與由來。云計算從根本上改變了原有的互聯(lián)網(wǎng)結(jié)構(gòu),將計算能力從個人終端向服務(wù)端靠攏,弱化了端的概念,提高了計算資源的整體利用率。在量化計算資源的基礎(chǔ)上,云計算實現(xiàn)了商業(yè)模式由設(shè)置向服務(wù)進(jìn)化的過程。更令人滿意的是,隨著全體物聯(lián)網(wǎng)的發(fā)展,云計算被賦予了更為廣泛的定義:從連接計算資源到連接所有的人和機(jī)器,計算能力也將進(jìn)一步智能化。
云計算的發(fā)展過程如下。
(1)1983年,太陽公司(Sun Microsystems)提出“網(wǎng)絡(luò)是計算機(jī)”(“The Network is the Computer”),2006年3月,亞馬遜(Amazon)推出彈性計算云(EC2,Elastic Compute Cloud)服務(wù)。

圖1-2 云計算的演進(jìn)與由來
(2)2006年8月9日,Google首席執(zhí)行官埃里克·施密特(Eric Schmidt)在搜索引擎大會(SES San Jose 2006)首次提出云計算(Cloud Computing)的概念。Google“云端計算”源于Google工程師克里斯托弗·比希利亞所做的“Google 101”項目。
(3)2007年10月,Google與IBM開始在美國大學(xué)校園,包括卡耐基梅隆大學(xué)、麻省理工學(xué)院、斯坦福大學(xué)、加州大學(xué)伯克利分校及馬里蘭大學(xué)等,推廣云計算的計劃,這項計劃希望能降低分布式計算技術(shù)在學(xué)術(shù)研究方面的成本,并為這些大學(xué)提供相關(guān)的軟、硬件設(shè)備及技術(shù)支持(包括數(shù)百臺個人計算機(jī)及BladeCenter與System x服務(wù)器,這些計算平臺將提供1600個處理器,支持包括Linux、Xen、Hadoop等開放源代碼平臺)。而學(xué)生則可以通過網(wǎng)絡(luò)開發(fā)各項以大規(guī)模計算為基礎(chǔ)的研究計劃。
(4)2008年1月30日,Google宣布在中國臺灣啟動“云計算學(xué)術(shù)計劃”,將與臺灣大學(xué)、臺灣交通大學(xué)等學(xué)校合作,將這種先進(jìn)的大規(guī)模、快速計算技術(shù)推廣到校園。
(5)2008年2月1日,IBM(NYSE:IBM)宣布將在中國無錫太湖新城科教產(chǎn)業(yè)園為中國的軟件公司建立全球第一個云計算中心(Cloud Computing Center)。
(6)2008年7月29日,Yahoo、惠普和Intel宣布一項涵蓋美國、德國和新加坡的聯(lián)合研究計劃,推出云計算研究測試床,推進(jìn)云計算。該計劃要與合作伙伴創(chuàng)建6個數(shù)據(jù)中心作為研究試驗平臺,每個數(shù)據(jù)中心配置1400~4000個處理器。這些合作伙伴包括新加坡資訊通信發(fā)展管理局、德國卡爾斯魯厄大學(xué)Steinbuch計算中心、美國伊利諾伊大學(xué)香賓分校、Intel研究院、惠普實驗室和Yahoo。
(7)2008年8月3日,美國專利商標(biāo)局網(wǎng)站信息顯示,戴爾正在申請“云計算”(Cloud Computing)商標(biāo),此舉旨在加強(qiáng)對這一未來可能重塑技術(shù)。
(8)2010年3月5日,Novell與云安全聯(lián)盟(CSA)共同宣布一項供應(yīng)商中立計劃,名為“可信任云計算計劃(Trusted Cloud Initiative)”。
(9)2010年7月,美國國家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計劃,微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。
(10)2011年2月,思科系統(tǒng)正式加入OpenStack,重點研制OpenStack的網(wǎng)絡(luò)服務(wù)。
(11)2011年10月20日,“盛大云”宣布旗下產(chǎn)品MongoIC正式對外開放,這是中國第一家專業(yè)的MongoDB云服務(wù),也是全球第一家支持?jǐn)?shù)據(jù)庫恢復(fù)的MongoDB云服務(wù)。
1.1.4 云計算的發(fā)展趨勢
2011年被稱為“云計算實踐年”,是云計算從“云端”走向應(yīng)用的一年,是云計算技術(shù)日益完善的一年。在國家快速發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)及云計算服務(wù)創(chuàng)新發(fā)展試點示范政策的支持和引導(dǎo)下,各地積極部署,搶先發(fā)展,重點企業(yè)加快投資跟進(jìn),地方政府正在成為新一代云計算基礎(chǔ)設(shè)施建設(shè)的主要推動者。
2011年,云計算產(chǎn)業(yè)風(fēng)起云涌,云計算產(chǎn)業(yè)鏈和生態(tài)系統(tǒng)正在快速形成和完善,打造云計算產(chǎn)業(yè)基地已成為高新地區(qū)發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)的新機(jī)遇。中關(guān)村首創(chuàng)“群對群”投資模式為云計算產(chǎn)業(yè)投入資金,強(qiáng)力助推北京云計算產(chǎn)業(yè)實現(xiàn)“祥云”騰飛。
2011年是國內(nèi)云計算產(chǎn)業(yè)風(fēng)起云涌的一年。相比2010年,經(jīng)過一年的市場洗禮及完善,云計算已經(jīng)從高不可攀的概念逐漸走向富有內(nèi)涵的實際應(yīng)用。盡管國外IT巨頭仍在引領(lǐng)風(fēng)潮,國內(nèi)產(chǎn)學(xué)研各界雖然還處于學(xué)習(xí)和計劃階段,但已經(jīng)顯示出其對云計算的關(guān)注和重視。無論是政府、企業(yè),還是高校、研究機(jī)構(gòu)、媒體等,都紛紛加入云計算產(chǎn)業(yè)生態(tài)的打造中,積極推動中國云計算產(chǎn)業(yè)的快速發(fā)展。
無論是金融危機(jī)促使企業(yè)更加關(guān)注IT投資的性價比,還是經(jīng)濟(jì)復(fù)蘇給眾多中小企業(yè)帶來快速發(fā)展的業(yè)務(wù)需求,均是帶動云計算快速發(fā)展的動力。
1.市場發(fā)展趨勢
中小企業(yè)是推動中國云計算發(fā)展的主要因素之一。中國擁有世界上數(shù)量最多的中小企業(yè)。隨著中國經(jīng)濟(jì)領(lǐng)先走出金融危機(jī)的低谷,這些中小企業(yè)的業(yè)務(wù)也隨著中國經(jīng)濟(jì)的快速增長而突飛猛進(jìn)地發(fā)展。對于這些正處于成長期的中小企業(yè)而言,自己投資建設(shè)IT基礎(chǔ)架構(gòu)的投資回報率較低,并且很難與業(yè)務(wù)的快速成長相匹配。此時,云計算的商業(yè)模式剛好為這些中小企業(yè)提供了合適的解決方案。這些最終用戶的需求為中國云計算市場未來幾年的高速發(fā)展奠定了基石。IDC預(yù)計將有大量中小企業(yè)將自己的IT基礎(chǔ)架構(gòu)轉(zhuǎn)移到公共云計算平臺上。與此同時,會有更多的微型企業(yè)(員工人數(shù)少于10人)將通過使用云計算運營商的服務(wù)而首次擁有自己的IT平臺,開始自己的信息化之路。相應(yīng)地,云計算將促使信息化在中國滲透到更深的層面。在用戶需求的推動下,公共云計算運營商將有更大的發(fā)展。更多的企業(yè),包括互聯(lián)網(wǎng)公司、電信運營商等,都開始挺進(jìn)公共云計算的運營領(lǐng)域。
私有云計算方面同樣發(fā)展飛速。IDC觀察到,大型企業(yè)對于建設(shè)私有云計算平臺的興趣逐漸增大。過去幾年中,大型企業(yè)數(shù)據(jù)中心越來越多地采用虛擬化技術(shù)和自動化管理軟件,已為建設(shè)私有云平臺打好了基礎(chǔ)。對于大型企業(yè)來說,建設(shè)私有云計算的主要目的是為了提高IT基礎(chǔ)架構(gòu)的效率,為了更好地支持業(yè)務(wù)的發(fā)展。IDC預(yù)計,中國將有更多大型企業(yè)開始嘗試建設(shè)私有云計算平臺。私有云計算將成為下一代數(shù)據(jù)中心(NGDC)建設(shè)的主要目標(biāo)。
2.相關(guān)政府政策
由于云計算平臺可以為廣大中小企業(yè)的信息化提供平臺基礎(chǔ),同時政府對云計算的理念和技術(shù)也非常感興趣。一些地方政府也逐漸開始建設(shè)或扶植當(dāng)?shù)毓緛磉\營公共云計算中心。可以看到,很多由政府下屬的軟件園牽頭的云計算項目建設(shè)正在進(jìn)行。
對于政府來說,一個運轉(zhuǎn)良好的云計算公共服務(wù)平臺不僅可以帶動區(qū)域軟件產(chǎn)業(yè)的發(fā)展,還有助于政府與企業(yè)實現(xiàn)共贏。云計算公共服務(wù)平臺所提供的良好服務(wù)能夠吸引更多的商業(yè)投資,對于地方經(jīng)濟(jì)的促進(jìn)是一項非常重要的舉措。不僅如此,國內(nèi)一直都在倡導(dǎo)建設(shè)服務(wù)型政府,實現(xiàn)政府的公共服務(wù)創(chuàng)新。而云計算公共服務(wù)平臺從某種意義上來說也是一種技術(shù)角色的創(chuàng)新。因此,從長遠(yuǎn)角度來看,政府層面對云計算的支持將持續(xù)。
3.技術(shù)條件
國內(nèi)外近年來在硬件、軟件、網(wǎng)絡(luò)和虛擬化等各方面的技術(shù)發(fā)展,對云計算的建設(shè)也有很大的促進(jìn)作用。
虛擬化在中國經(jīng)過幾年的市場培育和推廣,已經(jīng)逐步進(jìn)入健康發(fā)展階段,來自制造業(yè)、金融、電信的客戶已經(jīng)開始采用虛擬化技術(shù)來優(yōu)化數(shù)據(jù)中心的應(yīng)用。中國市場服務(wù)器虛擬化滲透率不斷增加,而且所運行的虛擬化應(yīng)用也逐步向企業(yè)核心應(yīng)用發(fā)展。由于云計算平臺都是基于虛擬化的環(huán)境,因此虛擬化的發(fā)展為用戶發(fā)展云計算提供了良好的條件。
由于所有云計算服務(wù)都是基于互聯(lián)網(wǎng)協(xié)議的,而國內(nèi)的數(shù)據(jù)網(wǎng)絡(luò)帶寬經(jīng)過幾年來電信運營商的建設(shè),已能夠滿足大量并發(fā)訪問和數(shù)據(jù)傳輸。同時,我國和國外之間的網(wǎng)絡(luò)傳輸質(zhì)量尚不穩(wěn)定,因此國內(nèi)用戶使用境外云計算服務(wù)提供商的服務(wù)時仍面臨一定的網(wǎng)絡(luò)瓶頸。這將會促使更多最終用戶尋求國內(nèi)云計算服務(wù)提供商,對于國內(nèi)的云計算中心建設(shè)同樣有促進(jìn)作用。
另外,隨著云計算的理念逐漸深入人心,IT供應(yīng)商也將面臨著前所未有的轉(zhuǎn)型。一些硬件和系統(tǒng)軟件廠商也將逐步推出“云設(shè)備”。這類設(shè)備可能是廠商在原有產(chǎn)品基礎(chǔ)上針對云計算進(jìn)行的優(yōu)化,也有可能是全新的產(chǎn)品,更可能是為快速部署云計算而設(shè)計的解決方案產(chǎn)品。因此,由云計算帶動的新興配套產(chǎn)品和服務(wù)(主要用于使建立云計算平臺更方便、更快捷、更安全和更可靠)的快速發(fā)展也將反作用于云計算業(yè)務(wù)本身,促進(jìn)云計算的發(fā)展。
1.1.5 云計算的基本特征
下面介紹云計算的基本特征。
互聯(lián)網(wǎng)上的云計算服務(wù)特征和自然界的云、水循環(huán)具有一定的相似性,通常云計算服務(wù)應(yīng)該具備以下幾點特征:
(1)基于虛擬化技術(shù)快速部署資源或獲得服務(wù)。
(2)實現(xiàn)動態(tài)的、可伸縮的擴(kuò)展。
(3)按需求提供資源、按使用量付費。
(4)通過互聯(lián)網(wǎng)提供、面向海量信息處理。
(5)用戶可以方便地參與。
(6)形態(tài)靈活,聚散自如。
(7)減小用戶終端的處理負(fù)擔(dān)。
(8)降低用戶對于IT專業(yè)知識的依賴。
- 虛擬儀器設(shè)計測控應(yīng)用典型實例
- Oracle SOA Governance 11g Implementation
- 電力自動化實用技術(shù)問答
- 影視后期制作(Avid Media Composer 5.0)
- Visual C# 2008開發(fā)技術(shù)詳解
- 人工智能工程化:應(yīng)用落地與中臺構(gòu)建
- 分布式多媒體計算機(jī)系統(tǒng)
- 精通特征工程
- AutoCAD 2012中文版繪圖設(shè)計高手速成
- 網(wǎng)中之我:何明升網(wǎng)絡(luò)社會論稿
- 在實戰(zhàn)中成長:C++開發(fā)之路
- 傳感器原理與工程應(yīng)用
- Linux常用命令簡明手冊
- SolarWinds Server & Application Monitor:Deployment and Administration
- Learn SOLIDWORKS 2020