- 地理空間大數據開發利用
- 程曉波
- 2019-09-09 16:39:48
第一章 地理空間大數據的內涵
第一節 有關概念和理論
一、地理空間大數據的內涵介紹
在大數據技術對地理信息產業的影響下,通過地理信息采集的大數據化,實現了大數據技術與傳統的地理信息技術的有效融合,從空間數據庫到大數據,從輔助型GIS到知識發掘型GIS,逐步演變為廣泛意義上的地理空間大數據。地理空間大數據的基本內涵如下。
(一)地理信息采集的大數據化
隨著大數據技術的不斷更新與提升,傳統的地理信息大數據正在通過更加安全、規范的方式得到搜集、應用和推廣。在新舊技術的結合下,通過探測和遙感所產生的數據、歷史數據和“過時的”數據,經過合理的技術處理和完善,實現了大量數據的乘數式增長,產生了源源不斷的數據流,形成了有重要應用價值的地理空間大數據池。
同時,隨著數據采集途徑的不斷增加,地理信息數據出現并被獲取的速度在加快,頻率在提升,數據內容在不斷豐富。在射頻技術、傳感器技術、衛星導航技術、攝影技術的基礎上,在社交網絡和平臺不斷深化應用的推動下,產生了大量實時的個人數據、行業數據,形成了地理空間信息的聚集化發展趨勢。
(二)從空間數據庫到地理信息大數據
空間數據庫作為專用型數據庫,特點在于采用二維表結構的技術,將空間元素的坐標數據置于屬性字段中,基于空間元素的幾何特征進行分類,針對空間數據的特性進行有限存儲,建立面向對象的關系型空間數據庫,實現對結構化空間數據的有效操作和管理。
二、地理空間大數據的類型和特點
(一)地理空間大數據信息系統數據類型
地理信息系統(Geographic Information System或Geo-Information System, GIS)包含的數據,分為基礎空間大數據和非空間大數據。基礎空間大數據是指GIS系統中存儲、傳輸的空間數據、專題數據;非空間數據是指數據的請求、命令等。
從地理空間信息的數據源來看,地理空間大數據可以劃分為:地圖數據,專題數據,相關文本、聲音、圖像、視頻等多媒體數據,標圖數據,客戶請求命令,用戶的身份、口令、互聯網協議地址(Internet Protocol Address, IPA),服務器通知等。
(二)地理空間大數據的特點
和其他類型的大數據相比較,地理空間大數據比一般信息數據更為復雜。具體表現為:
(1)數據類型多樣。既有屬于地圖數據的幾何數據、屬性數據和空間關系數據、地圖數據元數據,也有非地圖數據如文本、圖片,甚至還有命令、請求等數據。
(2)數據操作流程復雜。地圖數據的操縱不但需要一般的數據檢索、修改等功能,而且還需要一些特有的檢索方式,如定位檢索、拓撲關系檢索等。
(3)多途徑數據輸出方式。除具體數據的表現形式外,還可以通過報表、圖形等輸出。
(4)數據存儲空間巨大。地圖數據來源多樣,除測量、統計數據、文字資料之外,還有地圖、遙感圖像等圖形圖像數據,這些數據需要巨大的存儲空間。
三、地理空間大數據的核心技術與應用
對于未來地理空間大數據技術的發展,專家學者們已經提出諸多觀點。美國科學院地理信息科學院院士Michael F·Goodchild在如下幾個方面陳述觀點:①GIS應用將會從室外走進室內;②需要更有效的室內定位方法。要實現上述目標,必須有新信息通信技術的強力支撐。云計算、物聯網和移動互聯網這些新技術的興起,為地理空間大數據的發展提供了強有力的技術支撐;另外,地理空間大數據的發展為這些新技術提供了新的應用背景和巨大的發展機遇。
云計算、物聯網和移動互聯網等新型網絡技術環境下,實現地理空間大數據的共享,能夠極大地加快地理空間大數據和其他領域信息的共通,加快數據應用平臺的建設,拓寬大數據的應用領域;同時,地理空間大數據的廣泛應用,可以推動思維方式的轉變和認知的提升。地理空間大數據成為普通民眾生活的一部分,其現實應用正在逐步改變人們的生活方式。
(一)云計算和虛擬化技術
云計算是一種新型計算模式,在云計算環境下,通過整合分布式資源,構建應對多種服務要求的計算環境,滿足用戶定制化要求。云計算以資源租用、應用托管、服務外包為核心,通過網絡訪問,按使用量付費的模式,實現對資源的共享及高效利用。
1.云計算的特征及應用優勢
1)云計算的特征
云計算的典型特征表現為:
——使用者選擇的自主性。用戶可以根據具體的需求來做出判斷。
——網絡訪問的便利性。
——數據資源的聚集性。提供服務的一方,可以通過專業優勢,匯集數據并進行資源最優配置。
——實現計量付費服務。云系統利用一種計量功能來自動調控和優化資源利用,根據不同的服務類型按照合適的度量指標進行計量。
——資源匹配的靈活性。云計算可以根據客戶的個體需求,實現資源的按需提供。
——技術的公開性。云計算的技術對于最終用戶是透明的。
——服務的可靠性和有效性。這也是云計算的基本功能,在發展中不斷改進和優化。
云計算的核心特征在于彈性,可以實現規模經濟,在帶來安全方面優點的同時也引起安全方面的顧慮。但事實證明,云設施的安全性比大多數傳統IT設施更高,管理也更加專業。相對于傳統模式,在云模式下整個企業能很容易地直接達到這種安全性。云計算的這些特征使其極大地提高了用戶體驗度,同時具有極低的成本。
2)云計算的層次結構
云計算之所以具有上述特征,是由其層次結構決定的。從不同角度,云計算可以分成不同類別。按照服務模式的分類如圖1-1所示。

圖1-1 云計算服務模式
按照部署模式,云計算可以分為3種模式:公共云、私有云、混合云。服務模式如圖1-2所示。

圖1-2 添加注釋的云計算服務模式
2.云計算發展的國際比較
云計算市場呈現全球化發展的趨勢。截至2016年,阿里云在全球一共布置了14座超大規模數據中心,騰訊云有3座海外數據中心,亞馬遜有8座數據中心。從市場份額來看,根據美國市場研究機構Synergy Research的最新數據顯示,亞馬遜AWS是全球云服務的第一大巨頭,從2006年開始,面向全世界范圍內的用戶提供專門的計算服務平臺和整套的云計算服務,亞馬遜AWS在公共云市場上始終保持前位,2014—2016年市場占有率分別為28%、31%、40%,遠高于微軟、谷歌和IBM等。2009年9月,阿里巴巴宣布成立了一家專門從事云計算業務的公司——“阿里云”;我國三大電信運營商也紛紛投身云計算平臺搭建,有的運營商還成立了大數據公司(事業部)。
在政府層面,各國政府高度重視云計算并積極推進在各個領域的應用。美國聯邦政府通過建立網站Apps.gov,作為云計算應用的平臺,并于2011年2月發布了《聯邦云計算戰略》文件。英國政府在云計算方面開展了全面的部署,從2009年開始,著手建立覆蓋所有政府部門的云計算網絡G-Cloud。日本政府通過制定“有效利用信息技術,開創云計算新產業”的國家發展戰略,積極推動云計算的全面發展。2017年1月,韓國科學、信息和通信技術及未來規劃部表示,政府制訂了3年計劃,計劃于2016年至2018年間在公共部門采用云計算技術,以節省3700億韓元。通過在農業和造船等各種工業領域使用云計算技術,擴展云計算的應用范圍,從而帶動該市場的發展。
中國政府高度重視云計算產業發展。國家有關部門專門組織國家科技重大專項研究,以推動云計算技術和產業的健康發展。2015年1月,國務院印發《關于促進云計算創新發展培育信息產業新業態的意見》(國發〔2015〕5號)文件,提出要加快發展云計算,打造信息產業新業態,推動傳統產業升級和新興產業成長,培育形成新的增長點,促進國民經濟提質增效升級。2017年3月,工業和信息化部印發了《云計算發展三年行動計劃(2017—2019年)》文件,促進云計算健康快速發展。
3.云計算與地理空間大數據
地理空間信息往往需要大量的數據存儲和高效的計算資源,但從現實來看,依然存在基礎數據量雖然龐大,但更新頻度低、并發訪問數據量大,缺乏統一標準等問題。因此,地理空間信息有必要應用云計算技術,由此激發地理空間信息在海量數據存儲、大規模計算、深度數據挖掘方面的優勢。
地理空間大數據應用的特點非常適合采用云計算模式:首先,地理空間大數據的來源相對集中,使用群體廣泛;其次,地理空間基礎數據龐大,需要合理的儲存方式,以便進行數據挖掘和應用;最后,地理空間大數據并發用戶規模較大,使用頻次低,需要采用云計算的相關處理技術。
根據國內外的發展來看,基于云計算的地理空間大數據系統建設已初具雛形,如Google Earth、Google Moon和Google Mars, ArcGIS Online、ArcGIS10.1, SuperMap GIS 6R, MapGIS K9 SP3, GeoCloud等系統,已經得到廣泛應用和推廣。
(二)物聯網技術
1999年,MITAuto ID Center較早將“物聯網”定義為:在計算機互聯網的基礎上,利用射頻識別技術(Radio Frequency Identification, RFID)、無線數據通信等技術,構造一個覆蓋世界上萬事萬物的網絡(Internet of Things, IoT),以實現物品的自動識別和信息的互聯共享。物聯網就是基于互聯網的物品與物品之間的信息交換,是物物相連的延伸和擴展的互聯網。
物聯網涉及大量的相關技術,包括無線通信技術;數據采集技術及設備,如傳感器;數據處理技術;智能終端技術,如常見的模擬人的思維的人工智能技術;數據存儲技術,如云計算等。
1.物聯網的特征及應用優勢
1)物聯網的特征
物聯網具備三個特征:一是全面感知,即利用RFID、傳感器、二維碼等設備隨時隨地獲取物體的信息;二是可靠傳遞,通過各種傳感網絡與互聯網的融合,將物體當前的信息實時準確地傳遞出去;三是智能處理,利用云計算、模糊識別等各種智能計算技術,對海量數據和信息進行分析和處理,對物體實施智能化控制。
2)物聯網的層次結構
物聯網之所以具有上述特征,是由其層次結構決定的。如圖1-3所示,物聯網的三個層次是,最底層用來感知數據的感知層,傳遞和處理感知層獲取信息的網絡層,完成數據管理和處理的最上層,即應用層。

圖1-3 物聯網的層次結構
2.物聯網發展的國際比較
為尋找新的經濟增長點,推動科技進步,各國政府對物聯網及相關技術的發展給予了高度重視。日本2004年提出“u-Japan”戰略,推動物聯網的全面發展;2015年10月成立了物聯網IoT推進聯盟,推動物聯網技術的開發和應用。2006年,韓國政府推出了“u-Korea”計劃,倡導智慧服務,全面推廣物聯網的發展;2009年出臺了《物聯網基礎設施構建基本規劃》,激發物聯網的潛在動能;2014年,韓國正式發布《物聯網基本規劃》,并在當年下半年制定了物聯網科研戰略,設立了物聯網實證中心,啟動由九大機構協同開展的“物聯網實證項目”等。2009年歐盟執委會啟動了歐洲物聯網行動計劃,2015年5月,歐盟通過“單一數字市場(Digital Single Market)策略”,推廣物聯網發展的技術和標準;在提出的“歐洲產業數字化(Digitising European Industry)新措施”里,將“建構物聯網的單一市場、強力發展物聯網生態系統、深化以人為中心的物聯網”作為發展方向;有數據顯示,從2014年至2017年,歐盟共投資了1.92億歐元,用于物聯網的研究和創新。
在奧巴馬執政期間,美國將新能源和物聯網列為振興經濟的兩大重點。2016年3月,美國在線信任聯盟(The Online Trust Alliance, OTA)發布了《物聯網信任框架》,作為物聯網設備開發商、采購商和零售商的產品開發與風險評估指南,并于2017年1月進行了更新;2016年,幾家巨頭企業提出“國家物聯網戰略對話”倡議,適逢美國新“物聯網”商業局的成立和兩院兩黨即將簽署“物聯網的發展創新與成長行動”。2017年5月,美國總統特朗普簽署13800號總統行政令——《加強聯邦網絡和關鍵基礎設施的網絡安全》,并于當年6月發布,征求評議文件《促進利益相關者對僵尸網絡和其他自動威脅的行動》,探討應對物聯網安全尤其是僵尸網絡分布式拒絕服務(Distributed Denial of Service, DDoS)攻擊威脅的相關建議。
中國重視物聯網的發展并將其作為戰略性新興產業。在《“十二五”規劃綱要》中明確提出,要推動物聯網關鍵技術研發和重點領域的應用示范。“十三五”時期,我國物聯網發展面臨“跨界融合、集成創新和規模化發展”的新階段。根據Wind數據顯示,2009年至2014年,我國物聯網行業市場規模復合年均增長率(Compound Annual Growth Rate, CAGR)達到27.1%;前瞻產業研究院發布的《中國物聯網行業應用領域市場需求與投資預測分析報告》預計,到2018年,物聯網行業市場規模將超過1.5萬億元,CAGR將超過30.0%。在新的國際背景下,我國物聯網將面臨前所未有的發展機遇。
未來物聯網產業發展有如下趨勢。
1)物聯網應用市場巨大
在全球物聯網不斷發展的過程中,各國積極部署國際戰略,不斷開發相關技術和標準,推廣相關應用和服務,全球物聯網市場規模呈現遞增趨勢。據有關研究顯示,在相關技術的推動下,正在涌現出越來越多的實用性應用產品,預計到2020年,全球物聯網整體市場規模將達到11000億美元。
2)物聯網標準體系漸進完善
物聯網產業標準體系涵蓋面廣,涉及眾多技術、眾多行業、眾多領域,通過行業標準帶動關鍵技術標準,將逐步形成符合市場規范的標準化體系。
3)物聯網產業集群發展
物聯網概念提出以后,隨著全球公共治理、管理體制的不斷完善,逐步形成了統一的應用服務市場,應用解決方案更加貼近消費者的需求;同時,在相關產業的發展過程中,出現了大量上、中、下游企業的聚集,核心技術開發層出不窮,相對成熟的物聯網產業鏈條在不斷延長。
4)物聯網公共技術平臺將成為發展主流
隨著行業應用的逐漸成熟,將逐步形成統一的數據接口和標準,從而支持不同設備和互聯協議,大量具有相似特性的技術服務平臺逐步集成化,越來越多的物聯網技術平臺的通用性將不斷增強,成為未來發展的主流趨勢。
3.物聯網與地理空間信息
物聯網的建設為地理空間信息技術提供了巨大的發展機遇。當前,物聯網網絡系統規模是互聯網的30倍,甚至更多。在未來,地理空間信息技術應用的廣度和深度將不可估量。地理空間信息技術也為物聯網提供了關鍵性的技術支撐。物聯網感知物品信息時,需要感知其物品的位置存在等空間信息,這就可以借助地理信息系統的工業化標準平臺來高效地進行處理。物聯網對信息的存儲和管理手段在不斷更新,從而可以提升對空間和非空間數據的分析挖掘能力,進一步強化物聯網應用的信息管理水平,對我國大力發展物聯網建設將大有裨益。地理空間信息技術可以在以下6個方面促進物聯網的發展。
1)精確導航與定位服務
智能管理作為物聯網的特征之一,對所有入網互聯的“物”進行跟蹤和準確定位,需要精準的定位技術。衛星導航系統具有實時三維導航與定位能力,能夠快速、高效、準確地提供精確三維坐標、精確目標導向和地理定位信息。衛星導航信息廣泛應用于軍事和民用領域,如:智慧城市、精準農業,智慧交通和智能物流。它為地理空間信息數據提供翔實、關鍵的內容。全球定位系統(Global Positioning System, GPS)是當前全球導航定位的主要信息服務系統。
2)準時、實時數字圖像處理
準時、實時數字圖像、全面感知是物聯網的另一個重要特征。在大面積監測地理目標時,對地觀測衛星系統可以直觀、動態、快速響應,并可提供遙感圖像、電磁信號等衛星遙感信息,它以更高的分辨率和更快的響應速度來構成地球空間信息的重要數據源。在軍事、科技、城市規劃管理與監測、國土測繪與監測、氣象觀測與服務、地質勘探與考察、環境監測與防災減災、海洋監測、農林牧副漁監測等眾多領域有著廣泛應用。
3)準確氣象服務
物聯網的重要組成部分包括數字化網格城市、智能農業、智能家庭和智能氣象服務。通過智能氣象服務終端(IMST)、智能氣象服務中心(IMSC)組成的智能氣象服務系統,可實現全面信息數據的共享共通,通過智能化地分析用戶的需要,可最大限度地實現數據應用,提供滿足用戶需要的或潛在需要的氣象服務。
4)遠程通信服務
衛星通信是實現物聯網可靠傳遞特性的保證之一。衛星通信的優勢在于覆蓋范圍廣,不受地理條件限制,可以在國際國內通信、寬帶多媒體通信、移動通信和廣播電視等領域廣泛應用;頻帶寬、容量大、性能穩定,適用的領域較為寬泛,通過提供遠程通信服務,可實現衛星通信網、地面電信網、計算機網絡和有線電視網絡的互聯互通,多方面提供信息和應用成果。
5)資源與環境監測
地球資源與環境監測也是物聯網應用的一個重要領域。通過利用地球資源衛星,借助電荷藕合器件圖像傳感器(Charge Coupled Device, CCD傳感器)、光學或微波成像儀、紅外掃描儀及其他設備,提供資源與環境監測的服務,有效獲取環境和災害信息,為應對環境與資源問題、解決相關民生問題,提供全面的數據來源,科學輔助國家政策、專項政策的制定與執行。
6)精確作戰信息服務
物聯網時代,可視化的數字戰場將成為競爭的核心要素,通過衛星系統及其星載傳感器,搜集精準、實時的數據,構建全方位、全頻譜、全時域的多維偵察監視預警和指揮控制體系。
隨著相關網絡技術的發展,地理空間大數據的技術將不斷完善,輔之以物聯網的發展,將發揮積極有效的作用。
(三)移動互聯網技術
移動互聯網技術涉及移動通信技術和互聯網技術。用戶采用形式多樣的移動終端,通過移動通信網絡訪問互聯網并使用互聯網業務,這在當前經濟社會中已經全面普及。從有線的、固定的網絡到無線的、移動的網絡,是互聯網的巨大進步,用戶終端由固定變為可移動,使得網絡無處不在。移動互聯網技術市場潛力巨大,將繼續引領各行業的快速發展。
1.移動互聯網的特征及應用優勢
1)移動互聯網的特征
(1)時間空間的隨意性。
移動互聯網終端的可移動性為人類帶來空前的便捷性。移動互聯網的出現,使得個體連接網絡、使用網絡不受時間和空間的限制。隨著智能終端的不斷更新,移動物聯網的用戶不斷攀升,覆蓋群體范圍不斷擴大。到目前為止,全球移動互聯網用戶的數目呈現不斷攀升的態勢。就我國而言,根據工信部2017年3月發布的數據,2017年1~2月,我國移動互聯網用戶總數達到11.2億戶。移動互聯網的出現,正在深刻地改變人類獲取信息的路徑和方式。
(2)使用方式的私有性。
相對于個人計算機(Personal Computer, PC)用戶,手機更具有個人化、私密性的特點,如每部手機都有專屬人,包括手機號碼、手機終端的應用,基本上都是私人來使用的。智能終端的使用者,擁有各自的社會交際網絡,也更加明顯地顯示出網絡之間的關聯性,并成為互聯網應用開發的基礎和新的增長點,個體社交網絡正在逐步成為互聯網創新應用的新領域。
(3)服務定向性。
智能終端應用的不斷開發,使得移動互聯網可以借助各種定位方式,獲取使用者的地理位置信息,由此進一步開發更加個性化、針對性的應用服務。借助大數據技術、數據挖掘技術,移動互聯網應用開發商可以實現對數據的整理和挖掘,針對用戶的習慣性消費偏好,開發更加精準實用的產品,提供更加全面的個性化服務,如打車服務、地圖熱圖服務等。
(4)適用時間的靈活性。
移動互聯網的即時性有效改善了時間分配,基于其顯著的便捷性特點,可以改善傳統工作模式的低效率問題,在移動互聯網的模式下,個體、企業、國家可以更加實時地處理、接收各類信息,實現高效化運轉。移動互聯網為生活、工作、學習提供了便利,也為社會和諧穩定發展創造了新途徑和新空間。
(5)終端多樣化。
移動終端、移動通信設備是移動互聯網的基本載體。科技進步的推陳出新,實現了新型移動通信設備的快速更新,使用終端趨向于輕便化、可攜帶化。產品的革新速度加快,微型設備等給人類社會帶來了極大的便利。
2)移動互聯網的層次結構
移動互聯網具有3個層次,由此決定了其如上所述的主要特點。綜合來看,移動互聯網最典型的特征是應用廣泛,服務多樣,通信模式各異。
圖1-4是世界無線研究論壇給出的移動互聯網參考模型,對移動互聯網進行的研究表明,移動互聯網可以提供個性化、感知式、自調整式的應用服務。各種應用通過開放的應用程序接口(Application Programming Interface, API)獲得用戶交互支持或移動中間件支持。移動中間件包括數據建模服務、移動數據管理等。互聯網協議簇包括IP服務協議和聯網協議等在內的各種協議組合。操作系統實現不同層級之間的交互;硬件/固件是指組成終端和設備的器件單元。

圖1-4 移動互聯網的參考模型
移動互聯網支持多種無線接入方式,根據覆蓋范圍的不同,可分為個人域網(Wireless Personal Area Network, WPAN)接入、無線局域網(Wireless Local Area Networks, WLAN)接入、無線城域網(Wireless Metropolitan Area Network, WMAN)接入和無線廣域網(Wireless Wide Area Network, WWAN)接入,各種技術客觀上存在部分功能重疊的相互補充、相互促進,具有不同的市場定位,共同組成寬帶無線接入的網絡架構。
2.移動互聯網的發展現狀
根據中國互聯網絡信息中心發布的第39次《中國互聯網絡發展狀況統計報告》顯示,截至2016年12月,中國網民規模達7.31億,相當于歐洲人口總量,互聯網普及率達到53.2%。其中,手機網民占比達95.1%。截至2016年12月,我國手機網民規模達6.95億,增長率連續三年超過10%。相比之下,臺式電腦、筆記本電腦的使用率均出現下降,2016年我國手機網上支付用戶規模增長迅速,達到4.69億,年增長率為31.2%。網民手機網上支付的使用比例由57.7%提升至67.5%。
移動互聯網的發展勢不可當。未來智能手持終端比例將不斷加大,在智能連接發展情況方面,中國移動物聯卡用戶規模超過3400萬戶,集團客戶有1.9萬家,預計到2017年年底將超過4000萬用戶。目前每用戶平均收入(Average Revenue Per User, ARPU)值為56元/年,平均每戶每月上網流量(Dataflow of Usage, DOU)為528兆/年,連接管理平臺API調用次數持續增加。搜索仍將是移動互聯網的主要應用,與傳統互聯網模式相比,移動互聯網同樣對搜索的需求量非常大,在移動的狀態下,非常適宜去搜索相關信息。移動搜索信息的手機仍然是移動互聯網的主要應用。
3.移動互聯網與地理空間大數據
移動互聯網的發展讓位置服務或定位服務(Location Based Services, LBS)和位置應用迅速起飛,傳統的地理信息市場也由此迎來新一輪發展高潮。可以這么說,地理空間大數據借LBS進入移動互聯網。在社會需求和信息技術的雙重驅動下,移動互聯網與地理空間信息的集成成為必然,移動空間信息服務將取得突飛猛進的發展。移動地理空間信息集成服務本質上不是單純的某一項技術,而是由多學科、多技術領域交叉的復雜技術服務系統。移動互聯網為用戶提供的各種服務具備體驗性、溝通性、差異性、創造性和關聯性等特性,大大推動了地理信息服務快速融入人們的工作和生活,并且科技進步和需求增加將強勁驅動LBS等地理空間信息應用的普及,極大地提升地理空間信息的價值。在日益強大的智能終端硬件性能(如GPS模塊支持、3D加速)和系統軟件(如觸控界面)支持下,移動位置的應用能為用戶提供更清晰、更翔實的地圖,能夠提供更完整的地圖展現、更友好的仿真界面及3D效果;并且,智能手機能夠將移動位置服務與Web 2.0理念結合起來,大大增加了LBS等地理空間信息服務的應用空間和實際價值。
移動互聯網與地理空間大數據以LBS為切入點相結合,會在如下幾個領域產生意義深遠的影響。
1)基于地理空間大數據的導航和位置服務
電子地圖廠商有先天優勢,比如擁有數據優勢的高德和四維圖新。這二者除了做導航之外,還都涉及互聯網電子地圖和地理信息服務。據了解,四維圖新每天通過LBS和互聯網地圖服務使用公司地圖產品的點擊量達9100萬次,并且在移動位置服務領域與中國移動、中國電信等進行深度合作。高德2007年就開始和中國移動位于遼寧的位置基地合作。免費的“mini地圖”是高德搶占手機客戶端的重要手段。高德還具有創新性的作為,他們認為地理數據庫+GIS+在線將成為LBS的主流,于是與Esri合作開發出Emapzone。
2)基于地理空間大數據的互聯網應用
自2009年Foursquare發布以來,基于地理位置的移動互聯網應用不斷出現。如基于位置的聊天工具Yobongo,在及時溝通與反饋的基本服務基礎上,建立現實的溝通情境,進行基于實景的互動;如圖像分享應用Color,結合手機特性,獲取用戶的地理位置大數據,幫助人們感知周圍環境,實現基本需求;如Facebook Places,通過跟隨社交網絡中其他人的足跡,發現新的熱點,允許用戶分享其地理位置信息,并推廣了很多基于地理位置的服務;如Wechat,通過實現跨平臺的位置社交網絡構建,實現了開放的互聯網應用。
3)基于地理空間大數據的公共管理應用
在公共管理領域,比如城市管理、公共應急管理等都開始嘗試利用移動地理空間信息來提高室外辦公的工作效率。在城市管理的移動地理空間信息解決方案中,巡檢人員在城市巡檢中若遇到公共設施遭到破壞,或者發生影響行人正常出行的異常事件時,其就可通過隨身攜帶的移動終端上的GPS定位得到位置信息,并利用移動終端上的移動地理空間信息應用程序將管理信息發送到城市管理中心的服務器上,以便管理機構做出決策,并且通過移動終端接收來自管理中心的任務指派,從而完成整個巡檢工作。
除此之外,在不同行業,也有不同的移動地理空間信息的應用案例,比如基于移動地理空間信息的油氣巡檢系統、基于實景三維地理空間信息的水庫移動巡查系統等,不再一一贅述。
(四)大數據技術
著名社會思想家阿爾文· 托夫勒最早在1980年提出了“大數據”的概念。但是,大約從2009年開始,“大數據”才成為互聯網信息技術行業的流行詞匯。美國互聯網數據中心指出,互聯網上的數據每年將增長50%,每兩年便可翻一番,而目前世界上90%以上的數據是最近幾年才產生的。
云計算、物聯網、移動互聯網,無一不是大數據來源或者承載的方式。在物聯網時代,成千上萬的網絡傳感器嵌入到現實世界中;云計算則為物聯網產生的海量數據提供存儲空間,并使得在線處理成為可能。過去,企業知識存儲數據,簡單地存與讀,或者進行簡單的數據分析,然而,隨著數據呈現爆炸式增長趨勢,企業不再滿足于這種簡單的數據處理,而是希望通過數據對企業做出更好的決策,正是這種對數據的需求催生了大數據。
維基百科將大數據定義為:大數據或稱巨量數據、海量數據、大資料,指的是所涉及的數據量規模巨大到無法通過人工,在合理時間內截取、管理、處理、并整理成為人類所能解讀的信息。Amazon大數據科學家John Rauser將大數據描述為“任何超過了一臺計算機處理能力的龐大數據量”。Informatica中國區首席產品顧問但彬認為:大數據=海量數據+復雜類型的數據。
1.大數據的特征及應用優勢
1)大數據的特征
業界對大數據特征的定義有3V和4V。其中價值(Value)既是特征,又是對大數據應用的描述。下邊對大數據的3V特征進行闡述。
(1)大量(Volume):是指數據量是非常龐大的,主要體現為數據存儲量大、計算量大。大數據中的數據不再以幾個GB或者幾個TB為單位來衡量,而是以PB、EB或ZB為計量單位。根據IDC的預測報告顯示,2011年全球數據總量已經達到0.7ZB,2015年全球的數據總量為8.6ZB,目前全球數據的增長速度為每年40%左右,預計到2020年全球的數據總量將達到40ZB。
(2)速度快(Velocity):一是指數據在不斷更新,變化的速度快。根據2017年思科Mobile Visual Networking Index(VNI)報告預測,全球移動數據流量在2016年至2021年間將增長7倍,用戶上傳的內容將爆發式增長。二是指數據存儲、傳輸等處理速度快。傳統數據倉庫系統、BI應用都是批處理方式,但對于大數據應用,必須進行實時數據流處理。
(3)多樣性(Variety):是指數據來源廣泛、數據類型多樣、數據交易頻繁。企業所面對的傳統數據主要是交易數據,而互聯網和物聯網的發展,形成了大量的數據來源;大數據中有四分之三以上的數據是以非結構化和半結構化的數據進行存儲的,如音頻、視頻、圖片、鏈接等;與空間信息為主的數據之間具有很強的關聯性,包括語音、照片、位置、行程、日期、坐標等。
2)大數據的流程結構
大數據的存儲和應用,對數據處理的高效性和可用性提出了更高的要求。傳統數據處理方法的不足表現在:第一,采集來源單一,且存儲、管理和分析數據量也相對較小,無法滿足相關的大數據應用需求;第二,傳統的數據處理方法無法滿足大數據的要求。因此,只有符合新架構的大數據處理技術才能解決新出現的數據需求。
大數據處理流程包含圖1-5所示的5個環節,大數據的基本處理流程與傳統數據處理流程的主要區別在于:由于大數據要處理大量、非結構化的數據,所以在各個處理環節中都可以采用MapReduce等方式進行并行處理。MapReduce是通過對海量數據進行分割、任務分解與結果匯總,經過映射和化簡兩個階段,先分后合,實現對數據的有效處理。Map即“分解”,把海量數據分割成了若干部分,分給多臺處理器并行處理;Reduce即“合并”,把各臺處理器處理后的結果進行匯總操作以得到最終結果。在數據采集、數據預處理、數據存儲、數據分析/挖掘、結果展現5個步驟中,大數據技術均采用了不同于以往的新方法,典型工具也在圖1-5中列出。

圖1-5 適用于各處理環節的MapReduce等大規模并行處理方式
2.大數據的發展趨勢
在2013年舉行的第一屆CCF大數據會議上,122位專家委員共同預測了如下的大數據發展趨勢。
1)大數據從“概念”走向“價值”
大數據向更多新領域擴張,并會出現更多數據驅動的商業模式。互聯網金融等將會成為大數據應用的新的商業模式,特別是基于海量數據的信用體系和風險控制,將成為新的發展方向。資本高度關注大數據領域,特別是社會資本會以更加靈活的方式,如PPP模式,來注資、助力大數據的發展。
2)大數據處理架構的多樣化模式并存
大數據處理架構的模式多樣化,目前看來,實時流計算、分布式內存計算、圖計算等框架并存的局面占據主流。由于硬件加工工藝及技術的提升,內存的容量越來越大,體積越來越小,價格越來越低,使得應用內存來計算、解決大數據實時性的問題成為可能,從而提高了實時處理效率及數據性能。
3)大數據更加安全與注重隱私
由于大數據更具開放性,因此需要關注存儲數據的物理安全性,避免成為網絡攻擊的目標。數據獲得的便利性使得黑客也比較容易獲得大數據的分析技術,這樣大數據更容易成為不易被追蹤且難以防范的犯罪手段。因此,大數據的安全問題將越來越被重視。特別是,隨著個人隱私數據越來越被動地被搜集,有償性隱私保護服務會成為未來的發展趨勢,由此將會推進大數據個人數據保護和隱私問題立法的相關工作。
4)大數據分析與可視化成為熱點
人們能夠及時地了解和獲得決策信息,與對大數據的實時查詢和分析是分不開的。內存計算模式的大量運用及大數據的實時處理將成為大數據分析的重要抓手。大數據即將成為新一代技術革命的發動機,在大數據的深度數據挖掘和AI技術的深度學習基礎上,融合其他之前的各種處理方法,將會產生革命性的大數據分析方法。
5)大數據作為戰略性產業
大數據作為各個國家的戰略新興產業,在分析提高國家經濟決策和社會服務能力、保障國家安全等方面發揮著重要的作用。同時,大規模的企業已成為大數據使用最活躍的群體,中小企業也越來越重視大數據給企業帶來的重大影響。在政府層面,一些擁有大數據的政府部門利用自己積累的數據,采用大數據技術分析,科學有效地指導行業、企業的發展,解決地方政府治理等問題,成果顯著突出。
6)數據商品化與數據共享聯盟化
數據的私有化和獨占性將日益成為關注的焦點,數據產權界定問題日益突出。在數據權屬確定的情況下,數據商品化將成為必然選擇。數據共享聯盟將逐漸壯大成為產業的核心一環,數據共享將擴展到企業層面,逐步實現共享聯盟化。
7)基于大數據的預測應用
通過對海量歷史數據分析,幫助捕捉現在和預測未來,進而通過大數據進行決策支持,是基于大數據的預測應用模式。可以看到,大數據分析下的美國總統選舉,通過數據分析成功預測了2016年美國總統選舉的結果。不得不說,基于大數據的推薦系統更加了解用戶,更精確,更個性化,成為最具效果的大數據商業應用。在積累了多年用戶和數據基礎后,基于社交網絡的廣告營銷模式初現端倪,從而實現了更精準的廣告投放,滿足人們的各種需求。
8)深度學習成為支撐
在大數據時代,深度學習將依靠高性能計算的支持,成為大數據智能處理的核心技術之一。智能機器會依賴對捕捉到的數據進行分析,做出相應的判斷和決策。基于海量知識的智能、群體智能與眾包計算將會成為支撐技術。
9)數據科學的興起
通過建立基準測試框架,對各種大數據分析系統的應用進行比較及測驗,是當前數據發展的需要。大數據的使用及發展使得數學應用研究獲得前所未有的發展,并極大地促進了數學學科的變革,幾乎所有的數學學科正在迅速轉變成數據科學,并作為一門與大數據相關的新興學科出現。
10)大數據生態環境逐步完善
物聯網、移動互聯網再加上傳統互聯網,每天都在產生海量數據,大數據通過與云計算、物聯網、移動互聯網等熱點新興計算產生交融,將這些數據挑選、處理,實現有效的應用。
3.大數據與地理空間信息
隨著地理空間技術的大量出現,數據產品交叉的存儲能力及地理空間數據量呈乘數式增長趨勢。常規來源與非常規的地理空間大數據來源,將會構建巨大的數據流和數據池。分析與挖掘地理空間信息大數據,將會對社會各方面產生深遠的影響,以下分別從4個方面闡述大數據背景下地理空間信息的應用領域。
1)生態環境領域
在生態環境領域,通過對大量國內外各種主要衛星遙感影像進行信息提取和反演,已形成一系列生態遙感產品,能夠展現各類生態系統的空間分布,提供生產生態系統評價所需參數,提供區域生態環境綜合評價服務,并且提供氣象/氣候、土地資源等數據產品,服務于各行各業。
2)地震應急領域
在地震應急領域,地理空間信息從提高基礎業務的數據精度入手,并運用自主研發的公里格網數據分布處理與自動更新技術,將以行政區劃為單位的數據轉變為以公里格網為單位,提高數據精度,有效避免數據分配計算過程中的誤差,將災區地理信息和其他相關數據進行深入分析,服務于震后信息推送、災情評估及應急輔助決策等。
3)公共安全領域
在公共安全領域,地理空間信息基于統一的地理空間框架對各類公安警務資源進行有效整合和信息融合,為各級公安機關結合本地實際情況提供直觀的可視化空間和警務處置解決方案,為各級公安部門應急工作提供了強有力的技術保障,便于各級公安機關在指揮調度、交通管理、人口管理、案件時空分析等各個方面進一步開展空間大數據的應用。
4)通信領域
在通信領域,各種通信信息與空間位置相關聯,數字空間通過利用地理空間大數據的相關技術,通過對各種數據進行直觀分析,從中發現隱含的規律和趨勢,為快速決策提供服務。