大數據

【導讀】21世紀之初，人類社會最偉大的發明之一當屬大數據。大數據的影響可以比肩第一次工業革命時期的蒸汽機、第二次工業革命時期的電力以及第三次工業革命時期的計算機及信息技術，業內普遍把大數據的出現與第四次工業革命緊密關聯。

關于最早是誰提出"大數據"（big data）這個概念的，說法有點不一。較多人認為是美國著名咨詢公司麥肯錫（McKinsey）；也有人認為是維克托·邁爾-舍恩伯格（Viktor Mayer-Sch?nberger），2010年，維克托·邁爾-舍恩伯格在《經濟學人》上發布了長達14頁對大數據應用的前瞻性研究；還有人認為應歸功于美國未來學家阿爾文·托夫勒（Alvin Toffler），1980年，阿爾文·托夫勒在《第三次浪潮》一書中就提到"信息爆炸"這個概念，被認為提及了大數據的雛形。

時至今日，到底哪種說法正確已經不再重要，重要的是人類已經處于大數據時代。

什么是大數據

2015年8月，我國出臺《促進大數據發展行動綱要》，并對大數據進行了定義。《綱要》指出："大數據是以容量大、類型多、存取速度快、應用價值高為主要特征的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行采集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態。"

除此之外，大數據具有海量性（volume）、多樣性（variety）、高速性（velocity）、易變性（variability）和價值（value）的"5V"特性。

其實，還可以從實踐的層面來認識大數據。從類型上看，大數據包括網絡日志、音頻、視頻、圖片、地理位置信息等種類繁多的數據；從來源上看，大數據既有來自物理世界，也有來自心理世界和虛擬人工世界的各種變化發展活動的信息化表征和數據記錄（來自英國哲學家卡爾·波普爾（Karl Popper）的"三個世界"理論）；從發展上看，大數據是信息技術的高速發展及其在各行各業的廣泛應用所帶來的信息爆炸式增長的結果；從價值上看，爆炸式增長的各類數據是一種資源，具有潛在的價值，人們可以通過挖掘利用數據價值，來改變我們的生活、工作和思維方式，使我們能夠以大數據思維和大數據方法來認識世界、改造世界。

大數據是如此之重要，可以說，大數據是如同電一樣重要的生產要素；或者說，大數據是如同水、電、氣一樣重要的基礎設施。

大數據的形成

大數據，首先是數據。數據是指計算機可以處理的，以電子化、數字化形式記錄和表示的信息。將信息加工成電子化和數字化記錄的過程離不開信息技術的發展與應用，正是因為信息技術的飛速發展與廣泛應用，大數據才應運而生。

在計算機和通信技術出現之前，信息主要以模擬數據的形式進行記錄和表示。存儲媒介通常為報紙、書籍、影像、照片、檔案、磁帶等。信息的計量單位一般采用媒介的計量單位，如藏書多少冊、檔案多少袋、記錄多少本、影像多少卷、照片多少張等。信息獲取不便利、信息交流不通暢、信息量相對較少是這一時期的典型特征。

20世紀60年代中期，微型計算機問世，從此信息可以使用電子化、數字化的形式進行記錄和表示。隨著20世紀80年代中期個人計算機的誕生和20世紀90年代中期互聯網絡的興起，信息技術以"摩爾定律"（即每18個月在價格不變的情況下，計算機硬件性能提高一倍）的速度高速發展，并廣泛應用在各行各業中。辦公自動化、電子郵件、搜索引擎、即時通訊等新的信息獲取與信息交互方式競相出現，相伴而生的是越來越多的信息以電子化、數字化方式進行表示、存儲和傳輸。信息獲取越來越便利、信息交流越來越通暢、信息量越來越多是這一時期的主要特征。盡管曾有"信息大爆炸"的預言，但這一時期的信息量相對今天而言，還是"小數據"時代，信息還可以用MB、GB為單位進行度量與存儲。

2000年前后出現過短暫的"網絡泡沫"，此后互聯網技術以前所未有的速度一路高歌猛進。2005年前后，電子商務成為一種新的流行，虛擬經濟迅猛增長，給傳統實體經濟活動模式帶來一場影響至深的變革。無獨有偶，電子政務也開始影響著政府公共服務方式。此時，政治、經濟、文化、生活、工作等各項人類社會活動開始走到線上——電子化、數字化的信息呈爆炸式增長。

2010年移動互聯網的出現，使得人類社會各項活動可以跨時空地進行，這進一步加速了人類社會的信息化進程。數據急劇增長，數據的度量與存儲開始使用TB（1TB=1024GB）為單位，大數據時代初露尖尖角。爾后的2013年被認為是大數據元年。

由此可見，大數據是信息技術的高速發展與廣泛應用所帶來的信息爆炸式增長的結果。

今天，信息爆炸式增長不只來自互聯網和移動互聯網（主要解決人與人（human to human，H2H）之間的信息通信），人機交互（human-computer interaction或human-machine interaction，HCI/HMI）、機與機（machine to machine，M2M，機器與機器之間的通信）及物聯網（Internet of Things，IoT）等將是信息爆炸式增長并進而形成大量數據的重要來源。

大數據到底會有多大？早在2017年，國際數據公司IDC公布的《數據時代2025》報告顯示，2025年人類的大數據量將達到163ZB; 2020年國際消費類電子產品展覽會上，英特爾預測2025年全球數據量將達175ZB（1ZB=1024EB, 1EB=1024PB, 1PB=1024TB, 1TB=1024GB），相當于65億年時長的高清視頻內容。

姑且不論哪個預測更準確，但有一點是趨同的，那就是全球的數據量將呈爆炸式增長。

大數據有什么用

2011年5月，美國咨詢公司麥肯錫發表了著名的題為《大數據：下一個創新、競爭和生產力前沿技術》（Big Data: The Next Frontier for Innovation, Competition and Productivity）的研究報告，并在報告中指出："大數據，如同實物資本和人力資本一樣，將成為現代經濟活動創新和增長的重要要素。"

2012年，被譽為"大數據時代的預言家"的維克托·邁爾-舍恩伯格在《大數據時代：生活、工作與思維的大變革》一書中前瞻性地指出，大數據帶來的信息風暴正在改變著我們的生活、工作和思維方式，大數據開啟了一次重大的時代轉型，對人類的認知及其與世界的交流方式提出了全新的挑戰。他認為數據的核心就是預測，大數據將為人類的生活創造前所未有的可量化的維度，大數據已經成為新發明和新服務的源泉，并在書中詳細展示了谷歌、微軟、亞馬遜、IBM、蘋果、臉書、推特、VISA等大數據先鋒們如何使用大數據進行新發明和新服務的應用案例，并且斷定，大數據作為資產計入企業資產負債表是遲早的事情。

2015年，我國《促進大數據發展行動綱要》指出，大數據將成為推動經濟轉型發展的新動力，重塑國家競爭優勢的新機遇，以及提升政府治理能力的新途徑。全球范圍內，運用大數據推動經濟發展、完善社會治理、提升政務服務和監管能力正成為趨勢。

由此可見，大數據不但是資產，而且是關鍵生產要素。大數據因其潛在的資源價值，已成為社會經濟發展、國家治理能力和治理體系建設、企業業務創新增值、人們追求美好生活的重要驅動力。圍繞大數據價值挖掘與應用的各項產業發展（如云計算、5G、物聯網、人工智能等數字產業化和傳統產業數字化轉型等），將引領世界新一輪科技創新和產業變革。

大數據要如何使用

大數據的本質還是數據，只是對數據的使用需要用到大數據思維和方法。大數據中的數據（data）來源廣泛，種類繁多，錯綜復雜，它們通常攜帶很多信息，但需要經過一定的梳理和清洗，才能形成有用的信息（information）；這些信息里包含許多規律，可以借助智能算法進行挖掘，提煉成知識（knowledge）；這些知識可以應用于問題解決和決策支持等實踐，這便產生了智慧（intelligence）。

今天，如雷貫耳的"智能化"，其實就是從數據中形成信息，從信息中提煉知識，再將知識應用于實踐的一系列過程。實際過程中，需要結合業務領域知識，通過"經驗模型化、模型算法化、算法軟件化"三步曲，即根據業務領域知識建立業務模型（經驗模型化），然后根據數據變化趨勢設計智能算法（模型算法化），并通過數據訓練、數據驗證和數據測試得到最優模型，最后將算法模型進行代碼編程封裝成軟件模塊（算法軟件化），為智慧應用敏捷開發提供智能服務引擎。在商業領域，基于數據的價值挖掘應用案例已經比比皆是。在政府公共服務領域，基于大數據的公共服務和政府科學決策也方興未艾。例如，基于12345政務服務便民熱線中的數據挖掘，可實現智能分析，對市民可能遇到的"急難愁盼"問題提前關注，化被動應對為主動干預，賦予城市治理以智慧。

大數據發展到一定地步，借助人工智能算法，充分挖掘大數據的知識價值，用以對未來世界的變化發展進行預測；人們也可以借助數字孿生技術來指導、優化客觀世界的運行邏輯。

大數據面臨的挑戰

鑒于大數據對國計民生的重要作用與意義，在實施大數據發展戰略，鼓勵和支持數據在各行業、各領域的創新應用的過程中，如何加強數據的安全管理是必須面對的一個挑戰；面對"大數據殺熟"，如何加強對大數據創新應用的有效監管以及個人信息保護，也是大數據發展過程中需要應對的問題。

為了應對這些挑戰，我國于2021年6月10日和8月20日先后出臺了《中華人民共和國數據安全法》和《中華人民共和國個人信息保護法》，這為我國大數據產業的健康發展起到了保駕護航的作用。

【擴展概念】

存儲單位：是一種計量單位，指在某一領域以一個特定量或標準作為一個記錄（計數）點，再以此點的某個倍數去定義另一個點，而這個點的代名詞就是計數單位或存儲單位。計算機常用的存儲單位有bit（比特）、B（字節）、KB（千字節）、MB（兆字節）、GB（吉字節）、TB（太字節）、PB（拍字節）、EB（艾字節）、ZB（澤字節）、YB（堯字節）、BB（珀字節）、NB（諾字節）、DB（刀字節）等。其中的換算關系為：8bit=1B, 1024B=1KB, 1024KB=1MB, 1024MB=1GB, 1024GB=1TB, 1024TB=1PB, 1024PB=1EB, 1024EB=1ZB, 1024ZB=1YB, 1024YB=1BB, 1024BB=1NB, 1024NB=1DB。