- 大數據時代管理信息系統
- 周蘇 王碩蘋
- 2783字
- 2019-10-24 10:29:49
1.2.1 天文學——信息爆炸的起源
綜合觀察社會各個方面的變化趨勢,我們能真正意識到信息爆炸或者說大數據的時代已經到來。以天文學為例,2000年斯隆數字巡天項目(見圖1-6)啟動的時候,位于新墨西哥州的望遠鏡在短短幾周內收集到的數據,就比世界天文學歷史上總共收集的數據還要多。到了2010年,信息檔案已經高達1.4×242B。2016年在智利投入使用的大型視場全景巡天望遠鏡能在五天之內就獲得同樣多的信息。
天文學領域發生的變化在社會各個領域都在發生。2003年,人類第一次破譯人體基因密碼的時候,辛苦工作了10年才完成了30億對堿基對的排序。大約10年之后,世界范圍內的基因儀每15min就可以完成同樣的工作。在金融領域,美國股市每天的成交量高達70億股,而其中2/3的交易都是由建立在數學模型和算法之上的計算機程序自動完成的,這些程序運用海量數據來預測利益和降低風險。

圖1-6 美國斯隆數字巡天望遠鏡
互聯網公司更是要被數據淹沒了。谷歌公司每天要處理超過24PB(拍字節,250B)的數據,這意味著其每天的數據處理量是美國國家圖書館所有紙質出版物所含數據量的上千倍。
從科學研究到醫療保險,從銀行業到互聯網,各個不同的領域都在講述著一個類似的故事,那就是爆發式增長的數據量。這種增長超過了人們創造機器的速度,甚至超過了人們的想象。
我們周圍到底有多少數據?增長的速度有多快?許多人試圖測量出一個確切的數字。盡管測量的對象和方法有所不同,但他們都獲得了不同程度的成功。南加利福尼亞大學安嫩伯格通信學院的馬丁希爾伯特進行了一個比較全面的研究,他試圖得出人類所創造、存儲和傳播的一切信息的確切數目。他的研究范圍不僅包括書籍、圖畫、電子郵件、照片、音樂、視頻(模擬和數字),還包括電子游戲、電話、汽車導航和信件。馬丁希爾伯特還以收視率和收聽率為基礎,對電視、電臺這些廣播媒體進行了研究。
據他估算,僅在2007年,人類存儲的數據就超過了300EB(艾字節,260B)。下面這個比喻應該可以幫助人們更容易地理解這意味著什么:一部完整的數字電影可以壓縮成1GB的文件,而一艾字節相當于10億吉字節(GB),一澤字節(ZB,270B)則相當于1024EB。總之,這是一個非常龐大的數。
有趣的是,在2007年的數據中,只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數據,其余全部是數字數據。
模擬數據也稱為模擬量,相對于數字量而言,指的是取值范圍連續的變量或者數值,例如聲音、圖像、溫度、壓力等。模擬數據一般采用模擬信號,例如用一系列連續變化的電磁波或電壓信號來表示。數字數據也稱為數字量,相對于模擬量而言,指的是取值范圍是離散的變量或者數值。數字數據則采用數字信號,例如用一系列斷續變化的電壓脈沖(如用恒定的正電壓表示二進制數1,用恒定的負電壓表示二進制數0)或光脈沖來表示。
但在不久之前,情況卻完全不是這樣的。雖然1960年就有了“信息時代”和“數字村鎮”的概念,在2000年的時候,數字存儲信息仍只占全球數據量的1/4,當時,另外3/4的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。
早期數字信息的數量并不多。對于長期在網上沖浪和購書的人來說,那只是一個微小的部分。事實上,1986年,世界上約40%的計算能力都在袖珍計算器上運行,那時候,所有個人計算機的處理能力之和還沒有所有袖珍計算器處理能力之和高。但是因為數字數據的快速增長,整個局勢很快就顛倒過來。按照希爾伯特的說法,數字數據的數量每三年多就會翻一倍。相反,模擬數據的數量則基本上沒有增加。
2013年,世界上存儲的數據達到約1.2ZB,其中非數字數據只占不到2%。這樣大的數據量意味著什么?如果把這些數據全部記在書中,這些書可以覆蓋整個美國52次。如果將之存儲在只讀光盤上,這些光盤可以堆成五堆,每一堆都可以伸到月球。
公元前3世紀,埃及的托勒密二世竭力收集了當時所有的書寫作品,所以偉大的亞歷山大圖書館(見圖1-7)可以代表當時世界上所有的知識量。亞歷山大圖書館藏書豐富,有據可考的超過50000卷(紙草卷),包括《荷馬史詩》《幾何原本)等。但是,當數字數據洪流席卷世界之后,每個地球人都可以獲得大量的數據信息,相當于當時亞歷山大圖書館存儲的數據總量的320倍之多。
事情真的在快速發展。人類存儲信息量的增長速度比世界經濟的增長速度快4倍,而計算機數據處理能力的增長速度則比世界經濟的增長速度快9倍。難怪人們會抱怨信息過量,因為每個人都受到了這種極速發展的沖擊。
歷史學家伊麗莎白·愛森斯坦發現,1453—1503年,這50年之間大約印刷了800萬本書籍,比1200年之前君士坦丁堡建立以來整個歐洲所有的手抄書還要多。換言之,歐洲的信息存儲量花了50年才增長了一倍(當時的歐洲還占據了世界上相當部分的信息存儲份額),而如今大約每三年就能增長一倍。
這種增長意味著什么呢?彼特·諾維格是谷歌的人工智能專家,也曾任職于美國宇航局噴氣推進實驗室,他喜歡把這種增長與圖畫進行類比。首先,他要我們想想來自法國拉斯科洞穴壁畫上的標志性的馬,如圖1-8所示。這些畫可以追溯到一萬七千年之前的舊石器時代。

圖1-7 舉世聞名的古代文化中心——亞歷山大圖書館(已毀于早期的戰火)

圖1-8 拉斯科洞穴壁畫
回想一下壁畫上的那匹馬。當時要畫一幅馬需要花費很久的時間,而現在不需要那么久了,這就是一種改變。雖然改變的可能不是最核心的部分——畢竟這仍然是一幅馬的圖像。但是諾維格說,想象一下,現在我們能每秒播放24幅不同形態的馬的圖片,這就是一種由量變導致的質變。一部電影與一幅靜態的畫有本質上的區別,大數據也一樣,量變導致質變。物理學和生物學都告訴人們,當改變規模時,事物的狀態有時也會發生改變。
以納米技術為例,納米技術專注于把東西變小而不是變大。其原理就是當事物到達分子級別時,它的物理性質就會發生改變。一旦知道這些新的性質,就可以用同樣的原料來做以前無法做的事情。銅本來是用來導電的物質,但它一旦到達納米級別就不能在磁場中導電了。銀離子具有抗菌性,但當它以分子形式存在的時候,這種性質就會消失。一旦到達納米級別,金屬可以變得柔軟,陶土可以具有彈性。同樣,當增加所利用的數據量時,也就可以做很多在小數據量的基礎上無法完成的事情。
有時候,我們認為約束自己生活的那些限制,對于世間萬物都有著同樣的約束力。事實上,盡管規律相同,但是我們能夠感受到的約束,很可能只對我們這樣尺度的事物起作用。對于人類來說,唯一一個最重要的物理定律便是萬有引力定律。這個定律無時無刻不在控制著人們。但對于細小的昆蟲來說,重力是無關緊要的。對它們而言,物理宇宙中有效的約束是表面張力,這個張力可以讓它們在水上自由行走而不會掉下去。但人類對于表面張力毫不在意。
大數據的科學價值和社會價值正是體現在這里。一方面,對大數據的掌握程度可以轉化為經濟價值的來源。另一方面,大數據已經撼動了世界的方方面面,從商業科技到醫療、政府、教育、經濟、人文以及社會的其他各個領域。盡管我們還處在大數據時代的初期,但我們的日常生活已經離不開它。