●○●數(shù)據(jù)大≠大數(shù)據(jù)

2012年寫了一篇《迎接大數(shù)據(jù)時代》的文章，發(fā)表后頗有反響。一些朋友找我去開這方面的會，一些媒體采訪發(fā)表這方面的文章，一些資本想找這方面的項目投入。這可有點似曾相識燕歸來的感覺了。當年寫過Web 2.0革命，寫過網(wǎng)絡平臺，寫過資源開放，業(yè)內(nèi)和社會上也都有過類似反應，想搭順風車，混吃混喝的大有人在。為了避免以往悲劇的產(chǎn)生，減少魚龍混雜、以假亂真的現(xiàn)象，只好多寫一些這方面的感想，權(quán)作免責條款吧。

極而言之，如果全世界網(wǎng)民的網(wǎng)絡行為記錄都能緊密整合在一起，當然稱得起大數(shù)據(jù)這個名稱。反之，如果只有一個網(wǎng)民的一條孤零零網(wǎng)絡記錄，當然撐不起“大數(shù)據(jù)”這個概念。問題在于如何在這兩個極端之間，找到一個劃分大數(shù)據(jù)與否的區(qū)分點，或者找到一組指標，能夠具體衡量數(shù)據(jù)量從量變到質(zhì)變的相對標準。這無論是在學術(shù)研究上還是在商業(yè)實戰(zhàn)上都很重要。試想若是某個公司自認為自己網(wǎng)絡服務產(chǎn)生的數(shù)據(jù)量很大，覺得可以自稱大數(shù)據(jù)公司了，于是說服董事會和投資者加大這方面的投入，購買大批專用設備和第三方專業(yè)服務，組建這方面的團隊，而經(jīng)過一段時間的實踐，發(fā)現(xiàn)投入產(chǎn)出不成比例，建立在大數(shù)據(jù)基礎(chǔ)上的商業(yè)模式和產(chǎn)品服務研發(fā)不能得到理想的回報，那豈不是個悲劇？

以我的觀察和實踐經(jīng)驗，網(wǎng)絡業(yè)中一個公司是否稱得起擁有大數(shù)據(jù)至少要從三個維度考量。

數(shù)據(jù)規(guī)模——所謂大數(shù)據(jù)，最基本的要求當然是數(shù)據(jù)規(guī)模大，但很難給出一個絕對的數(shù)字標準來確定大小，而只能用一些模糊的感覺來相對比較。例如，一個公司在年度預算中有了專門的、顯著的數(shù)據(jù)存儲和分析預算（例如，總預算的3%～5%），有了獨立的數(shù)據(jù)處理和分析部門，有了比較完整的數(shù)據(jù)存儲、安全和保密政策與管理流程，有了高度依賴數(shù)據(jù)分析結(jié)果的商業(yè)模式，那么，就可以說這個公司面臨著利用大數(shù)據(jù)的機會或挑戰(zhàn)了。

數(shù)據(jù)結(jié)構(gòu)——數(shù)據(jù)量只是反映數(shù)據(jù)性質(zhì)的一個指標，也許還不是最重要的指標。一天產(chǎn)生100萬TB數(shù)據(jù)的公司也許算不上大數(shù)據(jù)公司，而另一個一天只產(chǎn)生1萬TB數(shù)據(jù)的公司也許反而是個大數(shù)據(jù)公司，其奧妙在于數(shù)據(jù)結(jié)構(gòu)的復雜性。例如，A公司擁有一億用戶，但用戶在A公司網(wǎng)站上只干一件事或一類事，比如獲取新聞資訊、買買東西，或者玩玩游戲。那么由此產(chǎn)生的數(shù)據(jù)量雖然不小，但結(jié)構(gòu)簡單、重復性高，分析起來很容易，無非就是根據(jù)用戶背景和使用習慣分分組、歸歸類，有簡單數(shù)據(jù)挖掘基本功就足夠了，扯什么大數(shù)據(jù)就有點故弄玄虛了。B公司只有一千萬用戶，卻是個開放平臺，用戶在此可以干互聯(lián)網(wǎng)能夠支持的所有事情，網(wǎng)絡行為又可分為個人、群體、組織等層次，那么這個數(shù)據(jù)的結(jié)構(gòu)就夠復雜，能夠支持深度挖掘和復雜建模，因而就可以算作大數(shù)據(jù)。

數(shù)據(jù)關(guān)聯(lián)度——網(wǎng)絡業(yè)一個常見現(xiàn)象就是隨著數(shù)據(jù)量的增加，用戶行為所產(chǎn)生的數(shù)據(jù)間的關(guān)系越來越不清晰，越來越難以捉摸，越來越相互孤立，也就是所謂的數(shù)據(jù)碎片化。這種碎片化主要來自兩個方面：一是網(wǎng)站結(jié)構(gòu)碎片化、邏輯混亂化、各種產(chǎn)品與服務之間相互孤立化，因而導致數(shù)據(jù)之間關(guān)系斷裂，關(guān)聯(lián)度很低。例如，明明是同一個用戶在一個網(wǎng)站上使用了十種不同的產(chǎn)品和服務，但由于其中五種無需注冊使用，其他五種又需要分別注冊使用，結(jié)果這十種網(wǎng)絡行為的數(shù)據(jù)無法整合在一起，或者需要通過種種技術(shù)手段和工具進行高成本的數(shù)據(jù)整合，以至于入不敷出。這也就減少了數(shù)據(jù)的含金量，降低了數(shù)據(jù)的可挖掘度，使得無論數(shù)據(jù)量如何大，結(jié)構(gòu)如何復雜，也形成不了大數(shù)據(jù)。反之，如果一個Web 2.0時代的開放平臺，架構(gòu)清晰、邏輯分明，用戶與用戶、用戶與用戶行為、行為與行為之間都具有確定的關(guān)聯(lián)性，那么這樣的數(shù)據(jù)就具有極高的含金量、極高的分析挖掘價值，也就可以形成大數(shù)據(jù)。

所以，簡而言之，大數(shù)據(jù)與否取決于數(shù)據(jù)規(guī)模、結(jié)構(gòu)復雜性和關(guān)聯(lián)性，簡單地說某個公司的數(shù)據(jù)量大并不等于說這個公司具備擁有和利用大數(shù)據(jù)的前景。例如，直到Google+誕生前，谷歌都不能聲稱自己是個大數(shù)據(jù)公司，因為它的海量搜索數(shù)據(jù)雖然規(guī)模龐大，但結(jié)構(gòu)簡單。盡管聽說它的搜索算法已經(jīng)囊括了六萬多個變量，成千上萬的數(shù)學和統(tǒng)計學模型，上千的博士和工程師參與分析，但在數(shù)據(jù)挖掘深度、搜索結(jié)果個人化、搜索結(jié)果與廣告之間的相關(guān)度上進展有限，只有改良，沒有突破。更嚴重的是，谷歌數(shù)百個產(chǎn)品和服務之間相互關(guān)聯(lián)度極低，各干各的，無數(shù)數(shù)據(jù)庫互不相干。各個部門之間以鄰為壑，互不配合，更不整合。所以，面對以Facebook和蘋果為代表的Web 2.0時代以及由此產(chǎn)生的大數(shù)據(jù)戰(zhàn)略機會，谷歌若干年來束手無策，只能靠不斷擴展產(chǎn)品線對付。如果直到兩年前谷歌還算不上大數(shù)據(jù)公司，那些自認為自己有點數(shù)據(jù)，或者會點加減乘除，或者以為掌握一些基本的數(shù)據(jù)庫技術(shù)和knowhow就可以招搖過市，到網(wǎng)絡業(yè)和資本界呼風喚雨，是不是有點不知深淺、過于幼稚了呢？