前言

大數據這個概念自誕生以來，已經經歷了幾次飛躍。時至今日，大數據這個名詞頻繁地與人工智能、DT、預測等詞匯放在一起，看上去數據的發展已經成為與科技發展甚至整個社會發展平行的存在——一切的顛覆都離不開數據。大數據是一種賦能工具，它的作用是幫助行業加速價值的流通，減少信息不對稱，提高交易效率。

市面上大數據行業相關的書籍已經汗牛充棟，然而還沒有這樣一本書——全面地解析大數據、企業和人之間的關系，站在企業管理者的角度解答如何利用大數據加速發展、攫取更多的價值；更沒有人全面告訴企業的管理者，如果想轉型以適應當今智能數據時代，應該儲備何種知識和人才。TalkingData作為大數據行業的領軍企業，決定寫這樣一本書。

競爭環境：行業快速發展，傳統行業加速轉型

根據IDC的數據顯示，到2020年，全球大數據技術和服務市場預計將達到589億美元，其中大數據基礎設施占277億美元，大數據軟件占159億美元，大數據服務占（包括專業和支持服務）153億美元。相比于北美等發達地區，中國大數據產業雖然年輕，但是處于快速發展期。根據DT大數據產業創新研究院（DTiii）的預測，從現在到2025年，大數據產業的經濟總量將呈指數級增長（如下圖），覆蓋的行業包括政府、金融、電信、交通、工業、能源、房地產、教育、商業服務、醫療、文娛、農業等。

除了飛速發展的整個行業總量之外，大數據行業本身也帶有快速顛覆迭代的特征。當今社會，對傳統大數據中量的需求已經很容易達到，大數據的競爭轉向了數據質量。那些深入在各種行業情境中、非結構化的、與業務流程直接相關的數據，成為高價值的數據類型。只有將這部分數據挖掘出來，企業才有可能基于自己的業務進行分析甚至預測。因此，大數據時代進入了一個新的紀元——智能數據時代。

數據和人工智能是智能數據時代的鮮明特征，但是只有數據和人工智能依然不足，還需要人類智慧的參與。數據、人工智能和人類智慧，成為智能數據時代的三大要素。

數據的積累可以為人類提供更多更細的洞察分析，人類經驗得以增強，人類智慧得以增長。比如，通過更多來自于手機的用戶行為分析，企業可以對自己的用戶有更多了解，包括他們的生活喜好、消費習慣等，以此產生更多的營銷機會。人工智能本身也需要人類智慧的介入，以引導人工智能的方向，提高人工智能的效率。比如，AlphaGo也需要不斷地與人類圍棋高手對戰，依靠人類智慧的輔助，才能持續提升棋力。

缺乏人類智慧的持續介入，人工智能對數據的加成作用會隨著數據的變化逐步弱化甚至失效；缺乏人工智能，人類無法依靠自身處理如此復雜而且快速變化的數據；缺乏數據，人工智能無法存在，人類智慧的積累也會放緩。數據、人工智能和人類智慧互相促進，組成一個正向的循環。比如情景感知領域，基于手機上體現姿態動作的傳感器數據，經過人工智能的算法，可以判斷手機用戶的動作和姿態（包括走路、騎車、駕駛等）。如果判斷不夠準確，就需要人工介入，對數據再進行整理和增強、對算法進行優化，直到結果達到可用的程度。同時，具有情景感知能力的手機，可以給應用開發者提供更多的應用場景和體驗，比如運動健身、金融風控、物流管理、娛樂體驗等，相應地也會產生更多的數據——這些新的數據讓人類智慧更快積累，也讓人工智能更加強大。比如，通過情景感知數據，發現絕大部分用戶在使用App的時候手機都是處于手持狀態，那么非手持狀態的使用場景是否意味著更大的金融風險？

人工智能和人類智慧，讓數據豈止“大”？智能數據時代的三大要素聚合裂變，已經產生難以想象的價值。

現實差距：人才缺口

很多企業在智能數據時代舉步維艱，但是也有一些新的企業脫穎而出，利用數據來增強自己的競爭力，在各個領域對傳統企業形成巨大的沖擊。據A16Z的2016移動互聯網報告，以GAFA（谷歌、亞馬遜、Facebook、蘋果）為代表的數據巨頭，已經在數據和技術領域建立起牢固的優勢，在年收入規模上比Wintel同盟要大3倍。反過來，它們也在通過數據和技術改變傳統行業的形態和模式，包括零售、媒體發行、汽車等。

這些新的數據和技術的先鋒具有一些共同的特征：實現了業務數據化和數據資產化，能夠用數據來驅動場景化的應用，高效地探索和轉化商業價值。這樣的企業，已經擁有數據驅動的文化，我們叫做智能企業（Smart Enterprise）：

1．具有靈活的技術平臺和數據科學能力，能支撐足夠大的數據量級、足夠多的數據維度、足夠復雜的數據類型、足夠靈活的數據格式、足夠低的數據洞察延時等，提高各種數據應用場景的交付效率。

2．具有統一的數據管理策略，以管理跨企業的、一致的數據視圖，能高效地匯聚數據（包括自有數據和第三方數據），也能高效地輸出數據和數據服務。

3．具有端到端的數據工程能力，以支撐業務線的可管理的數據運營，形成數據閉環和持續的業務優化。

若要轉型為智能企業，人的智慧尤為重要，因此對于無論是大數據企業還是亟待轉型的傳統企業來說，都提出了人才的類型、數量和知識結構的嚴苛挑戰。但是一個嚴酷的現實是，現在的人才儲備是遠遠跟不上行業需求的。從下圖我們可以看出，在搭建大數據平臺應用來應對轉型的企業所遇到的痛點中，有一半多的原因是卡在了人才不足這個關口上。根據DT大數據產業創新研究院（DTiii）資料顯示，到2025年，中國的大數據人才缺口將高達200萬。這不僅僅是在中國，在美國問題同樣嚴重。McKinsey預測：至2018年，美國將有60%的組織設置首席數據官（CDO），需要400萬名具備大數據分析能力的經理和分析師，人才缺口將達到150萬；未來八年將有19%的大數據人才需求增長。

從上面的數字我們可以看出，僅僅靠大學設立相關學位專業和社會上多開幾個專家培訓課程是無法彌補如此大的人才缺口的。智能數據時代大數據人才的培訓，需要嚴謹的知識架構設計、先進的技術工具輔助以及前沿的行業最佳實踐的熏陶。這個時候，僅僅靠學術界和社會培訓的努力是不夠的，身為一線離炮火最近的組織，大數據企業本身應當積極投入到為社會進行人才建設和儲備的事業中去。

智能數據時代人才的知識架構

在智能數據時代，對于人才的知識儲備的要求是綜合的。如下圖所示，TalkingData認為智能企業所需的人才應當具備行業領域知識、IT技能和數據科學知識。團隊內部的人才組合必須能夠合理覆蓋這三個知識領域，艱巨的任務才能迎刃而解。

TalkingData認為，一家企業如果要向智能企業轉型，必須具有以下幾種類型的人才：

1．數據架構師。負責制定數據構架管理政策及指南，解決數據管理組織之間的爭議問題；制定數據標準、應用標準、運維標準，設計模型管理流程，整理數據需求并為其他類型的數據人員提供支持。

2．數據工程師。大數據工程解決的是海量數據（起碼在T級別以上）的設計、部署、存儲和計算需求等方面的問題。在當今，大數據工程師要設計和部署的系統往往都是消費者和內部工作人員直接使用的應用程序。簡而言之，大數據工程涉及系統的設計、部署和實施。

3．數據分析師/數據科學家。大數據分析則是處理大數據工程師設計的系統上的大量數據，它涉及分析趨勢、模式以及開發各種分類和預測系統。簡而言之，大數據分析涉及大數據的高級計算（統計、建模預測等）。

4．數據產品經理。能評估和洞察數據價值、分析問題并快速制定落地策略，基于數據設計商業化邏輯以及關鍵指標，能靈活使用各類數據工具并同時熟知項目的流程管理、體系管理、人員激勵等。

本書將從一個管理者的視角，從大數據的基本概念開始，循序漸進地介紹相關工具、企業數據工程的主要活動、數據團隊建設以及相關的管理支持。TalkingData的十余位一線員工根據自己所在崗位的經驗知識，參與了全書的編寫工作，他們是（排名不分先后）：何香萍，馬齋，李正偉，楊慧，王俊，何坤，孔元明，姜偉，王福勝，潘松柏，盧健，張學敏，曾曉春，張寧，徐岷峰，周海鵬，呂博卿。他們不僅貢獻了專業的要點知識，也融入了工作中的實戰經驗，知識點與案例反復穿插，增加了本書的實踐價值。希望通過此書，管理者能夠建立起智能企業的定位，業內專業人士能夠有更清晰的戰略全景和邏輯脈絡。

TalkingData，致力于幫助企業轉型為數據驅動型企業，用數據的心智去超越未來。

楊慧

2017年4月2日于北京

（TalkingData CEO助理，中國人民大學商學院博士，

香港中文大學管理學系博士后）