第2章
企業大數據職能規劃

第1章我們介紹了企業大數據在宏觀和微觀層面的定位，立足于解答企業大數據的商業模式、市場機會、延伸價值、內部功能定義等問題。當企業已經確定要實施大數據戰略時，應該如何針對性地建立職能架構體系以保證企業大數據的有效實施和落地？各個職能部門的職責范疇如何定義？不同體系和部門間如何協同和流程化工作？

本章將詳細講解企業大數據職能規劃體系，包括如何定義大數據部門在企業中的角色，常見的大數據職能及職責分工，不同職位的職責劃分以及大數據制度和流程建設等問題。

2.1 大數據組織架構體系

要建立適合企業的大數據組織架構，首先要明確大數據部門在企業中的角色。不同的角色對應到企業內部會有不同的架構方式和職能定位。

2.1.1 大數據部門在企業中的角色

大數據部門泛指大數據中心、大數據部門、大數據組甚至是個體員工，它代表一類群體的角色扮演。按照大數據部門在企業中的不同角色和存在特征，可比喻為以下四類：路人、侍從、燈塔、先知。

1．路人

路人是指大數據部門處于企業邊緣，其存在屬于可有可無的境況，這是一種危險的企業處境。

目前很多企業的大數據部門都處于這類角色中，其實質是由于企業主觀上對數據不敏感、不聽、不信以及缺乏數據工作文化等原因，以及客觀上缺乏有效的流程和制度約束、有經驗的數據工作人員以及有價值的數據產出，導致大數據部門的存在與否無關緊要。

這類角色通常在企業中有以下幾種行為和職能特征：

?數據部門的職能定位不清晰，發展規劃不明確，部門建設毫無方法可言；

?缺乏有效的數據工作目標和數據價值產出；

?數據工作從未參與企業運營落地環節，更無法滲透到企業核心業務流程；

?數據部門缺乏“大領導”，無法直接跟企業C-Level的領導層進行匯報；

?數據部門通常都是由個人或少數員工從事，甚至由運營人員兼任。

2．侍從

侍從，即隨從侍奉，這體現了大數據部門角色定位于企業輔助層面。侍從的角色相對于路人有明顯的提升，該角色已經處于有明確工作需求的狀態；但與此同時，大數據部門的這種狀態也存在明顯的問題：缺乏獨立和自主性，侍從從來都不會自己決定去做什么，而是等待被分配工作和任務。同樣，在企業中的大數據部門也無法決定企業在業務層面應該做什么、怎么做等問題。這種角色通常提供的職能包括如下幾個方面：

（1）數據管理

數據管理工作包括：數據配置管理、數據權限管理、用戶權限管理、數據導入管理、數據導出管理。

?數據配置管理：主要進行數據存儲、安全、排除設置、并發控制、進程控制、結構控制等管理工作。

?數據權限管理：主要進行數據保存、新增、刪除、更新、備份、合并、拆分、導出、打印等管理工作。

?用戶權限管理：主要進行用戶新增、刪除、重置、過期設置、共享、安全等管理工作。

?數據導入管理：主要進行數據導入格式、時間、條件、規則、異常處理、記錄數、來源等管理工作。

?數據導出管理：主要進行數據導出格式、時間、條件、規則、記錄數、加密、位置等管理工作。

（2）數據查詢

很多企業的數據都在IT中心進行統一管理，而大數據部門也屬于IT眼中的“業務部門”。由于大數據部門天生具有接觸數據和處理數據的需求，因此很多時候也會被開放某些附屬庫、從屬庫或復制庫的權限。某些情況下，大數據部門也會承擔類似“取數”的功能，這類需求在某些情況下會頻繁發生，例如：

?大型活動之后，沒有數據權限的業務部門可能會發出“看結果”的需求；

?當出現意外運營情況時，業務部門也會想要“先看看數據”；

?做年度、季度、月度和周度等計劃性的總結及規劃時，業務部門也會想“參考下數據”；

?規律性導出的日報、周報、季報、半年報、年報的詳細和結果數據。

（3）數據校驗

這里的數據校驗是指用一定的方法保證多數據源之間的完整性、一致性、準確性、及時性和有效性。

數據校驗通常存在于大型企業中，這類企業往往存在多平臺、多系統、多生產環境和多測試環境，此時如何保證多個系統對于同一業務主體的測量滿足上述條件就要通過數據校驗工作來實現。

（4）數據統計

大多數日常報表需要通過技術開發形成產品報表體系，以提供日常業務支持。當有突發性事件或活動時，需要人工整理和匯總報表。日常報表完成后，通過自動發送郵件或短信、在線訪問、離線客戶端訪問等接入。

根據數據日常報表提供頻率和周期不同，日常報表可分為日報、周報、月報、季報、半年報和年報。報告內容因公司需求而異，但基本框架是統計周期內企業整體、各運營環節KPI陳列、對比和簡單分析，目的是通過周期性數據進行業務診斷，發現業務效果趨勢和異常點，為業務優化執行提供基本支持。

根據數據日常報表支持對象在企業內部分工不同，日常報表可分為針對決策層的報表和針對執行層的報表。針對決策層的報表側重于宏觀的、整體的效果匯總和結果分析，借助對比、趨勢和主要維度下鉆等方式進行初步分析并定位結論和問題點；針對執行層的報表側重于微觀的、個體的效果分析，各業務執行層只針對各自業務維度進行分析，并提供實際可行的操作型建議。

3．燈塔

燈塔意味著企業的工作方向或職能開展需要大數據部門進行指導，此時大數據部門承擔著以下三類角色和功能：

?剖析過去。對過去所發生事件的原因進行剖析，找到影響全局或特殊事件的關鍵因素并加以提煉以形成優化或改良機制；找到數據中的頻繁規則并提煉出可供現在或未來使用的業務方法；從海量數據中發現數據知識，并能通過知識來引導業務行動或進行業務優化規則的啟發。

?監控現在。對數據實時的監控和反饋通常是大數據部門的必備職能之一，數據反饋的實時性通常對于在線活動影響極大，無論是基于預測的、異常波動區間的還是數據分布模型的監控方法，只要能快速、有效并且準確地告知業務主體當前發生的問題，并配合業務一起剖析問題，盡快解決類似于流量作弊、黃牛訂單、惡意注冊、虛假投資、騙保等問題，能為企業節省大量時間、資源和項目等成本支出項。很多時候，時間就是機會，而時間也是最大的成本。

?預測未來。基于歷史情況對未來的事件預測意味著業務在開展行動之前需要有明確的目標導向，基于目標可以制定明確的KPI、匹配為實現目標所需要的資源、預估行動成本和收益、平衡不同項目的機會成本和對企業整體戰略布局的影響。

這類角色通常通過一定的模型、算法、流程和機制對數據進行解析，大多數的工作都是通過專項數據挖掘或分析的形式開展。

數據專項挖掘分析是指針對某一特定課題或需求，采用專項分析或長期課題分析的形式對數據進行深入挖掘和分析，以提煉出相應結果或方法論供業務參考或使用。數據專項挖掘分析是數據發揮價值的重要手段，更是數據輔助支持作用的關鍵，大多數公司的數據工作意義都來源于此。

為了提高數據工作的針對性，數據專項挖掘通常按業務模塊劃分，常見的數據專項挖掘分析模塊包括市場分析、營銷分析、運營分析、會員分析、用戶體驗分析、銷售分析、移動分析、O2O分析、庫存分析、供應鏈分析等。不同分析模塊課題依業務需求而定。

4．先知

在上述三類角色中，我們討論的知識前提都是數據依托于業務主體開展工作。但無論開展的工作是預測性的、剖析性的還是知識挖掘性的，可以說沒有業務就沒有數據發揮作用的土壤，更無法落地應用和實施。因此，從某種程度上看，數據是一定要依托于業務主體而存在。那么數據真的只能處于依托作用或依托于業務而存在嗎？

在大數據時代的當下，身邊所有介質所產生的任何屬性、行為、結果等都可以通過一定的形式進行記錄?，F在除了傳統的結構化數據外，還包括半結構化和非結構化的數據形式或類別，例如日志、文本、視頻、語音、圖片、文檔、XML、HTML等。這些數據形式或狀態可以被人類識別并加以有效分析、整合和利用，既然人類可以做到，那么理論上在一定條件下計算機也有機會這樣開展工作。

人類開展工作的前提是從出生開始便不斷接收外界各種信息源的刺激和學習，相對的，計算機所能接收到的信息相對于人類接收到的數據和信號而言，都是碎片化并且微乎其微的?；谟嬎銠C視覺、模式識別、自然語言處理、機器學習、深度學習等領域的人工智能正在被人們進行廣泛的研究。假如通過一定途徑將人類接收到的所有信息都能傳遞給計算機，那么計算機便可識別、加工、分析、應用和預測這些信號。因此，解決了這些問題之后，計算機智能便可脫離業務主體而存在，甚至在一定程度上，它可以創造業務、思考業務和優化業務并找到最優化方法進行求解。

目前，這類角色在企業和社會中還沒有大規模的綜合性應用案例，但在很多垂直領域中已經有所突破，例如機器翻譯、語音識別、圖片識別、自動規劃、智能無人汽車、智能博弈等；而在學術和知識研究領域也有各自陣地，包括深度學習、神經網絡、機器學習等。未來，數據的價值將借助于傳感器、海量數據、數據推演的模型和算法、自動程序設計、自動控制以及硬件集成等方式獨立開展行動。

2.1.2 常見的大數據職能及職責

常見的大數據組織架構分為四種類型，根據不同公司的性質可分為分散型架構、集中型架構、復合型架構和矩陣型架構。

1分散型架構

在分散型數據架構中，數據作為單獨的部門位于各個業務中心之下，職責是提供本中心的數據支持。如圖2-1所示，營銷中心、運營中心、會員中心和IT中心都有自己的數據部門，各個部門相互獨立。

分散型數據架構常見于企業創建數據體系的初期，初衷是先將數據置于某個中心之下，待數據工作正常開展并卓有成效之后，再在其他部門成立數據部門并輔助業務工作。

分散型數據架構下，各大數據部門的職責是高度相似的，包括：

?運營業務數據統計；

?用戶體驗、SEO、用戶研究等通用方向的分析；

?各自業務中心業務活動效果分析；

?關鍵業務項目的數據挖掘和分析；

?數據報表和數據產品開發（主要是IT中心的大數據部門）；

?機器學習算法實現和集成（主要是IT中心的大數據部門）。

這種數據架構的優勢非常明顯：前期投入較小，只需人員成本和極少的系統成本便可開展工作；數據從業人員由于處于業務工作體系內，對業務熟悉度較高，數據落地價值更大；另外，相同體系下的各個部門協同工作效率更高，利于業務方數據理解和執行。當然，這種架構的缺點也是顯而易見的：

?數據質量難以保證。各部門數據來源分散且不完整，數據質量難以保證，基于未知質量上的數據結論可能無法立足。

?數據共享困難。不同數據部門之間的數據孤立還會導致數據孤島的出現，不同的思維方法、工作機制，甚至定義方法不同導致數據源和數據結果無法流通、共享和綜合應用。比如，對于轉化率的定義方法，可能有訂單/UV、訂單/訪問、訂單客戶/UV甚至件數/PV。數據共享困難一方面可造成數據價值難以最大化傳播，另一方面在同一個數據項目的處理上也造成重復的人力、時間和物力投入并導致資源浪費。

?數據結果混亂。由于數據來源不一致或同一來源下定義口徑的不同，各個業務部門匯報結果可能存在數據出入。這會影響決策層對業務結果的判斷，同時影響數據的可信度。

?難以形成合力。各部門基于自身需求搭建支持體系，不同部門間難以形成合力共同搭建對全公司服務的數據支撐點。

2．集中型架構

集中型數據架構與分散型數據架構相反，它是把所有的數據工作匯總到一個中心集中統籌規則，通常該中心是信息技術中心或IT中心。圖2-2為典型的集中型數據架構圖。

該架構下由于所有的數據工作都集中到IT中心，因此大數據部門工作職能高度集中，主要包括：

?異構數據和主從數據的校驗；

?數據統一管理和權限管理；

?數據報表開發和產品開發；

?根據業務需求的數據抽取；

?機器學習算法實現和集成；

?針對各業務線的數據分析。

這種數據架構體系有效地解決了數據源不一致和數據口徑定義的問題。由于所有數據從生產到應用都由該中心統一負責，數據質量度較高。這種數據架構的主要問題是業務理解與支持較弱：

?業務工作流程復雜。所有業務中心的數據需求都需要經過該中心處理，需求溝通、確認、實施、反饋的流程較為復雜，影響業務對數據需求的積極性與主動性。

?業務理解度不夠。在該中心統籌下的數據體系，附帶了技術的思維方式和工作方式，對業務的理解程度低，使得數據難以落地應用。

?技術響應及時性差。該中心的部門都有各自的工作計劃和排期，業務方多而雜的臨時需求影響其正常工作，大量需求可能被積壓甚至無限延期。

為了解決集中型數據架構帶來的業務應用問題，行之有效的一種方法是派駐數據分析師入駐到各個業務中心。這能在很大程度上緩解技術類中心“不懂業務”的被動局面，但對數據分析師個人素質和能力有較高要求：

?扎實的基本數據素質。分析師需要具有扎實的基本數據素質，能及時、有效、準確地解答業務數據問題。

?良好的個人時間把控能力。由于身處業務中間，分析師會面臨很多臨時需求，包括咨詢、取數、分析、報告等，這就要求分析師具有良好的個人時間管理素質。

?完善的工作流程和機制。流程和機制可以使各項工作有據可依，過濾無效需求的同時保證數據安全性、有效性、及時性和落地應用價值。

上述方式可以有效保證數據質量和業務應用效果，但同時我們需要考慮數據之外的問題：如何管理分散到各個業務中心的分散人員？如何協同各部門工作？如何避免交叉管理問題？

3．復合型架構

復合型數據架構是建立在分散和集中基礎上的復合組織架構。數據端集中到統一中心之下管理，該中心通常是IT或數據中心；業務端分散到各業務中心之下設立數據支持部門，如圖2-3所示。

復合型數據架構既能保證數據的質量標準化，又能保證各個業務節點的數據落地應用，同時還可以結合各業務共同需求以及公司戰略發展需求開發全局應用的智能產品。不同中心間的分工如下：

（1）IT/數據中心

IT/數據中心的數據職能是對接全公司所有業務高級需求，統籌整體并進行相關數據產品開發：

?統一口徑。數據源的定義、數據出口和抽取邏輯的統一、數據指標和應用場景的規范等。

?搭建平臺。經過整合和清洗的干凈的數據源甚至數據平臺、報表可視化等。

?智能數據產品開發。自動化數據挖掘模型封裝和開發、BI、個性化推薦等。

?對接業務中心高級需求。深度數據源抽取和應用、數據建模和挖掘技術支持等。

?數據技能培訓。提高業務數據應用能力和素養，包括知識、技能、素質、最佳實踐場景推廣等，涵蓋數據知識、數據應用和工具使用知識。

（2）各業務中心

各業務中心除對接各自中心的需求以外，還需要與IT/數據中心協同工作：

?根據數據中心的統一規范，制訂適合本中心的數據應用場景、指標和分析體系等；

?收集各自中心的零散需求并反饋到IT/數據中心，參與IT/數據中心公司級數據產品開發和應用，參與環節包括底層收集、數據ETL、數據建模、數據可視化、數據智能應用等——該項工作是數據協同工作的重要產出。

4．矩陣型架構

矩陣型數據結構常見于第三方服務或外部服務公司，屬于項目管理類企業的常見架構，對于這種企業而言，項目制的工作方式是企業業務運作的基本模式，如圖2-4所示。

這種模式或職能結構具有以下特點：

?所有大數據項目都有直接項目負責人，該角色可能是項目經理也可能是項目總監，具體視項目重要性而定。

?不同項目間通常相互獨立，可獨立核算成本和利潤，這使得所有項目可衡量、可優化和可改進。

?業務動作以項目為導向，除了企業管理類部門外，其他所有的職能部門都是為項目提供服務，支持項目工作的有效開展。

?公共資源池的有效利用：項目間的資源利用可以從公司整體統一調度，通常以設立資源池作為調用出口，所有項目資源（人力、設備、技術、產品等）使用完成之后可快速回收并調配到其他資源中。

?項目間的資源流通性提升：不同項目間雖然獨立運營并參與核算，但資源也可以互通使用，這會利于保證有效資源的有效調節和最大化使用。

?大數據項目管理中心統一協調：作為所有項目管理的樞紐，該角色承擔的項目工作包括項目獲取、組建、管理、運營、重組、回收、調節等，整體把控性更強。

這種整體與局部的有效統一使得所有的大數據工作環境都相對可控，利于企業利益最大化，但同時也存在一些不可避免的問題：

?員工缺乏歸屬感：大多數參與項目工作的員工，通常需要駐扎在客戶陣地前線，這使得項目完成之后員工需要根據下一項目需求調度到其他項目中重新投入工作。很多情況下可能會到全國各地做項目，導致員工很難產生歸屬感，容易造成員工流失。

?企業人員有效管理問題：對于大多數項目工作制的勞動方式而言，大多數時候都在“甲方”工作，這使得員工的“工作過程”很難把控，因此大多數項目員工會以項目交付成果作為考核依據；除此之外關于員工的費用、社保、培訓、晉升、匯報、福利、知識等所有問題由于缺乏有效的基于地理位置的管控，只能通過在線系統開展并需要依靠公司制度約束，這些都會對員工管理造成困擾，員工越多管理難度越大。

?員工成長問題：處于項目工作中的員工，在不同項目中扮演的角色是類似的，應用的技能也基本類似。技能的成長通常只能由生到熟而遇到技能瓶頸，職業通道和發展路徑上又受到項目的限制而缺乏其他管理類經驗，因此“天花板”問題比較突出。

?企業文化培養問題：由于員工長期處于“甲方”工作狀態，企業內部工作文化很難進行有效落實，并且項目內員工的問題也很難通過正常渠道反饋到企業工作流程和機制中，通常項目經理或項目總監就是一個企業的“小老板”。

對于矩陣型的大數據工作架構，不同部門間的職能分配如下：

（1）大數據項目管理中心

核心職能：

?資源管理：根據公司項目開展需要，建立和健全項目資源管理制度，實現公司所有資源在項目內的總體協調與調度最優化，以保證資源效率最優、利潤率最大。

?項目管理：組織和策劃公司項目招標、計劃實施與協調，確保各項目的有效推進和落地。

?質量管理：制定施工方案、質量工作標準和驗收標準，組織質量管理培訓、逐步推進項目活動全過程的質量管理工作。

?費用管理：組織實施工程項目管理的項目經理責任制和項目成本核算管理。

?監察管理：對各項目中可能存在的影響公司整體利益的外包項目分派、內部資源的外部利用、項目違規操作、個人邊緣利益以及其他違反公司規章和制度的監督和管理措施。

非核心職能：

?知識管理：針對項目實施過程中遇到和應用的場景、行業、案例、模型等知識物料進行統一匯總和管理，形成可供企業所有項目參考的知識庫，最終根據企業市場形態建立針對性的解決方案。

?培訓管理：項目招投標、實施、驗收等過程中所需的各種技能和職業素養要求的培訓，重點在于滿足項目工作需求，是對普通職業技能的拓展。

?人員管理：項目工作中所需人員的管理，包括組織規劃、人員選聘和項目核心骨干建設等一系列工作。

?檔案管理：建立和完善項目信息、檔案信息制度，組織和指導建檔工作并及時匯總和更新檔案信息。

（2）各項目中心

?范圍管理：為實現項目預期目標，對項目的工作范圍進行管理的過程，包括范圍的界定、規劃、調整等具體工作。

?時間管理：為確保項目交付時間而進行的一系列管理過程，包括具體項目實施的規劃，實施過程界定，項目細分內容優先級評估、時間估計，項目進度控制，周期性監察，進度報告等各項管理工作。

?成本管理：在保障項目交付的前提下對實際需要的各種成本、費用的管理過程，包括軟硬件資源的配置、調整，彈性解決方案應用，項目內費用審批及控制等各項工作。

?質量管理：為達到項目交付約定的質量要求所實施的一系列管理過程，包括質量規劃、質量控制、質量驗收和質量保證等。

?人力資源管理：項目內的人力資源管理通常是對于項目內部人員的工作職責、范圍的調整，以及為最大化人力資源產出而實施的工作時間、效率和結果的一系列管理措施。

?風險管理：對項目工作過程中涉及的可能會影響項目交付時間、交付質量、交付數量等交付成果的各種不確定因素的識別、量化、規避和控制等管理措施。