1.4 數(shù)據(jù)中臺(tái)開發(fā)流程

在這一節(jié)，筆者講一下數(shù)據(jù)中臺(tái)的開發(fā)流程，如圖1-7所示。一個(gè)指標(biāo)從口徑的確認(rèn)到上線、迭代都要經(jīng)歷圖示的這些過程。

數(shù)據(jù)中臺(tái)完成一個(gè)指標(biāo)的開發(fā)需要經(jīng)歷11個(gè)步驟，分別是業(yè)務(wù)口徑梳理、技術(shù)口徑梳理、原型設(shè)計(jì)和評(píng)審、模型設(shè)計(jì)、數(shù)據(jù)開發(fā)、后端開發(fā)、前端開發(fā)、聯(lián)調(diào)、測試、上線、迭代。接下來我們分別看一下這些步驟都是做什么的。

（1）業(yè)務(wù)口徑梳理。這個(gè)步驟應(yīng)該由數(shù)據(jù)中臺(tái)產(chǎn)品經(jīng)理來主導(dǎo)。產(chǎn)品經(jīng)理需要與提出該指標(biāo)的產(chǎn)品/運(yùn)營負(fù)責(zé)人溝通，要問清楚這個(gè)指標(biāo)有什么用、給誰用、業(yè)務(wù)流程是什么，還要確定指標(biāo)定義、統(tǒng)計(jì)周期、計(jì)算方式等。不是所有的指標(biāo)都有開發(fā)的意義，因?yàn)閿?shù)據(jù)中臺(tái)每做一個(gè)指標(biāo)都會(huì)花費(fèi)大量的人力資源，所以一定要考慮開發(fā)這個(gè)指標(biāo)的性價(jià)比——投入這么多資源，能夠給公司帶來什么。

（2）技術(shù)口徑梳理。這個(gè)步驟由模型設(shè)計(jì)師主導(dǎo)。首先，模型設(shè)計(jì)師需要理解數(shù)據(jù)指標(biāo)涉及的業(yè)務(wù)邏輯，還需要理解指標(biāo)定義、統(tǒng)計(jì)周期、計(jì)算方式等。接著，模型設(shè)計(jì)師需要與產(chǎn)品線的開發(fā)人員一起梳理數(shù)據(jù)指標(biāo)涉及的表結(jié)構(gòu)和字段，這個(gè)工作比較重要，一定要精確到字段級(jí)別，在確定好這些字段后，就能初步判定這個(gè)指標(biāo)在技術(shù)層面能不能統(tǒng)計(jì)，如果不能統(tǒng)計(jì)，模型設(shè)計(jì)師應(yīng)該主動(dòng)告知產(chǎn)品經(jīng)理：①目前這個(gè)階段還沒法計(jì)算相關(guān)指標(biāo)，②做了哪些功能后才能計(jì)算這些指標(biāo)。

（3）原型設(shè)計(jì)和評(píng)審。這個(gè)步驟還是由產(chǎn)品經(jīng)理主導(dǎo)的。基于運(yùn)營的需求設(shè)計(jì)原型，在原型設(shè)計(jì)完后，要經(jīng)過內(nèi)部評(píng)審和外部評(píng)審。在內(nèi)部評(píng)審中，產(chǎn)品經(jīng)理要召集數(shù)據(jù)中臺(tái)的架構(gòu)師、模型設(shè)計(jì)師、數(shù)據(jù)開發(fā)工程師、后端開發(fā)工程師、前端開發(fā)工程師、UI設(shè)計(jì)師、測試工程師，說明整個(gè)功能的價(jià)值和詳細(xì)的業(yè)務(wù)流程、操作流程，確保大家理解一致。接下來，產(chǎn)品經(jīng)理和運(yùn)營人員要針對(duì)原型做一次外部評(píng)審，把有歧義的地方一并解決。對(duì)于比較重要的功能，產(chǎn)品經(jīng)理需要發(fā)郵件讓運(yùn)營人員進(jìn)一步確認(rèn)，并同步給所有的產(chǎn)品/運(yùn)營人員，保證大家的口徑一致。

（4）模型設(shè)計(jì)。這個(gè)步驟由數(shù)據(jù)中臺(tái)的模型設(shè)計(jì)師主導(dǎo)。業(yè)內(nèi)一般會(huì)采用分層建模的方式對(duì)數(shù)據(jù)進(jìn)行更加科學(xué)的組織與存儲(chǔ)。模型一般分為5層，分別為ODS層（操作數(shù)據(jù)層）、DIM層（維度數(shù)據(jù)層）、DWD層（明細(xì)數(shù)據(jù)層）、DWS層（匯總數(shù)據(jù)層）、ADS層（應(yīng)用數(shù)據(jù)層），這是業(yè)界對(duì)于數(shù)據(jù)分層的常用的模型。模型設(shè)計(jì)工程師要清楚地知道數(shù)據(jù)來源于哪里、要怎么存儲(chǔ)。

（5）數(shù)據(jù)開發(fā)。這個(gè)步驟由數(shù)據(jù)開發(fā)工程師主導(dǎo)。首先，數(shù)據(jù)開發(fā)工程師要和模型設(shè)計(jì)師確定技術(shù)口徑，明確計(jì)算的指標(biāo)都來自哪些業(yè)務(wù)系統(tǒng)。接著，數(shù)據(jù)開發(fā)工程師通過數(shù)據(jù)同步工具將數(shù)據(jù)同步到ODS層，并一層層地匯總，從ODS層到DWD層，再到DWS層，直到最后把可以直接服務(wù)應(yīng)用的數(shù)據(jù)填充到ADS層。另外，大數(shù)據(jù)開發(fā)工程的一個(gè)比較重要的工作就是設(shè)置調(diào)度任務(wù)——簡單來講就是配置指標(biāo)在什么時(shí)候計(jì)算。數(shù)據(jù)開發(fā)工程師會(huì)寫好計(jì)算腳本（比如按照“T-1”的方式每天凌晨處理前一天的數(shù)據(jù)等）。隨著業(yè)務(wù)的增長，運(yùn)營工作對(duì)于實(shí)時(shí)數(shù)據(jù)的需求越來越大，還有一些實(shí)時(shí)計(jì)算任務(wù)的配置也會(huì)由數(shù)據(jù)開發(fā)工程師完成。

（6）后端開發(fā)。這一步驟由后端開發(fā)工程師主導(dǎo)。后端開發(fā)工程師基于產(chǎn)品經(jīng)理對(duì)功能的定義，輸出相應(yīng)的接口給數(shù)據(jù)中臺(tái)的前端開發(fā)工程師或產(chǎn)品線的前端開發(fā)工程師。一般來說，最終對(duì)外提供服務(wù)的數(shù)據(jù)存儲(chǔ)在ADS層，后端開發(fā)工程師一般是基于ADS層的數(shù)據(jù)將數(shù)據(jù)封裝成對(duì)外服務(wù)的接口，后端開發(fā)工程師一方面要和數(shù)據(jù)開發(fā)工程師溝通好ADS層數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，另一方面需要和產(chǎn)品經(jīng)理溝通產(chǎn)品的功能、性能方面的問題，以便為使用者提供更好的用戶體驗(yàn)。

（7）前端開發(fā)。這個(gè)步驟由前端開發(fā)工程師主導(dǎo)。在原型設(shè)計(jì)出來后，產(chǎn)品經(jīng)理會(huì)讓UI設(shè)計(jì)師基于產(chǎn)品功能原型設(shè)計(jì)UI。在功能界面最終定型后，UI設(shè)計(jì)師會(huì)給前端開發(fā)工程師提供切圖。前端開發(fā)工程師基于UI的切圖做前端頁面的開發(fā)。

（8）聯(lián)調(diào)。數(shù)據(jù)開發(fā)工程師、前端開發(fā)工程師、后端開發(fā)工程師都要參與這個(gè)步驟。一般來說，數(shù)據(jù)開發(fā)工程師要基于歷史的數(shù)據(jù)執(zhí)行計(jì)算任務(wù)并承擔(dān)數(shù)據(jù)準(zhǔn)確性的校驗(yàn)。前端開發(fā)工程師和后端開發(fā)工程師負(fù)責(zé)解決用戶操作的相關(guān)問題，保證不出現(xiàn)低級(jí)的錯(cuò)誤。

（9）測試。這個(gè)步驟由測試工程師主導(dǎo)。在完成原型評(píng)審后，測試工程師就要開始寫測試用例，哪些是開發(fā)人員自測通過后才能交上來測試的內(nèi)容、哪些是開發(fā)人員要再次自測驗(yàn)證的內(nèi)容，都需要在測試用例文檔上寫清楚。此時(shí)有經(jīng)驗(yàn)的測試工程師可以向運(yùn)營人員要一些歷史的統(tǒng)計(jì)數(shù)據(jù)來核對(duì)數(shù)據(jù)，不過運(yùn)營人員的數(shù)據(jù)不一定準(zhǔn)確，只能作為參考。在最終測試沒問題后，產(chǎn)品經(jīng)理可以請(qǐng)運(yùn)營人員試用，如果在試用中發(fā)現(xiàn)數(shù)據(jù)準(zhǔn)確性的問題則需要再進(jìn)行一輪測試，以驗(yàn)證數(shù)據(jù)。如果問題都解決了，整個(gè)研發(fā)過程就結(jié)束了。

（10）上線。運(yùn)維工程師會(huì)配合數(shù)據(jù)中臺(tái)的前端開發(fā)工程師、后端開發(fā)工程師將最新的版本更新到服務(wù)器中。此時(shí)產(chǎn)品經(jīng)理要找到該指標(biāo)的負(fù)責(zé)人，令其長期跟進(jìn)指標(biāo)的準(zhǔn)確性。對(duì)于重要的指標(biāo)，每過一個(gè)周期還要再次進(jìn)行內(nèi)部驗(yàn)證，從而保證數(shù)據(jù)的準(zhǔn)確性。

（11）迭代。數(shù)據(jù)指標(biāo)上線后，隨著公司業(yè)務(wù)的變化，指標(biāo)的口徑可能也會(huì)有所變動(dòng)，所以也要定期盤點(diǎn)已有的指標(biāo)，如果指標(biāo)有變化，需要不斷迭代，保證指標(biāo)的準(zhǔn)確性。