- 數(shù)據(jù)中臺實戰(zhàn):手把手教你搭建數(shù)據(jù)中臺
- 董超華
- 2817字
- 2020-09-29 16:55:52
1.2 雙中臺實戰(zhàn)案例
筆者所在公司是一家做服裝批發(fā)業(yè)務(wù)的互聯(lián)網(wǎng)公司,接下來筆者以所在公司搭建的中臺項目為實戰(zhàn)案例解析一下中臺的架構(gòu)。
如圖1-2所示,筆者公司主要有三條產(chǎn)品線,分別是打版服務(wù)、電商服務(wù)、快遞/物流服務(wù)。

圖1-2 筆者所在公司的中臺架構(gòu)
打版服務(wù)主要是給原創(chuàng)設(shè)計師提供服裝打版、生產(chǎn)的平臺。設(shè)計師有打版需求則可以在打版平臺上選擇合適的供應(yīng)商先進行打版,如果設(shè)計師覺得工廠提供的服裝樣版還可以,就可以把自己設(shè)計的服裝上架到電商產(chǎn)品線去銷售,如果該服裝在電商平臺上獲得市場認可,就可以集單大批量生產(chǎn),集單生產(chǎn)可以大大降低生產(chǎn)成本。平臺的供應(yīng)商在大批量生產(chǎn)服裝后就可以用快遞/物流服務(wù)把衣服發(fā)貨給采購商。電商服務(wù)的用戶和銷售數(shù)據(jù)能直接引導(dǎo)打版平臺的業(yè)務(wù);在服裝被生產(chǎn)出來后,又可以用快遞/物流服務(wù)運輸給采購商。我們公司的角色就是搭建一個產(chǎn)業(yè)互聯(lián)網(wǎng)的平臺,從服裝的生產(chǎn)到銷售,再到運輸都無縫地連接起來,從而打通服裝產(chǎn)業(yè)的上下游。這三條產(chǎn)品線的無縫連接是靠底層的業(yè)務(wù)中臺和數(shù)據(jù)中臺來支撐的。每條產(chǎn)品線都會用到用戶、支付、營銷活動等模塊,業(yè)務(wù)中臺把這些功能進行模塊化封裝,使各條產(chǎn)品線都能更快地搭建自己的基礎(chǔ)功能,做到一切業(yè)務(wù)數(shù)據(jù)化;數(shù)據(jù)中臺對各條產(chǎn)品線的核心數(shù)據(jù)進行回收,通過銷售數(shù)據(jù)反哺生產(chǎn)和供應(yīng)鏈,這樣就做到了“一切數(shù)據(jù)業(yè)務(wù)化,通過數(shù)據(jù)賦能業(yè)務(wù)”。
1.2.1 業(yè)務(wù)中臺架構(gòu)
先來看一下業(yè)務(wù)中臺的架構(gòu),如圖1-3所示。

圖1-3 業(yè)務(wù)中臺架構(gòu)
業(yè)務(wù)中臺的底層是數(shù)據(jù)存儲層,可以根據(jù)公司業(yè)務(wù)量的大小,選擇合適的數(shù)據(jù)庫存儲。
再往上一層就是業(yè)務(wù)中臺的核心部分,其包括多個“中心”,是可以擴展的。作為中心化的能力復(fù)用平臺,業(yè)務(wù)中臺的特點就體現(xiàn)在這里,其把所有的通用模塊單獨開發(fā)和部署好,提供給各條產(chǎn)品線,各條產(chǎn)品線可以插拔式地使用。下面簡單介紹一下業(yè)務(wù)中臺的一些通用模塊:用戶中心、商品中心、交易中心、支付中心、營銷中心。
(1)用戶中心。用戶中心(或稱用戶模塊)是每個互聯(lián)網(wǎng)產(chǎn)品都會用到的,只是每個互聯(lián)網(wǎng)產(chǎn)品的用戶類型不一樣。比如注冊、登錄、賬號的管理、用戶基礎(chǔ)信息的管理等這些通用功能的數(shù)據(jù)會被存儲于業(yè)務(wù)中臺中,但是那些偏業(yè)務(wù)的十分個性化的數(shù)據(jù)則不會,還是會被分散存儲在各個應(yīng)用中。我們可以想一下,以前每條產(chǎn)品線都需要開發(fā)登錄、注冊這些功能,其實是對資源的嚴(yán)重浪費,現(xiàn)在只要讓各條產(chǎn)品線與中臺對接起來就能實現(xiàn)同樣的功能,這樣就大大提高了開發(fā)效率。
(2)商品中心。筆者公司的三條產(chǎn)品線(打版服務(wù)、電商服務(wù)、快遞/物流服務(wù))都圍繞著商品運轉(zhuǎn)。打版服務(wù)會記錄商品從設(shè)計到生產(chǎn)的全部信息;電商服務(wù)會記錄商品的上架、銷售、售后信息;快遞/物流服務(wù)則會記錄商品的運輸信息。商品中心匯集了商品生命周期的所有信息。因為商品的數(shù)據(jù)都匯聚在一起,也就十分有利于數(shù)據(jù)中臺的數(shù)據(jù)分析工作。
(3)交易中心。交易中心主要與訂單的生成和狀態(tài)管理相關(guān)。對于不同的產(chǎn)品線,狀態(tài)管理是不一樣的。在電商服務(wù)產(chǎn)品線中,當(dāng)電商產(chǎn)品用戶剛提交訂單時,訂單狀態(tài)變?yōu)椤拔粗Ц丁保恢Ц锻瓿珊?,訂單狀態(tài)就要修改成“已經(jīng)支付”;當(dāng)供應(yīng)商發(fā)貨完畢時,訂單狀態(tài)就變成“已發(fā)貨”;當(dāng)用戶確認自己收到的商品沒有問題時,訂單狀態(tài)最終變?yōu)椤耙淹瓿伞薄T诖虬娣?wù)產(chǎn)品線中,最開始設(shè)計師會提交需求,接下來就會有多家生產(chǎn)廠家報價,此時商品狀態(tài)就是“已經(jīng)報價”;在設(shè)計師選擇一個生產(chǎn)廠家打版后,商品狀態(tài)就變成“生產(chǎn)中”;直到生產(chǎn)廠家完成打版并把版樣發(fā)給了設(shè)計師,整個流程才結(jié)束。
(4)支付中心。支付中心也是幾乎所有互聯(lián)網(wǎng)產(chǎn)品都需要的模塊,因為互聯(lián)網(wǎng)產(chǎn)品要想盈利就必須要有線上支付環(huán)節(jié)。支付中心需要處理各個支付渠道的對接(比如支持支付寶、微信、銀聯(lián)等支付方式),還要處理支付后的對賬——每個訂單用戶應(yīng)該支付多少錢、平臺方應(yīng)該抽取多少錢、供應(yīng)商應(yīng)該分多少錢,需要一套十分嚴(yán)謹(jǐn)?shù)膶~邏輯保證各條產(chǎn)品線的賬目是平的。
(5)營銷中心。比如公司要做一個發(fā)放優(yōu)惠券的營銷活動,那么該活動的發(fā)券、領(lǐng)券、用券等環(huán)節(jié)都可以采用通用的模塊。另外,應(yīng)該選擇哪些人做活動、以什么方式(如推送、短信、公眾號、電話等)觸達,這些環(huán)節(jié)也都可以采用通用的模塊。營銷中心和數(shù)據(jù)中臺聯(lián)系得比較緊密,比如“如何選擇用戶做活動”就可以通過數(shù)據(jù)中臺基于規(guī)則推算出來,而且在活動完成后,數(shù)據(jù)中臺可以基于活動產(chǎn)生的數(shù)據(jù)做自動化的活動效果分析。
1.2.2 數(shù)據(jù)中臺架構(gòu)
接下來我們看一下數(shù)據(jù)中臺的架構(gòu),如圖1-4所示。

圖1-4 數(shù)據(jù)中臺架構(gòu)
從下往上看,第一層是數(shù)據(jù)采集層。企業(yè)內(nèi)每條產(chǎn)品線都會產(chǎn)生一定數(shù)量的業(yè)務(wù)數(shù)據(jù),比如電商服務(wù)產(chǎn)品線的用戶的加購(即將商品加入購物車)數(shù)據(jù)、收藏數(shù)據(jù)、下單數(shù)據(jù)等隨著用戶量的增大會越來越多,這些數(shù)據(jù)大部分被存儲于業(yè)務(wù)數(shù)據(jù)庫中;還有用戶的瀏覽行為、點擊行為,這些行為會做相應(yīng)的埋點,產(chǎn)生的數(shù)據(jù)一般會以日志文件的形式存儲。無論是業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)還是日志文件的數(shù)據(jù),我們都需要把它們抽取到數(shù)據(jù)中臺中做統(tǒng)一的存放。一般數(shù)據(jù)工程師會用一些比較成熟的數(shù)據(jù)同步工具,將業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)實時同步到數(shù)據(jù)中臺,同時將離線日志數(shù)據(jù)以“T-1”的形式抽取過來,整合到一起。
第二層是數(shù)據(jù)計算層。數(shù)據(jù)中臺要同步企業(yè)內(nèi)多條產(chǎn)品線的數(shù)據(jù),數(shù)據(jù)量相對來說是比較大的。海量的數(shù)據(jù)采用傳統(tǒng)的存儲方式是不合理的。業(yè)界一般采用分層建模的方式來存儲海量數(shù)據(jù)。數(shù)據(jù)的分層主要包括操作數(shù)據(jù)層(Operational Data Store,ODS)、維度數(shù)據(jù)層(Dimension,DIM)、明細數(shù)據(jù)層(Data Warehouse Detail,DWD)、匯總數(shù)據(jù)層(Data Warehouse Summary,DWS)和應(yīng)用數(shù)據(jù)層(Application Data Store,ADS)等,通過分層建??梢粤顢?shù)據(jù)獲得更高效、更科學(xué)的組織和存儲。另外,為了保證數(shù)據(jù)指標(biāo)的準(zhǔn)確性和無歧義性,企業(yè)內(nèi)部的數(shù)據(jù)指標(biāo)需要通過一套嚴(yán)格的數(shù)據(jù)指標(biāo)規(guī)范來管理,包括指標(biāo)的定義、指標(biāo)的業(yè)務(wù)口徑、指標(biāo)的技術(shù)口徑、指標(biāo)的計算周期和計算方式等。數(shù)據(jù)中臺的產(chǎn)品人員、開發(fā)人員都要參考這套規(guī)范來工作,這樣就能更大程度地保證數(shù)據(jù)的準(zhǔn)確性和無歧義性。
第三層是數(shù)據(jù)服務(wù)層。數(shù)據(jù)經(jīng)過整合計算后,如何被調(diào)取和使用呢?數(shù)據(jù)中臺一般以接口的形式對外提供服務(wù),開發(fā)人員將計算好的數(shù)據(jù)根據(jù)需求封裝成一個個的接口,提供給數(shù)據(jù)產(chǎn)品和各條產(chǎn)品線調(diào)用。
第四層是數(shù)據(jù)應(yīng)用層。數(shù)據(jù)產(chǎn)品分為幾種:針對內(nèi)部的數(shù)據(jù)產(chǎn)品、針對用戶的數(shù)據(jù)產(chǎn)品、針對商家的數(shù)據(jù)產(chǎn)品。針對內(nèi)部的數(shù)據(jù)產(chǎn)品一般用于服務(wù)公司的產(chǎn)品/運營人員和領(lǐng)導(dǎo)層。產(chǎn)品/運營人員更關(guān)注明細數(shù)據(jù),比如,如果電商產(chǎn)品的活躍用戶持續(xù)減少,數(shù)據(jù)中臺如何通過數(shù)據(jù)幫助他們找出原因;領(lǐng)導(dǎo)層更關(guān)注大盤數(shù)據(jù),比如根據(jù)公司近一年各條產(chǎn)品線的運營情況決定是否開發(fā)大屏類產(chǎn)品。針對用戶的數(shù)據(jù)產(chǎn)品可以基于數(shù)據(jù)中臺整合后的數(shù)據(jù)開發(fā)一些創(chuàng)新應(yīng)用,比如個性化商品推薦,讓“貨找人”而不是“人找貨”,提高了人貨匹配的概率,同時也提高了用戶的下單概率。針對商家的數(shù)據(jù)產(chǎn)品可以基于數(shù)據(jù)中臺為商家提供數(shù)據(jù)服務(wù),比如電商產(chǎn)品基于銷售數(shù)據(jù)制作關(guān)于流行趨勢、行情、店鋪的數(shù)據(jù)報告等。
- 企業(yè)數(shù)字化創(chuàng)新引擎:企業(yè)級PaaS平臺HZERO
- Hands-On Machine Learning with Microsoft Excel 2019
- 劍破冰山:Oracle開發(fā)藝術(shù)
- Spark快速大數(shù)據(jù)分析(第2版)
- App+軟件+游戲+網(wǎng)站界面設(shè)計教程
- 達夢數(shù)據(jù)庫性能優(yōu)化
- Hadoop 3.x大數(shù)據(jù)開發(fā)實戰(zhàn)
- 數(shù)亦有道:Python數(shù)據(jù)科學(xué)指南
- Instant Autodesk AutoCAD 2014 Customization with .NET
- 改進的群智能算法及其應(yīng)用
- 大數(shù)據(jù)分析:R基礎(chǔ)及應(yīng)用
- SOLIDWORKS 2018中文版機械設(shè)計基礎(chǔ)與實例教程
- Access 2010數(shù)據(jù)庫應(yīng)用技術(shù)教程(第二版)
- Learn Selenium
- 一本書讀懂區(qū)塊鏈(第2版)