2．?dāng)?shù)據(jù)服務(wù)共享發(fā)布技術(shù)架構(gòu)

支撐流水線式的數(shù)據(jù)服務(wù)共享發(fā)布核心架構(gòu)

上圖核心架構(gòu)中定義了數(shù)據(jù)從數(shù)據(jù)源開始經(jīng)過數(shù)據(jù)準(zhǔn)備（清洗、轉(zhuǎn)換、質(zhì)量核檢）后進(jìn)入共享區(qū)，對共享區(qū)數(shù)據(jù)進(jìn)行服務(wù)化后提供給消費(fèi)方使用的處理流程，支撐流水線式的數(shù)據(jù)服務(wù)共享發(fā)布。

根據(jù)數(shù)據(jù)生命周期的不同環(huán)節(jié)，架構(gòu)設(shè)計(jì)上定義了三個(gè)數(shù)據(jù)區(qū)域（數(shù)據(jù)源、數(shù)據(jù)前置區(qū)、數(shù)據(jù)共享區(qū)），可根據(jù)實(shí)際情況對三個(gè)區(qū)域進(jìn)行自定義或取舍。

功能架構(gòu)

在功能架構(gòu)上主要包括四大支撐引擎+四大功能模塊。

四大支撐引擎：

?　實(shí)時(shí)服務(wù)引擎：實(shí)時(shí)服務(wù)發(fā)布及訪問功能，以RESTful方式提供；

?　批量服務(wù)引擎：批量服務(wù)發(fā)布及訪問功能，以File方式提供；

?　調(diào)度引擎：提供對批量服務(wù)的調(diào)度功能；

?　日志引擎：采集日志進(jìn)行指標(biāo)分析。

四大功能模塊：

?　資源目錄：數(shù)據(jù)消費(fèi)方和數(shù)據(jù)開發(fā)人員使用視圖；

?　數(shù)據(jù)服務(wù)發(fā)布：實(shí)現(xiàn)對實(shí)時(shí)服務(wù)和批量服務(wù)的發(fā)布管理；

?　數(shù)據(jù)使用及安全：定義數(shù)據(jù)申請使用流程及數(shù)據(jù)安全管理；

?　數(shù)據(jù)服務(wù)監(jiān)控：對數(shù)據(jù)服務(wù)生命周期進(jìn)行全鏈路監(jiān)控。

開發(fā)采用的技術(shù)棧

在數(shù)據(jù)服務(wù)共享平臺開發(fā)過程中涉及到的技術(shù)棧分為五個(gè)層次：

?　資源層：對主流關(guān)系型數(shù)據(jù)庫（Oracle、SQLServer、MySQL），大數(shù)據(jù)（HBase、Hive）、文件等多種數(shù)據(jù)源進(jìn)行技術(shù)元數(shù)據(jù)的自動(dòng)采集和業(yè)務(wù)元數(shù)據(jù)的管理。

?　訪問層：基于JDBC、HTTP、RPC、SFTP等通信協(xié)議實(shí)現(xiàn)與資源層的訪問交互。

?　邏輯層：提供對資源層不同數(shù)據(jù)源的適配器，提供可重用的安全、監(jiān)控、調(diào)度及日志組件。

?　服務(wù)提供層：基于SpringBoot+SpringCloud以微服務(wù)架構(gòu)方式對外提供服務(wù)。

?　展示層：采用vue+iview+es6+axios+ECharts技術(shù)實(shí)現(xiàn)前端頁面及展示效果。