- SequoiaDB分布式數據庫權威指南
- 許建輝 (加)陳元熹
- 1588字
- 2022-05-06 18:40:03
2.1.2 數據中臺服務
近年來,隨著IT技術與大數據的不斷發展,越來越多的企業將數據作為寶貴的資產而長期保留。同時,微服務與分布式技術的不斷發展,使得聯機應用程序不再使用“煙囪式”構建模式,而是需要由眾多原子服務組件在一個數據池中進行靈活的數據訪問。這使得一些傳統聯機應用程序的歷史數據包袱越來越重,靈活性大幅度下降,最終導致數據庫不堪重負、應用整體性能低下。與此同時,隨著大數據需求的不斷增加,已歸檔的數據需要重新上線,以滿足在線化與實時化使用、查詢和分析等要求,這就要求對龐大的離線數據進行在線化與服務化。這些需求使得數據中臺系統成為各大企業IT建設與投入的重要方向。
數據中臺主要提供全量數據的實時在線服務,同時提供對海量數據進行采集、計算、存儲、加工及基于全量數據的數據價值發掘和構建數據科學工程等服務。在過去,銀行等機構的數據管理被簡單地劃分為在線核心及歸檔兩個部分,隨著業務的復雜化及互聯網、移動業務帶來的海量數據的增長,數據在治理、挖掘等方面的重要性凸顯,因此,數據中臺就成為現在金融等大型企業關注的業務重點。
數據中臺作為大數據與新型互聯網業務應用中間的一層,一方面可以將大數據和數據倉庫的加工結果放在這一層,對外提供高并發、低延時的API和標準SQL訪問;另一方面可以將核心庫里面的數據實時抽取過來進行一些數據粗加工,如用戶統一資產視圖、實時績效等業務。
數據中臺將大數據和數據倉庫的結果,以及來自核心交易庫輸入的實時數據流,以直接API或標準SQL的方式對外提供高并發、低延時的數據訪問服務(見圖2-2)。

圖2-2 數據中臺業務架構邏輯
SequoiaDB(巨杉數據庫)提供了企業歷史與實時數據的統一納管平臺,激活了企業數據的核心價值。通過對海量歷史與實時數據的采集、計算、存儲和加工,數據中臺為應用上層多變的業務邏輯與底層穩定的數據結構提供中間層統一的標準與口徑,滿足企業業務和數據沉淀的需求,實現生產系統瘦身、歷史數據在線化,減少重復建設、降低煙囪式協作成本的目的,以增強企業的差異化競爭優勢。
SequoiaDB的數據中臺解決方案包括以下技術特性。
● 無限彈性擴展:具備此特性的分布式體系架構,可輕易承載PB級別的對外聯機業務數據。
● 高并發、低延時:可以同時服務于數十萬級高并發聯機業務,并提供毫秒級實時數據訪問性能。
● 多索引:在用戶表的不同字段與維度創建多個用戶索引,支持復雜靈活的毫秒級聯機查詢需求。
● 多模式:支持面向聯機交易、混合業務及統計分析的SQL執行引擎,支持標準結構化數據和文件,支持對象類型的非結構化數據存儲與聯機訪問。
● 多租戶:提供多實例及數據區域隔離等特性,確保來自不同類型業務系統的計算與存儲資源可相互獨立、互不干擾。
● 高可用性:最大程度地提升數據的可靠性與可用性,同時支持同城雙中心、兩地三中心、三地五中心等豐富的容災策略。
基于SequoiaDB搭建的數據中臺能夠為客戶帶來以下價值。
● 敏捷開發:其應用開發效率比不使用數據中臺的數據系統提升3~5倍,無須調整底層數據模型即可與上層應用敏捷對接,并可打破系統間的數據壁壘,提供跨業務系統的數據訪問。
● 數據全量在線:支持歷史數據全量在線,對傳統冷數據可提供全方位在線服務及企業級的統一數據視圖。對冷、熱數據的全量在線一體化訪問,可大幅提升用戶體驗。
● 降低風險:能實現“24小時×7天”的高可用性與容災策略,確保數據永遠在線、可用;可以快速實現新業務構思,避免將核心業務數據庫直接暴露給外部消費類業務系統,并導致核心業務數據庫被破壞的風險。
● 降低成本:通過用PC服務器取代小型機,可減少軟硬件費用,降低對接公有、私有云平臺的IT投入成本;而核心交易系統業務下移,可降低主機負載并減少企業的IT升級費用。
基于SequoiaDB構建的數據中臺,可以實現數據的“融會貫通”,提供聯機數據一站式服務,幫助企業實現多業務數據的整合,跨越底層數據與新業務的鴻溝。目前,它已大規模應用于企業生產庫瘦身、數據生命周期管理等業務。
- 大規模數據分析和建模:基于Spark與R
- Unity 5.x Game AI Programming Cookbook
- App+軟件+游戲+網站界面設計教程
- Voice Application Development for Android
- Neural Network Programming with TensorFlow
- iOS and OS X Network Programming Cookbook
- Python數據分析:基于Plotly的動態可視化繪圖
- Remote Usability Testing
- Spark大數據分析實戰
- 白話大數據與機器學習
- SQL優化最佳實踐:構建高效率Oracle數據庫的方法與技巧
- Oracle 12c云數據庫備份與恢復技術
- 計算機組裝與維護(微課版)
- 數據分析師養成寶典
- Visual Studio 2013 and .NET 4.5 Expert Cookbook