第3章 財政數(shù)字化轉(zhuǎn)型項目需求規(guī)格說明

3.1 財政數(shù)字化轉(zhuǎn)型項目建設(shè)需求

隨著財政改革力度的推進與加深，財政相關(guān)業(yè)務(wù)逐漸完善，業(yè)務(wù)范圍涉及全國各級組織單位，數(shù)據(jù)資源種類繁多，每日新增數(shù)據(jù)呈現(xiàn)兆級的爆炸性增長趨勢。財政數(shù)字化的發(fā)展，對數(shù)據(jù)的采集、存儲到最后的數(shù)據(jù)檢索與可視化等各個流程，都提出了全新的要求。

3.1.1 實現(xiàn)財政大數(shù)據(jù)采集

鑒于財政業(yè)務(wù)相關(guān)數(shù)據(jù)具有數(shù)量眾多、種類廣泛、更新頻率高、數(shù)據(jù)格式多樣化等特點，財政相關(guān)數(shù)據(jù)采集技術(shù)應(yīng)當進行改善。從工具角度來看，采集工具應(yīng)當包括且不局限于Web網(wǎng)頁（Web Page）、手機App（Application，應(yīng)用程序）、財政相關(guān)單位內(nèi)部系統(tǒng)、外部數(shù)據(jù)API等；從數(shù)據(jù)種類來看，涉及數(shù)據(jù)應(yīng)當包括MySQL（關(guān)系型數(shù)據(jù)庫管理系統(tǒng)）數(shù)據(jù)、Excel文件以及以數(shù)據(jù)報表為代表的結(jié)構(gòu)化數(shù)據(jù)，以Json機器日志文件為代表的半結(jié)構(gòu)化數(shù)據(jù)，需要后期處理轉(zhuǎn)換的圖片、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)；從數(shù)據(jù)時效性出發(fā)，數(shù)據(jù)應(yīng)當涵蓋財政管理操作日志等實時性數(shù)據(jù)文件、相關(guān)項目監(jiān)控日志等半實時性數(shù)據(jù)文件以及其他的半靜態(tài)數(shù)據(jù)文件和全靜態(tài)數(shù)據(jù)文件。在數(shù)據(jù)采集過程中，力求保證數(shù)據(jù)的多層次、多樣化以及高并發(fā)特點不會影響到業(yè)務(wù)需要，從而保證數(shù)據(jù)采集工作的質(zhì)量與高效。

3.1.2 實現(xiàn)財政大數(shù)據(jù)存儲

目前，財政數(shù)字化平臺搭建中關(guān)于數(shù)據(jù)存儲部分的主要難題還是在于數(shù)據(jù)量大的問題，并且隨著財政業(yè)務(wù)每天輸出的大量數(shù)據(jù)，這一現(xiàn)狀將逐漸加劇。對于財政數(shù)字化的轉(zhuǎn)型來說，萬億字節(jié)以上的存儲容量是必需的，同時需要預(yù)留足夠的空間以滿足每日新增的千兆級的財政相關(guān)數(shù)據(jù)。同時，由于當前財政數(shù)據(jù)管理系統(tǒng)不統(tǒng)一導致數(shù)據(jù)存儲形式多種多樣，因此在不同財政數(shù)據(jù)系統(tǒng)合并數(shù)據(jù)時往往會出現(xiàn)數(shù)據(jù)格式不一致的問題，故財政數(shù)字化平臺應(yīng)當建立起統(tǒng)一的數(shù)據(jù)轉(zhuǎn)換機制，使得財政數(shù)據(jù)能夠以標準化的格式存儲于數(shù)字平臺中。

3.1.3 實現(xiàn)財政大數(shù)據(jù)檢索

由于財政業(yè)務(wù)逐漸完善、細化，對于財政相關(guān)數(shù)據(jù)的檢索需求逐漸呈現(xiàn)個性化發(fā)展趨勢，并且對數(shù)據(jù)檢索的響應(yīng)速度也提出了更高要求。財政數(shù)字平臺中的數(shù)據(jù)檢索功能，不再僅僅局限于簡單的關(guān)鍵字匹配服務(wù)，還應(yīng)當提供更加個性化的條件篩選、模糊查找以及正則匹配等多種數(shù)據(jù)檢索服務(wù)；同時，面對千兆級增長的財政數(shù)據(jù)，平臺檢索速度不能因此有所降低，相反應(yīng)當通過改善檢索技術(shù)，升級相關(guān)數(shù)據(jù)存儲機制，盡可能地減少響應(yīng)時間，提升數(shù)據(jù)檢索效率，確保數(shù)據(jù)檢索的高并發(fā)性能。

3.1.4 實現(xiàn)財政大數(shù)據(jù)分析

財政數(shù)據(jù)遍布全國，涉及多部門，導致數(shù)據(jù)分析工作消耗大量計算機內(nèi)存，相應(yīng)的技術(shù)需求門檻也隨之提升。財政數(shù)字化平臺應(yīng)當充分利用Hadoop分布式架構(gòu)的優(yōu)勢，針對海量數(shù)據(jù)實現(xiàn)高維數(shù)據(jù)的實時運算，鑒于其占用硬盤空間較大的問題，可以將數(shù)據(jù)上傳至云端以便數(shù)據(jù)存儲與數(shù)據(jù)運算。另外，在數(shù)字平臺中針對目標數(shù)據(jù)進行分析，可以考慮結(jié)合深度挖掘、大數(shù)據(jù)、機器學習等大智移云技術(shù)，創(chuàng)建相應(yīng)運算模塊，簡化數(shù)據(jù)分析工作流程，為數(shù)據(jù)分析工作提供新思路。

3.1.5 實現(xiàn)財政數(shù)據(jù)可視化

面對種類繁多的財政相關(guān)數(shù)據(jù)，經(jīng)過數(shù)據(jù)分析處理后輸出的分析結(jié)果應(yīng)當以更加直觀明了的可視化圖形界面進行展示，根據(jù)數(shù)據(jù)不同維度輸出相應(yīng)含義的統(tǒng)計圖形。相較于傳統(tǒng)的數(shù)據(jù)展示，數(shù)據(jù)可視化逐漸成為一種數(shù)據(jù)展示工具，擁有更高的復雜度以及開發(fā)量，能夠?qū)崿F(xiàn)數(shù)據(jù)與圖表的有機結(jié)合，根據(jù)業(yè)務(wù)需要確定具體的數(shù)據(jù)展現(xiàn)方式，從傳統(tǒng)的二維數(shù)據(jù)展示拓展到更加全面的多維數(shù)據(jù)展示，并且，應(yīng)當附帶更加智能且人性化的人機交互功能，以提高數(shù)據(jù)分析結(jié)果的實用性和有效性。

3.1.6 實現(xiàn)財政大數(shù)據(jù)挖掘

伴隨著財政業(yè)務(wù)產(chǎn)生的相關(guān)數(shù)據(jù)日益增加，財政實踐活動與相關(guān)業(yè)務(wù)數(shù)據(jù)的結(jié)合日益緊密，借助于大智移云技術(shù)的優(yōu)勢，建立財政數(shù)據(jù)云平臺，有利于對傳統(tǒng)數(shù)據(jù)處理方式無法處理的各類數(shù)據(jù)庫、Excel結(jié)構(gòu)化數(shù)據(jù)進行深度挖掘，并根據(jù)具體的數(shù)據(jù)處理規(guī)則針對半結(jié)構(gòu)化數(shù)據(jù)進行解析，而對于欠缺解析規(guī)則的非結(jié)構(gòu)化數(shù)據(jù)，則借助于流式計算、數(shù)據(jù)分布等大智移云技術(shù)手段分析其數(shù)據(jù)邏輯與關(guān)聯(lián)。針對財政數(shù)據(jù)進行必要的數(shù)據(jù)挖掘，有利于財政業(yè)務(wù)部門根據(jù)場景需求與業(yè)務(wù)需要進行數(shù)據(jù)分析，充分發(fā)揮相關(guān)數(shù)據(jù)資源的價值與作用，為后續(xù)的財政決策、財政核算等一系列工作提供有效的數(shù)據(jù)支持。

3.1.7 實現(xiàn)財政智能化決策

隨著財政改革的不斷深入，財政決策越發(fā)凸顯其重要性。借助于大智移云技術(shù)，財政數(shù)字化平臺能夠通過互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等不同數(shù)字媒介獲取數(shù)據(jù)信息，并與財政部門、金融機構(gòu)等財政業(yè)務(wù)相關(guān)部門達成數(shù)據(jù)共享，為財政決策合理化提供數(shù)據(jù)支持；同時，財政決策更加需要的是對海量數(shù)據(jù)的篩選、處理操作，利用大數(shù)據(jù)技術(shù)獲取決策需要的業(yè)務(wù)相關(guān)數(shù)據(jù)資源，為政策執(zhí)行者提供個性化的數(shù)據(jù)檢索服務(wù)，并結(jié)合適當?shù)臄?shù)據(jù)加工模型進行數(shù)據(jù)處理，進而通過圖表等可視化的方式展現(xiàn)數(shù)據(jù)，提供合理的政策建議，以進一步推動財政決策的數(shù)據(jù)可靠性及其效果預(yù)測的科學性。