1.4　大數據工具

數據正成為企業數字化發展過程中的新資本形式，新一代企業尤其依賴數據的數量與質量。在此前提下，收集整合數據與運用生態系統及清晰的數據戰略，對企業的發展至關重要。也就是說，企業需要理解現有數據資產的價值，采取一種程序化的方法來構建數據資產，并在所有業務部門的支持下，運用現有數據指導業務開展，提升企業的核心競爭力。因此，企業需要建立一套完整的大數據處理流程。以物聯網大數據處理為例，該流程包括4個階段，共8個主要模塊（見圖1-8）。

（1）終端管理模塊：提供終端注冊、身份驗證、監控、數據庫用戶角色和權限設置，以及資源管理等功能，對傳感終端等物理設備進行統一管理。

（2）數據預處理模塊：接收終端上傳的數據，進行數據轉換，屏蔽不同廠商傳感器硬件數據的差異性，生成統一的標準數據格式。

（3）數據存儲模塊：實現數據采集、數據清洗、數據更新、數據分析、數據歸類等各類物聯網數據的存儲和備份等功能。

（4）實時分析模塊：通過對實時數據的統計分析，對數據進行分析處理，輸出分析結果。

（5）離線分析模塊：對大量非實時數據進行統計、分析挖掘，定時生成分析結果，當用戶調用相關分析數據服務時，可以直接輸出已分析的結果，提高服務效率。

（6）數據服務模塊：提供服務注冊、服務發現、服務組裝服務。

（7）數據接口模塊：開放式數據應用程序接口，為外部訪問數據庫提供一種通用的應用程序語言。

（8）應用管理模塊：對訪問數據服務的物聯網應用進行注冊、注銷管理。

流程化的數據資產構建方法意味著有良好的數據架構，能夠優化數據的采集、分析、聚合、使用與后續更新，并保持數據的準確性、一致性與安全性；同時，通過保留開放的接口，可以靈活快速地擴展到未來的新技術。隨著數字化和智能化時代的快速到來，基于大數據的創新正成為新的經濟增長點，越來越多的企業對擁有的數據進行存儲管理、清理、分析、價值挖掘和數據可視化，將大數據應用作為獲得差異化競爭優勢的重要途徑。為了滿足企業采集處理數據等的需求，大數據工具迅速得到應用，并發展出了執行各種任務和流程的數千個種類，而且其市場還在不斷增長。

1.4.1　數據存儲管理工具

數據存儲管理工具是大數據分析平臺的基礎。它需要根據大數據應用的主要特點和基礎架構，切實有效地存取日漸豐富的信息，從而改善人們的日常生活，提高企業的運營能力。表1-1所示為常用的數據存儲管理工具。

1.4.2　數據清理工具

原始數據多是雜亂無章的，而且里面有很多垃圾。因此，需要對原始數據進行清理，從而得到一些高質量的數據。另外，大數據集往往是非結構化和無組織的，并且可能來自不同地方：移動網絡、物聯網、社交媒體，因此需要將它們轉換成某種統一的形式。只有經過清理和轉換之后，才可以進行數據分析與分類，進而發現數據之間的相互關系，以及挖掘數據價值。常用的數據清理工具如表1-2所示。

1.4.3　數據挖掘工具

大多數統計分析技術都基于完善的數學理論和高超的技巧，對使用者的要求很高。數據挖掘是利用統計、機器學習和人工智能技術的應用程序，可使人們不用掌握大量技巧也能找出隱藏于大數據的信息。因此，數據挖掘不是傳統統計分析技術的替代，而是傳統統計分析技術的延伸和擴展。作為大數據系統的核心競爭力，數據挖掘方案通常非常復雜。表1-3所示為常用的數據挖掘工具。

1.4.4　數據可視化工具

除了一個功能強大的挖掘引擎，友好的數據可視界面也是大數據分析必須具備的。其旨在借助于圖形化手段，清晰有效地傳達與溝通信息[12]。在表現形式上，為了有效地傳達思想，其需要同時具有可視化功能和美感，通過直觀地傳達關鍵特征，讓用戶深入洞察稀疏且復雜的數據集。一個良好的可視化人機接口能夠增強系統的可用性，幫助銷售代表、各級企業管理團隊等理解數據及挖掘數據中的信息。表1-4所示為常用的數據可視化工具。遺憾的是，良好的可視化界面有時與深度特征集的讀取不一致，這成了大數據可視化工具的一個主要挑戰。