- 大數據分析處理(慕課版)
- 郭永洪 賀萌主編
- 1001字
- 2024-04-23 17:42:54
2.大數據分析的發展過程
大數據分析的發展過程依托于整個大數據領域的產生和發展。大數據分析能夠發展到今天,離不開數據量的發展和分析技術的發展,主要體現在以下幾個方面。
(1)互聯網數據大爆炸
近年來,隨著大數據、云計算、物聯網、移動互聯網、人工智能等技術的發展,數字化浪潮正席卷全球。由此帶來的海量異構化數據,以及新業務的個性化需求,引發了互聯網數據的“大爆炸”,人們已經難以用傳統方式捕捉、管理和處理數據了。海量異構化數據的出現,推動了大數據分析的發展。
(2)商務智能的發展
商務智能(Business Intelligence,BI)是指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。20世紀末,第一次出現了BI的概念。BI提供了使企業能迅速分析數據的技術和方法,可收集、管理和分析數據,將這些數據轉化為有用的信息,然后分發到企業各處。
BI系統的發展有以下幾個特點。
①在功能上具有可配置性、靈活性。
對于用戶在職權、需求上的差異,BI系統提供了廣泛的、具有針對性的功能,從簡單的數據獲取,到利用Web、局域網和廣域網進行豐富的交互,再到決策信息和知識的分析和使用。
②從單獨的BI系統向嵌入式BI系統發展。
這是目前BI系統發展的一大趨勢,即在企業現有的事務處理系統(如財務系統、銷售系統等)中嵌入BI組件,使普遍意義上的事務處理系統具有BI的特性。
③從傳統功能向增強型功能轉變。
增強型的BI功能是相對于早期的用結構查詢語言(Structure Query Language,SQL)工具實現查詢的傳統BI功能而言的。目前應用中的BI系統除實現傳統BI系統的功能之外,大多數已實現了數據分析層的功能。而數據挖掘、企業建模是BI系統應該加強的功能,加強這些功能能更好地提高系統性能。
(3)大數據分析技術的發展
近年來,數據采集、存儲、安全等方面的技術更加成熟,從而帶動了大數據分析技術的發展。利用大數據分析技術可以從海量數據中提取有價值的信息,并對這些信息進行分析和預測,例如,風險預測與防范、用戶忠誠度分析與用戶流失預測、市場數據分析與業務決策等。
大數據分析技術主要是從結構化數據和非結構化數據中挖掘有用的信息,得出有用的結論。未來,大數據分析技術將向這兩個方向發展。
①對海量的結構化和非結構化數據進行分析,挖掘數據背后的信息。
②對非結構化數據進行深度分析,將文字、圖像、音頻、視頻等類型的信息轉化成有用的結論。
目前,比較主流的大數據分析平臺,既有開源的Hadoop,也有阿里云的云原生大數據計算服務MaxCompute。