- 大數(shù)據(jù)架構(gòu)師指南
- 朱進云
- 1804字
- 2021-03-19 17:43:36
1.2 大數(shù)據(jù)的本質(zhì)
所有技術(shù)的發(fā)展都是為社會進步服務(wù)的,大數(shù)據(jù)技術(shù)也不例外。但是,大數(shù)據(jù)技術(shù)對社會生產(chǎn)的促進作用是變革性甚至是顛覆性的。
“大數(shù)據(jù)商業(yè)應(yīng)用第一人” Viktor Mayer-Sch?nberger在其著作《大數(shù)據(jù)時代》中,前瞻性地指出,大數(shù)據(jù)正在變革我們的生活、工作和思維。大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型,為我們帶來了思維變革、商業(yè)變革和管理變革。其中最重要的三個思維變革顛覆了千百年來人類的思維慣例,對人類的認知和與世界交流的方式提出了全新的挑戰(zhàn)。
(1)全樣本
我們將使用更多的數(shù)據(jù)甚至是全部數(shù)據(jù)來進行分析,而不再采用隨機樣本。從可能性角度,當前的技術(shù)能力已經(jīng)可以支撐海量數(shù)據(jù)的處理;從必要性角度,有時候數(shù)據(jù)分析的目的就是要發(fā)現(xiàn)大量正常數(shù)據(jù)中的少數(shù)異常情況,例如跨境匯款中的異常交易,這無法通過采樣分析獲得。
(2)概率化
我們將不再沉迷于精確性,而是允許劣質(zhì)數(shù)據(jù)混雜其中。大數(shù)據(jù)時代不可能實現(xiàn)精確,反之用概率來表示事物發(fā)展的大方向,混雜性變成了一種標準途徑。
(3)相關(guān)性
我們將更關(guān)心相關(guān)關(guān)系,因果關(guān)系被放到次要的位置。在很多場景下,“是什么”比“為什么”對決策的幫助更大,可以在快速變化的環(huán)境中幫助你先發(fā)一步。甚至,在一些不知道“為什么”的場景下,知道“是什么”反而有助于人們?nèi)〉冒l(fā)現(xiàn)“為什么”的突破。
基于這種思維發(fā)展起來的大數(shù)據(jù)技術(shù),具有以往的各種技術(shù)不具備的準確性和實時性優(yōu)勢,當它應(yīng)用到社會各行業(yè)生產(chǎn)中時,對社會生產(chǎn)效率的提升是異常顯著的。
很多人對于大數(shù)據(jù)應(yīng)用的認識,都始于Google對于流行性疾病的成功預(yù)測。Google利用當前人們喜歡上網(wǎng)搜索解決方案(如搜索流感癥狀或者治療藥物)的習慣,找出了對應(yīng)時段內(nèi)某些特定字段的搜索頻率與美國疾控中心歷史記錄中某些流行性疾病在空間和時間上的相關(guān)性,并據(jù)此而建立了一個數(shù)學模型。利用這個數(shù)學模型,Google成功預(yù)測了2009年H1N1流感的發(fā)展過程。
而這個成功應(yīng)用帶來的振奮遠不止如此。首先,作為一家互聯(lián)網(wǎng)公司,Google在與其毫無關(guān)聯(lián)的醫(yī)學專業(yè)領(lǐng)域獲得了成功;更重要的是,它的預(yù)測在準確性特別是實時性方面,遠遠超過專業(yè)的美國疾控中心。
于是,更多的人在更多的行業(yè)開始了大數(shù)據(jù)應(yīng)用嘗試。
在零售業(yè):梅西百貨(Macys)已經(jīng)實現(xiàn)對多達7300萬種貨品進行實時調(diào)價,以實現(xiàn)銷量和利潤的雙重最大化;塔吉特(Target)公司通過對用戶歷史消費記錄的大數(shù)據(jù)分析,實現(xiàn)對用戶下一階段消費行為的預(yù)測,從而實現(xiàn)精準投放。
在博彩業(yè):Tipp24 AG公司用KXEN軟件來分析數(shù)十億計的交易以及客戶的特性,然后通過預(yù)測模型對特定用戶進行動態(tài)的營銷活動。這項舉措減少了90%的預(yù)測模型構(gòu)建時間。
在通信業(yè):中興通訊創(chuàng)新性地提出了基于大數(shù)據(jù)技術(shù)的電信系統(tǒng)反饋環(huán)理念,讓電信網(wǎng)絡(luò)作為一個整體獲得實時的系統(tǒng)反饋,從而使網(wǎng)絡(luò)性能更加穩(wěn)定,網(wǎng)絡(luò)運維更加高效;而全球120家運營商中,已經(jīng)有48%的企業(yè)正在實施大數(shù)據(jù)戰(zhàn)略,通過提高數(shù)據(jù)分析能力,他們正試圖打造著全新的商業(yè)生態(tài)圈,實現(xiàn)從電信網(wǎng)絡(luò)運營商(Telecom)到信息運營商(Infocom)的華麗轉(zhuǎn)身。
在金融業(yè):阿里通過對用戶消費習慣的大數(shù)據(jù)分析,已經(jīng)可以將余額寶第二天的贖回規(guī)模的預(yù)測準確率保持在97%以上,連“雙十一”等大促銷造成的大規(guī)模資金流動也不例外;中信銀行與中興通訊大數(shù)據(jù)平臺強強聯(lián)合,打造一個全新的“數(shù)據(jù)銀行”,利用金融大數(shù)據(jù)更科學地實現(xiàn)加強風險管控、精細化管理、業(yè)務(wù)創(chuàng)新等業(yè)務(wù)轉(zhuǎn)型。
在公共管理行業(yè):中興通訊為2014南京青奧會打造的“環(huán)寧護城河”項目,將各種警務(wù)數(shù)據(jù)在大數(shù)據(jù)平臺上集中處理,從時間和空間兩個維度進行實時統(tǒng)計和展現(xiàn),為青奧安保工作部署提供科學的決策依據(jù)。
越來越多的實踐證明,大數(shù)據(jù)運用可以為各個行業(yè)帶來巨大的收益。
麥肯錫在它的報告中,根據(jù)各行業(yè)利用大數(shù)據(jù)技術(shù)獲取利益的潛力,將各個行業(yè)分為5個組別。
(1)計算機和電子產(chǎn)品及信息行業(yè)必然能夠從大數(shù)據(jù)中獲取巨大利益,該行業(yè)本身就有巨大的信息池且具有快速創(chuàng)新的特點,與大數(shù)據(jù)天然吻合。
(2)社會公共管理及金融業(yè)則需要通過細分和自動化算法來克服技術(shù)障礙,從而大為受益。
(3)建筑、教育服務(wù)、藝術(shù)和娛樂等行業(yè)則面臨著獲取海量數(shù)據(jù)價值的系統(tǒng)障礙。當然,如果這些障礙是可以克服的,則也可以從大數(shù)據(jù)中獲益。
(4)制造業(yè)、批發(fā)貿(mào)易等行業(yè)全球交易程度高,如果能夠克服數(shù)據(jù)和技術(shù)上的障礙,則從行業(yè)普遍意義上講獲益巨大,但面臨的困難同樣不小。
(5)零售、醫(yī)療、住宿和食物等本地服務(wù)行業(yè)全球交易程度低,則從行業(yè)普遍意義上講,從大數(shù)據(jù)中獲取價值的潛力相對較小。
- Redis使用手冊
- 在你身邊為你設(shè)計Ⅲ:騰訊服務(wù)設(shè)計思維與實戰(zhàn)
- 計算機信息技術(shù)基礎(chǔ)實驗與習題
- 數(shù)據(jù)庫應(yīng)用基礎(chǔ)教程(Visual FoxPro 9.0)
- 數(shù)據(jù)革命:大數(shù)據(jù)價值實現(xiàn)方法、技術(shù)與案例
- INSTANT Android Fragmentation Management How-to
- 二進制分析實戰(zhàn)
- 從實踐中學習sqlmap數(shù)據(jù)庫注入測試
- Access數(shù)據(jù)庫開發(fā)從入門到精通
- 數(shù)據(jù)挖掘競賽實戰(zhàn):方法與案例
- 一類智能優(yōu)化算法的改進及應(yīng)用研究
- 一本書讀懂區(qū)塊鏈(第2版)
- 大數(shù)據(jù)用戶行為畫像分析實操指南
- 商業(yè)銀行數(shù)據(jù)庫管理實踐
- Python數(shù)據(jù)可視化之matplotlib精進