第1篇　大數(shù)據(jù)基本定義

第1章　可視分析基礎(chǔ)與框架

1.1　可視化簡介

人眼作為高帶寬的感覺處理器，擁有極強(qiáng)的模式識別和信號處理能力。人類對視覺符號的感知速度比數(shù)字和文本高多個數(shù)量級。可視化（visualization）利用人類視覺感知能力，對數(shù)據(jù)進(jìn)行交互式表達(dá)，以增強(qiáng)對數(shù)據(jù)的認(rèn)知。可視化的應(yīng)用目的并非僅僅是繪制可視化結(jié)果本身，而是使用可視化結(jié)果讓人洞悉某個物體或事物的規(guī)律，包含發(fā)現(xiàn)、決策、解釋、分析、探索和學(xué)習(xí)等。因此可視化可以當(dāng)作一種工具，來提高人們完成某些任務(wù)的效率。

可視化的作用可以體現(xiàn)在多個方面，包括信息記錄、支持信息的推理和分析，以及信息傳播與協(xié)同。

①信息記錄：是可視化最初也是最重要的作用，可視化結(jié)果通常可直接作為圖像結(jié)果保存下來。

②信息的推理和分析：在可視化結(jié)果中，信息以視覺方式呈現(xiàn)給用戶。這種直觀的信息感知機(jī)制直接擴(kuò)充了人腦的記憶，極大降低了數(shù)據(jù)理解和分析的復(fù)雜度。在包含多源異構(gòu)的上下文信息時，可視化也可以通過清晰展示證據(jù)的方式，幫助用戶進(jìn)行數(shù)據(jù)關(guān)聯(lián)、理解和推理。

③信息傳播與協(xié)同：俗語說“百聞不如一見”“一圖勝千言”。除了真實的視頻和照片之外，目前可視化作為一種傳達(dá)數(shù)據(jù)中內(nèi)涵的復(fù)雜信息的方式，廣泛存在于各種面向大眾的媒體中，例如基本統(tǒng)計圖表、信息圖或是交互式可視化系統(tǒng)。在達(dá)到信息共享的同時，可視化也支持不同用戶間的信息共享、共同論證、協(xié)作處理和修正等功能。最著名的例子有Fold.It在線網(wǎng)絡(luò)游戲等。

從歷史發(fā)展角度看，可視化大致經(jīng)歷了以下幾個大階段。

①17世紀(jì)之前：人類使用繪畫和手工制品等形式制作可視化作品，代表方式有幾何圖表和地圖等。

②17世紀(jì)：隨著物理理論和測量設(shè)備的發(fā)展，制圖學(xué)理論也隨之發(fā)展壯大，基于真實測量數(shù)據(jù)的可視化方法也開始出現(xiàn)。

③18世紀(jì)：抽象概念圖在地理、經(jīng)濟(jì)、醫(yī)學(xué)等領(lǐng)域的發(fā)明和應(yīng)用，使得當(dāng)時的圖表設(shè)計開始逐漸向現(xiàn)代的可視化形式靠近。18世紀(jì)是統(tǒng)計圖形學(xué)的繁榮時期，包括折線圖、柱狀圖、餅圖等在內(nèi)的基礎(chǔ)圖表均發(fā)明在這一時期。

④19世紀(jì)：隨著基礎(chǔ)圖表在內(nèi)的可視化工具的發(fā)明和完善，統(tǒng)計數(shù)據(jù)可視化工具逐漸成為數(shù)據(jù)表達(dá)的基礎(chǔ)方式之一。同時，在社會學(xué)、地理學(xué)、醫(yī)學(xué)等學(xué)科的統(tǒng)計數(shù)據(jù)逐漸增多，統(tǒng)計圖表開始大量應(yīng)用于各學(xué)科的日常工作之中。

⑤20世紀(jì)：20世紀(jì)前50年是可視化領(lǐng)域創(chuàng)新發(fā)展的低潮期，但統(tǒng)計圖形除了在專業(yè)學(xué)科內(nèi)得到應(yīng)用外，在政府、商業(yè)等日常生活領(lǐng)域也開始得到普及。人們開始意識到統(tǒng)計圖表能夠為學(xué)科發(fā)展、工程實踐和日常事務(wù)領(lǐng)域帶來發(fā)現(xiàn)新知識、洞悉數(shù)據(jù)內(nèi)涵的機(jī)會。自20世紀(jì)60年代開始，Jacques Bertin等現(xiàn)代統(tǒng)計圖形和可視化領(lǐng)域的奠基人進(jìn)行了創(chuàng)造性的工作，加上計算機(jī)的出現(xiàn)，開啟了可視化迅猛發(fā)展的時代，如70年代的多維數(shù)據(jù)可視化方法、John Tukey提出的探索式數(shù)據(jù)分析基本框架等。自80年代開始，隨著個人計算機(jī)和圖形交互界面的發(fā)展，交互式可視化開始成為可視化方向的主流。1987年美國首次召開了科學(xué)可視化方面的專業(yè)會議，會議報告正式命名并定義了“科學(xué)可視化”這一術(shù)語，認(rèn)為可視化有助于統(tǒng)一計算機(jī)圖形學(xué)、圖像處理、計算機(jī)視覺、計算機(jī)輔助設(shè)計、信號處理和人機(jī)界面中的相關(guān)問題。除科學(xué)可視化外，自90年代開始的信息可視化也逐漸獨立成為與科學(xué)可視化并列的研究學(xué)科。

信息可視化主要面向抽象、結(jié)構(gòu)或非結(jié)構(gòu)化的數(shù)據(jù)集合，如表格數(shù)據(jù)、文本、層次結(jié)構(gòu)數(shù)據(jù)、圖結(jié)構(gòu)數(shù)據(jù)、多媒體數(shù)據(jù)（圖像、視頻）等。現(xiàn)代信息可視化方法發(fā)展自統(tǒng)計圖表，同時與圖形學(xué)、視覺設(shè)計等學(xué)科相關(guān)，表現(xiàn)形式主要為二維平面展示。信息可視化的核心資源限制因素包括三方面：計算機(jī)的數(shù)據(jù)處理能力、顯示區(qū)域和人類的認(rèn)知能力。由于在不同場景下這三種資源的分配均有不同，因此信息可視化的核心挑戰(zhàn)可描述為：如何在給定的數(shù)據(jù)處理能力、顯示區(qū)域和認(rèn)知資源下，設(shè)計出能夠支持某種分析任務(wù)的最優(yōu)的可視化和交互方案。為了解決這一挑戰(zhàn)性問題，近幾十年來很多學(xué)者致力于提出信息可視化的設(shè)計基本框架，其中最具代表性的有流水線模型和Tamara Munzner提出的“What-Why-How”分析框架。