- 大數據及其可視化
- 周蘇 王文
- 428字
- 2019-10-23 15:52:19
1.2 思維變革之一:樣本=總體
大數據時代的第一個轉變,是要分析與某事物相關的更多的數據,有時甚至可以處理和某個特別現象相關的所有數據,而不再是只依賴于分析隨機采樣的少量的數據樣本。
19世紀以來,當面臨大量數據時,社會都依賴于采樣分析。但是采樣分析是信息缺乏時代和信息流通受限制的模擬數據時代的產物。以前人們通常把這看成是理所當然的限制,但高性能數字技術的流行讓人們意識到,這其實是一種人為的限制。與局限在小數據范圍相比,使用一切數據為人們帶來了更高的精確性,也讓人們看到了一些以前樣本無法揭示的細節信息。
在某些方面,人們依然沒有完全意識到自己擁有了能夠搜集和處理更大規模數據的能力,仍在信息匱乏的假設下做很多事情,假定自己只能搜集到少量信息。這是一個自我實現的過程,人們甚至發展了一些使用盡可能少的信息的技術。例如,統計學的一個目的就是用盡可能少的數據來證實盡可能重大的發現。事實上,人們形成了一種習慣,那就是在制度、處理過程和激勵機制中盡可能地減少數據的使用。