- 數據可視化:從小白到數據工程師的成長之路
- 劉英華
- 1470字
- 2020-07-24 10:01:20
2.3 主動公開的數據
隨著網絡和數據庫技術的飛速發展,公開的數據變得簡潔而方便,價格越來越低,甚至免費。主動公開意味著數據已經發布于網絡上,只要不侵犯國家安全、用戶隱私和商業機密,任何團體和個人都可以查看數據,在知識共享許可協議下對數據進行利用和再利用,讓開放的數據產生更大的社會價值、經濟價值和公共價值。
2.3.1 我國政府數據
2015年9月5日,國務院發布了《促進大數據發展行動綱要》,首次在國家層面推出了“公共數據資源開放”的概念,將政府數據開放列為了中國大數據發展的十大關鍵工程。《促進大數據發展行動綱要》明確,“2018年底前建成國家政府數據統一開放平臺,率先在信用、交通、醫療、衛生、就業、社保、地理、文化、教育、科技、資源、農業、環境、安監、金融、質量、統計、氣象、海洋、企業登記監管等重要領域實現公共數據資源合理適度向社會開放。到2020年,培育10家國際領先的大數據核心龍頭企業,500家大數據應用、服務和產品制造企業。”
依據條例規定,我國政府部門應當主動向社會公開政府數據,任何公民、法人或者其他組織均可以任意查詢和使用數據,不受限制。在2015年以前,我國一些地方政府就已經開放了政府數據,如廣州市政府數據統一開放平臺[20]、北京市政務數據資源網[21]、上海市政務數據服務網[22]等。
隨后,北上廣等城市開始印發通知,加大開發數據的力度并制定目標。2016年8月3日,北京市人民政府印發了《北京市大數據和云計算發展行動計劃(2016—2020年)》的通知,提出“到2020年北京市要實現公共數據開放單位超過90%,數據開放率超過60%。”2016年9月15日,上海市人民政府印發了《上海市大數據發展實施意見》,確立了上海大數據發展目標是“到2020年,政府數據服務網站開放數據集超過3000項、建成3家大數據產業基地、培育和引進50家大數據重點企業、大數據核心產業產值達到千億級別。”2017年1月7日,廣州市人民政府發布了《廣州市人民政府辦公廳關于促進大數據發展的實施意見》,明確提出“促進數據資源共享開放流通,釋放重要生產力,加快政府數據匯聚共享,釋放政府數據紅利,鼓勵社會數據共享共用,促進商業數據交易流通。”我國部分政府開放數據資源見表2.3。
表2.3 我國部分政府開放數據資源

隨著國家和政府對數據開放的重視,開放數據的應用開始逐漸增多。2015年,在中國工業設計研究院、開放數據中國、上海交通大學、復旦大學、美蒽朗公司等機構的合作下,與上海市政府協作,以政府—社群共建的模式推出了上海開放數據應用創新大賽(SODA)。
雖然我國對政府數據開放工作非常重視,但因為數據的搜集、整理、核實和發布等需要大量的工作,所以我國全面的、各級政府數據開放還需要一定的時間。政府開放數據的維護也是一項日常工作,需要專門的技術人才完成。
雖然我國的政府數據開放工作還在進行中,但我國的專項數據發展得較早,可以通過這類網站獲取相應的數據。例如,我國天氣類數據可以通過國家氣象數據中心[23]、中國氣象局公共氣象服務中心[24]、中國環境監測總站[25]等,以及各省、市、自治區氣象部門的網站獲取。
2.3.2 國際組織數據
國際組織主要涉及國家層面的數據。常見的國際組織包括聯合國及其下設機構、世界經貿組織、世界銀行或者比較專業、有針對性的國際組織等,見表2.4。
表2.4 常見國際組織數據資源

2.3.3 科研機構及第三方數據公司
隨著數據再利用方法的多樣化及效率的提高,科研機構及第三方公司也在搜集和開放數據。很多科研機構和大學建立了數據平臺,如百度數據開放平臺(是百度公司基于百度網頁搜索的開放平臺)。數據堂公司提供語音、圖像、文本、交通等多種數據,且可以根據用戶需求提供定制化收費數據服務。
表2.5 常見科研機構及第三方數據資源

- Python絕技:運用Python成為頂級數據工程師
- 大數據:規劃、實施、運維
- iOS and OS X Network Programming Cookbook
- 深入淺出MySQL:數據庫開發、優化與管理維護(第2版)
- Scratch 3.0 藝術進階
- 數據庫技術及應用教程
- 大數據技術入門
- 深入淺出 Hyperscan:高性能正則表達式算法原理與設計
- 重復數據刪除技術:面向大數據管理的縮減技術
- Chef Essentials
- 區域云計算和大數據產業發展:浙江樣板
- R Object-oriented Programming
- 改變未來的九大算法
- 數據挖掘與數據化運營實戰:思路、方法、技巧與應用
- 推薦系統全鏈路設計:原理解讀與業務實踐