中國科學院院士梅宏談大數據發展現狀與趨勢

在全球范圍內，研究發展大數據技術，運用大數據推動經濟發展、完善社會治理、提升政府服務和監管能力正成為趨勢。下面將從應用、治理和技術3個方面對當前大數據的現狀與趨勢進行梳理。

? 一是已有眾多成功的大數據應用，但就其效果和深度而言，當前大數據應用尚處于初級階段，根據大數據分析預測未來、指導實踐的深層次應用將成為發展重點

按照數據開發應用深入程度的不同，可將眾多的大數據應用分為3個層次。第一個層次，描述性分析應用，是指從大數據中總結、抽取相關的信息和知識，幫助人們分析發生了什么，并呈現事物的發展歷程。第二個層次，預測性分析應用，是指從大數據中分析事物之間的關聯關系和發展模式等，并據此對事物發展的趨勢進行預測。第三個層次，指導性分析應用，是指在前兩個層次的基礎上，分析不同決策將導致的后果，并對決策進行指導和優化。

當前，在大數據應用的實踐中，描述性分析應用和預測性分析應用多，指導性分析應用等更深層次的分析應用偏少。一般而言，人們做出決策的流程包括認知現狀、預測未來和選擇策略3個基本步驟。這些步驟對應了上述大數據分析應用的3個不同類型。不同類型的應用意味著人類和計算機在決策流程中不同的分工和協作。例如，第一個層次的描述性分析應用中，計算機僅負責將與現狀相關的信息和知識展現給人類專家，而對未來態勢的判斷及對最優策略的選擇，仍然由人類專家完成。應用層次越深，計算機承擔的任務越多、越復雜，效率提升和價值也越大。

然而，隨著研究應用的不斷深入，人們逐漸意識到前期在大數據分析應用中大放異彩的深度神經網絡尚存在基礎理論不完善、模型不具可解釋性及魯棒性較差等問題。因此，雖然應用層次最深的指導性分析應用，當前已在人機博弈等非關鍵性領域取得了較好的應用效果，但在自動駕駛、政府決策、軍事指揮和醫療健康等方面應用價值更高，且在與人類生命、財產、發展和安全緊密關聯的領域真正獲得有效應用，仍面臨一系列有待解決的重大基礎理論和核心技術挑戰。在此之前，人們還不敢也不能放手將更多的任務交由計算機大數據分析系統來完成。這也意味著，雖然已有很多成功的大數據應用案例，但還遠未達到我們的預期，大數據應用仍處于初級階段。未來，隨著應用領域的拓展、技術的提升、數據共享開放機制的完善，以及產業生態的成熟，具有更大潛在價值的預測性和指導性應用將是發展的重點。

? 二是大數據治理體系遠未形成，特別是隱私保護、數據安全與數據共享利用效率之間尚存在明顯矛盾，成為制約大數據發展的重要短板，各界已經意識到構建大數據治理體系的重要意義，相關的研究與實踐將持續加強

隨著大數據作為戰略資源的地位日益凸顯，人們越來越強烈地意識到制約大數據發展最大的短板之一，就是數據治理體系遠未形成。例如，數據資產地位的確立尚未達成共識，數據的確權、流通和管控面臨多重挑戰；數據壁壘廣泛存在，阻礙了數據的共享和開放；法律法規發展滯后，導致大數據應用存在安全與隱私風險……如此種種因素，制約了數據資源中所蘊含價值的挖掘與轉化。

其中，隱私、安全與共享利用之間的矛盾問題尤為凸顯。一方面，數據共享開放的需求十分迫切。近年來人工智能應用取得的重要進展，主要源于對海量、高質量數據資源的分析和挖掘。而對于單一組織機構而言，靠自身的積累往往難以聚集足夠的高質量數據。另外，大數據應用的威力在很多情況下源于對多源數據的綜合融合和深度分析，從而獲得從不同角度觀察和認知事物的全方位視圖。而單個系統、組織的數據往往僅包含事物某個片面或局部的信息，因此只有通過共享開放和數據跨域流通才能建立信息完整的數據集。

然而，數據的無序流通與共享又可能導致隱私保護和數據安全方面的重大風險，必須對其加以規范和限制。例如，鑒于互聯網公司頻發的、由于對個人數據的不正當使用而導致的隱私安全問題，歐盟制定了“史上最嚴格的”數據安全管理法規《通用數據保護條例》（General Data Protection Regulation，GDPR；以下簡稱《條例》），并于2018年5月25日正式生效。《條例》生效后，Facebook和谷歌等互聯網企業即被指控強迫用戶同意共享個人數據而面臨巨額罰款，并被推上輿論的風口浪尖。2020年1月1日，被稱為美國“最嚴厲、最全面的個人隱私保護法案”——《加利福尼亞州消費者隱私法案》（CCPA）正式生效。CCPA規定了新的消費者權利，旨在加強消費者隱私權和數據安全保護，涉及企業收集的個人信息的訪問、刪除和共享。企業負有保護個人信息的責任，消費者控制并擁有其個人信息，這是美國目前最具典型意義的州級隱私立法，提高了美國保護隱私的標準。在這種情況下，過去利用互聯網平臺中心化搜集用戶數據，實現平臺化的精準營銷這一典型互聯網商業模式將面臨重大挑戰。

我國在個人信息保護方面也開展了較長時間的工作，針對互聯網環境下的個人信息保護，制定了《全國人民代表大會常務委員會關于加強網絡信息保護的決定》《電信和互聯網用戶個人信息保護規定》《全國人民代表大會常務委員會關于維護互聯網安全的決定》和《消費者權益保護法》等相關法律文件。特別是2016年11月7日，全國人民代表大會常務委員通過的《中華人民共和國網絡安全法》，明確了對個人信息收集、使用及保護的要求，并規定了個人對其個人信息進行更正或刪除的權利。2019年，國家互聯網信息辦公室發布了《數據安全管理辦法（征求意見稿）》，向社會公開征求意見，明確了個人信息和重要數據的收集、處理、使用和安全監督管理的相關標準和規范。相信這些法律法規將在促進數據的合規使用、保障個人隱私和數據安全等方面發揮不可或缺的重要作用。然而，從體系化、確保一致性、避免碎片化方面考慮，制定專門的數據安全法、個人信息保護法是必要的。

另外，我們也應看到，這些法律法規將在客觀上不可避免地增加數據流通的成本、降低數據綜合利用的效率。如何兼顧發展和安全，平衡效率和風險，在保障安全的前提下不因噎廢食，不對大數據價值的挖掘利用造成過分的負面影響，是當前全世界在數據治理中面臨的共同課題。

近年來，圍繞大數據治理這一主題及其相關問題，國際上已有不少成功的實踐和研究探索工作，如在國家層面推出的促進數據共享開放、保障數據安全和保護公民隱私的相關政策和法規，針對企業機構的數據管理能力評估和改善，面向數據質量保證的方法與技術，促進數據互操作的技術規范和標準等。當前，各界已經普遍認識到了大數據治理的重要意義，大數據治理體系建設已經成為大數據發展的重點，但仍處在發展的雛形階段，推進大數據治理體系建設將是未來較長一段時間內需要持續努力的方向。

? 三是數據規模高速增長，現有技術體系難以滿足大數據應用的需求，大數據理論與技術遠未成熟，未來信息技術體系需要顛覆式創新和變革

近年來，數據規模成幾何級數高速增長。國際數據公司（IDC）預測，2020年全球數據存儲量將達到44ZB，到2030年將達到2500ZB。當前，需要處理的數據量已經大大超過處理能力的上限，從而導致大量數據因無法或來不及處理而處于未被利用、價值不明的狀態，這些數據被稱為“暗數據”。國際商業機器公司（IBM）的研究報告估計，大多數企業僅對其所有數據的1%進行了分析應用。

近年來，大數據獲取、存儲、管理、處理和分析等相關技術已有顯著進展，但大數據技術體系尚不完善，大數據基礎理論的研究仍處于萌芽期。首先，大數據定義雖已達成初步共識，但許多本質問題仍存在爭議，如數據驅動與規則驅動的對立統一、“關聯”與“因果”的辯證關系、“全數據”的時空相對性、分析模型的可解釋性與魯棒性等；其次，針對特定數據集和特定問題域已有不少專用解決方案，是否有可能形成“通用”或“領域通用”的統一技術體系，仍有待未來的技術發展給出答案；最后，應用超前于理論和技術發展，數據分析的結論往往缺乏堅實的理論基礎，對這些結論的使用仍需要保持謹慎態度。

推演信息技術的未來發展趨勢，在較長時期內仍保持漸進式發展態勢，技術發展帶來的數據處理能力的提升將遠遠落后于按指數增長模式快速遞增的數據體量，數據處理能力與數據資源規模之間的“剪刀差”將隨時間持續擴大，大數據現象將長期存在。在此背景下，大數據現象倒逼技術變革，將使得信息技術體系進行一次重構，這也帶來了顛覆式發展的機遇。例如，計算機體系結構以數據為中心的宏觀走向和存算一體的微觀走向，軟件定義方法論的廣泛采用，云、邊、端融合的新型計算模式等；網絡通信向寬帶、移動和泛在發展，海量數據的快速傳輸和匯聚帶來的網絡Pbps級帶寬需求，千億級設備聯網帶來的Gbps級高密度泛在移動接入需求；大數據的時空復雜度亟須在表示、組織、處理和分析等方面的基礎性、原理性突破，高性能、高時效和高吞吐等極端化需求呼喚基礎器件的創新和變革；軟硬件開源開放趨勢導致產業發展生態的重構；等等。