- 交通大數據人才隊伍建設研究:以貴州為例
- “貴州交通大數據人才隊伍建設研究”課題組
- 7733字
- 2021-06-03 10:40:05
第一節 貴州交通大數據人才素質建設
貴州交通大數據人才素質建設包括人才知識建設、技能建設、能力建設、經驗建設、思想建設、品格建設六個方面(1)(2),如圖2-1所示。

圖2-1 貴州交通大數據人才素質建設內容
一、貴州交通大數據人才知識建設
貴州交通大數據人才是服務于交通運輸行業的專門性人才,是能夠用大數據知識解決行業痛點的創新型人才。貴州交通大數據人才應具備多樣、全面和豐富的知識內容,具體包括貴州交通運輸行業知識、信息科學技術知識、互聯網知識、大數據專業知識、數據科學知識等。
貴州交通運輸行業知識主要包括四個方面,分別是交通行業基礎知識、交通業務知識、貴州省情以及貴州交通歷史、現狀及趨勢。交通運輸方式包含了公路、鐵路、水路、航空、管道五個方面。貴州交通大數據人才需要了解貴州省這五個方面的基礎設施建設情況、運輸裝備情況、服務能力情況和運輸服務完成情況。交通業務知識則指在具體某一交通運輸領域內的日常工作范圍、業務和職責等內容。掌握貴州省情相關知識,如地理位置、地貌特征、經濟發展情況、氣候環境、旅游資源等,才能進一步掌握交通運輸業現實發展及未來趨勢的基礎。了解貴州交通運輸業歷史發展過程,掌握現在發展狀況,把握未來發展趨勢,才能夠更好地助力貴州交通行業的發展。
信息科學技術知識主要包括計算機操作知識、計算機軟硬件知識、數據庫知識、數據結構與算法、編程語言、信息管理知識、信息系統開發知識等。計算機操作知識具體指MS Office辦公軟件的操作,計算機日常維護,計算機常見故障檢測、診斷與維修,計算機病毒防治等。計算機硬件知識主要掌握內部設備和外部設備的構成、運行原理和故障檢測維修。計算機軟件知識包括系統軟件和應用軟件兩大類,主要掌握操作系統和應用軟件的安裝、維護、使用和管理。數據庫知識需要掌握關于數據存儲的方式和類型,以及數據庫的類型及各種特點、數據庫間的區別和聯系等,至少掌握Microsoft Access數據庫、Microsoft SQL數據庫、MySQL數據庫、Oracle數據庫、DB2等關系型數據庫和NoSQL、Cloudant等非關系型數據庫中的一種或幾種。數據結構與算法知識是一個程序員應該具備的基本能力,也是編程思想的核心。作為大數據人才則需要掌握數組、棧、隊列、鏈表、樹、散列等數據結構的邏輯結構和實現過程,還要掌握數據結構的算法、圖論算法、排序算法、檢索算法、加密算法等各類算法。編程語言是各種命令和程序實現的工具,是人與計算機進行交流的形式語言。編程語言有很多種,如Python、JAVA、C語言、C++、C#、JavaScript、Ruby、PHP以及Objective-C等。交通大數據人才需要掌握信息管理的基本理論和知識,掌握文獻檢索、資料查詢和收集的基本方法;需要掌握信息的收集、加工、傳播、儲存和應用技術,掌握信息組織、分析研究、傳播與開發利用的知識。交通大數據人才不僅要具備結構化生命周期法、面向對象法、原型法、軟系統方法等信息系統開發的相關理論知識,還要有一定的系統開發實踐經驗,能獨自完成一個系統的完整開發。
交通大數據人才應具備的互聯網知識包括計算機網絡知識、組網和網絡管理知識等。計算機網絡是個龐大而復雜的系統,對計算機網絡而言,傳輸設備、傳輸介質、通信線路、網絡操作系統、網絡管理軟件及網絡通信協議是不可或缺的組成部分。大數據人才應掌握網絡分類標準及類型、網絡的體系機構(計算機網絡的各層及協議集合)、認證協議。組網和網絡管理則是計算機網絡的實用技術體現,大數據人才需要掌握各類組網技術的使用條件及故障檢測維修,注意組網的環境條件要求、網絡結構要求、布線要求以及故障維修等。
大數據專業知識是每一位大數據人才應該掌握的特有知識儲備,也是區分大數據人才和傳統信息技術人才的依據。交通大數據人才應該掌握的大數據專業知識有云計算、互聯網搜索及爬蟲、大數據離線計算、大數據實時計算、大數據內存計算、機器學習和大數據安全知識。云計算是支撐大數據發展的核心,有關云計算的知識自然是大數據人才應該掌握的基礎知識。交通大數據人才應該明確具備以下技能知識:編程模式、海量數據分布存儲技術、海量數據管理技術、虛擬化技術、云計算平臺管理技術。互聯網搜索及爬蟲是進行數據采集的主要方式,交通大數據人才需要具備能夠利用技術手段獲取互聯網數據的能力,故應該掌握單機爬蟲開發、爬蟲高級開發、分布式爬蟲、搜索系統技術、搜索系統框架、分布式搜索系統等知識。大數據離線計算針對的是已經存在的歷史數據,是在計算前就已知所有輸入數據,輸入數據不會產生變化,且在解決一個問題后就要立即得出結果的前提下進行的計算。大數據人才需要掌握離線數據收集、數據存儲、數據計算、任務調度、數據導入導出、數據報表開發技術,掌握數據倉庫管理、元數據管理、數據稽查等常見處理技術,掌握Hadoop高可用配置管理,掌握MapReduce、Hive、Spark計算模型。隨著海量數據的增長、大數據業務場景的復雜化,離線式的批量處理技術不能滿足需求,大數據實時計算隨之產生。大數據人才需掌握的實時計算知識包括實時數據收集、數據存儲、數據計算、任務調度、數據導入導出、數據報表開發技術以及三種分布式實時計算系統Apache Storm、Spark Streaming、Apache Flink的其中一種或多種。大數據內存計算知識包括Sca語言、Spark基礎、Spark RDD、Spark SQL、Spark Streaming開發技術。大數據人才需掌握互聯網電商用戶畫像建模、開發、可視化(業務知識、技術開發、架構),掌握數據存儲方法,掌握主要包括Spark、Storm、Pregel、GraphLab、SAP HANA等的大數據分析和內存計算技術。大數據人才需掌握機器學習基礎概念、機器學習決策樹模型、機器學習KNN(K-Nearest Neighbor鄰近算法)模型、機器學習SVM(支持向量機)算法、機器學習感知機與BP神經網絡流程。大數據人才需掌握數據生命周期各階段的關鍵技術,去保護大數據安全和隱私,如數據清洗、數據匿名化、支持隱私保護的數據檢索和分析、元數據管理、數據血緣管理、身份認證、數據隔離、數據加密存儲、大數據平臺邊界保護和審計、訪問控制、數據加密和審計。
數據科學是用科學的方法研究數據的一門學科,是隨著處理大數據這一特殊數據類型而興起的新興學科。數據科學包括數據的收集、清洗、分析、可視化以及數據應用的整個迭代過程,最終幫助組織制定正確的發展決策。交通大數據人才應具備的數據科學知識包括統計學知識、數據認知、數據處理、數據分析、數據可視化、數據管理等。大數據人才需要掌握統計學相關的方法,如T檢驗、F檢驗、卡方檢驗、回歸分析、聚類分析、因子分析等,還需應用SAS、SPSS、Stata等統計分析軟件。大數據預處理可以對采集到的原始數據進行清洗、填補、平滑、合并、規格化以及檢查一致性等,將那些雜亂無章的數據轉化為相對單一且便于處理的構型,為后期的數據分析奠定基礎。數據預處理主要包括數據清理、數據集成、數據轉換以及數據規約四大部分。數據挖掘分析則包括可視化分析、數據挖掘算法、預測性分析、語義引擎、數據質量和數據管理等。
二、貴州交通大數據人才能力建設
交通大數據人才能力是指大數據人才完成業務活動所需具備的內在要素的總和。交通大數據人才能力不同于一般人才能力,主要體現在需要具備的能力均與大數據業務相關,其各項能力是構成個人素質的重要內容。貴州交通大數據人才應具備的能力包括交通大數據觀察能力、想象能力、思維能力、洞察能力、分析能力、判斷能力、創造能力、學習能力、實踐能力、特殊能力。
交通大數據觀察能力是指大數據人才對行業大數據的敏感性、感知性和辨別性,即個人對大數據持有一定的敏感性,能夠利用工作經驗感知交通運輸行業哪些領域或業務范疇會產生大數據,能夠觀察、辨別出數據間的基礎聯系,判斷數據的價值大小和利用率。
交通大數據想象能力是大數據人才對交通大數據業務、現象和本質進行聯想、想象,以達到全面、透徹、根本解決交通大數據問題的能力。交通大數據人才需要利用行業大數據結合現實業務開展的需求,合理、有效地改善和解決當下業務難點,例如,實現交通云平臺的完善和發展,并創新性和前瞻性地利用行業大數據想象、開發、實現新的業務需求,全面解決交通大數據問題,如完成智慧交通、智慧城市的建設。
交通大數據思維能力是指大數據人才要以數據的眼光來觀察、思考、解釋、處理行業業務問題的一種復雜性思維模式,大數據思維涉及人們看待事物的角度、方式和方法,并會對人們的行為方式產生直接影響。交通大數據人才需要培養具有整體性、多樣性、平等性、開放性、相關性和動態性的大數據思維。
交通大數據洞察能力是指大數據人才通過對日常業務中產生的交通大數據進行觀察、分析、理解,認識到隱藏在數據背后的數據間關系、本質和價值,以達到透過現象看本質的能力。交通大數據洞察能力要求大數據人才對大數據具有良好的認知性、敏感性、觀察性和想象性,要能客觀、深刻、全面地發現數據規律和發展趨勢。
交通大數據分析能力是指大數據人才對洞察到的有價值的業務數據進行深度、科學的分析與挖掘,以達到完全體現數據價值的能力。大數據分析能力需要大數據人才具備基礎的統計學知識、數據分析理論知識和良好的數據挖掘技能。
交通大數據判斷能力是指大數據人才對業務大數據有一定的判斷和識別能力,主要包括辨別數據質量是否符合業務要求和規范,辨別數據是否有價值需要進一步分析和挖掘,判斷大數據分析結果是否不客觀,存在分析錯誤。交通大數據人才要有交通行業發展對數據需求的判斷能力,不能陷入數據的陷阱,一味地沉迷于數據。
交通大數據創造能力是指大數據人才可以利用業務大數據創造經濟價值和社會價值,主要包括開發大數據新產品、提供大數據新服務,讓交通大數據產品行業化或商業化。大數據創造能力要求大數據人才具備技術革新意識和創新意識,以進一步發揮大數據創造能力的作用。
交通大數據學習能力是指大數據人才對大數據知識技能的持續學習能力、快速學習能力和自主學習能力。由于大數據是一個新興的事物,與其相關的知識、技術都在不斷發展變化中,大數據人才必須具備學習能力。持續學習能力要求大數據人才在日常工作中能夠持續不斷地學習、更新大數據知識,快速學習能力要求大數據人才在短時間內能夠掌握、應用大數據新知識,自主學習能力要求大數據人才能夠積極主動地去學習、接受大數據知識。
交通大數據實踐能力是指大數據人才利用大數據知識或技術有目的地實際解決業務需要的能力。大數據實踐能力主要強調動手操作能力,即把想法轉化為現實的能力,具體表現為能夠把業務想法、概念、構想轉變為大數據產品或服務。大數據實踐能力由情境感知能力、知識構建能力、信息交流能力、人際溝通能力、機體運動能力等構成。
交通大數據特殊能力是指處理、解決交通大數據業務問題所需要的、與其他行業領域不同的能力。大數據特殊能力要求大數據人才具備大數據思維、跨界思維、數據洞察力、數據應用能力。交通大數據是傳統的交通行業和新興大數據行業的融合,既有業務融合,也有技術融合,數據要產生和體現價值,需要根據業務需求和大數據專業技術發揮作用,因此,大數據思維和跨界思維尤為重要,是大數據人才應該具有的特殊能力。
三、貴州交通大數據人才技能建設
大數據人才不僅要具備上述理論性較強的知識,更要具備實踐性較強的相關技能,才能解決行業問題。貴州交通大數據人才應具備的技能包括計算機基礎操作技能、編程技能、數據采集技能、數據存儲技能、數據分析挖掘技能、數據可視化技能、數據共享與交換技能、數據決策技能等。
計算機基礎操作技能是指與日常辦公息息相關的計算機軟硬件操作技能,包括MS Office辦公軟件的熟練操作、計算機日常維護和網絡基礎操作。
編程技能要求大數據人才至少熟練掌握和應用Python、JavaScript、C語言、C++、Ruby等程序語言中的一種或幾種。Python語言正逐漸成為大數據時代主流的編程語言,交通大數據人才應該首先熟練掌握Python語言。Python語言是一種易于學習、功能強大的語言。Python是一個高層次結合了解釋性、編譯性、互動性和面向對象的腳本語言。由于該語言可提供高效率的高層數據結構,從而可以高效實現面向對象編程。Python語言語法簡明,結構簡單,且有相對較少的關鍵字,在使用過程中可以忽略程序語言在形式上的諸多細節和規則,便于專注程序本身的邏輯和算法,探究程序執行的過程。Python語言是完全面向對象的語言。在Python語言中,對象可以是函數、模塊,也可以是數字、字符串,或者是用戶自己定義的對象,且該語言還完全支持繼承、重載、派生和多重繼承。因此,用戶在使用時無須考慮硬件和內存等底層細節。Python語言也稱為膠水語言,它能夠與其他語言所寫的模塊完美地聯結在一起,此外,Python語言是一種開放源碼軟件,其豐富的API標準庫可以讓使用者輕松完成文檔生成、單元測試、線程、數據庫、網頁瀏覽器、GUI等各種工作。
數據采集是大數據生命周期的第一個環節,它通過RFID射頻數據、傳感器數據、社交網絡數據、移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。交通大數據人才需要掌握專門針對大數據的采集方法,主要有系統日志采集、網絡數據采集、數據庫采集及其他數據采集,具體有Scribe、Sqoop、ETL工具、Chukwa、Flume、網絡爬蟲技術等。
大數據的數據類型不再是單一的結構化數據,而是半結構化數據、非結構化數據的混合,傳統的關系型數據庫已無法滿足大數據的存儲要求。大數據人才需要掌握的數據存儲技能包括精通Oracle、MySQL、SQL server、DB2等關系型數據庫和主流的No-SQL、NewSQL數據庫、Cloudant等非關系型數據庫其中的一種或幾種,還需掌握數據集群的運行機制和體系架構,掌握分布式存儲文件系統GFS(Google File System)、AFS(Andrew File System)和Lustre平行分布式文件系統三種主流的分布式存儲文件系統。
數據分析挖掘是大數據生命周期中較為重要的一個環節,是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中提取隱含在其中的、人們事先不知道但又是潛在有用的信息和知識的過程。交通大數據人才需要具備的數據分析挖掘技能包括數據挖掘算法(向量機、期望最大化、決策樹算法、遺傳算法)、預測性分析、語義引擎、數據質量和數據管理四方面的技能,具體有SAS、SPSS、R等統計工具,以及數學建模、MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、Mahout、MLlib等。
數據可視化技術是利用計算機圖形學及圖像處理技術,將數據轉換為圖形或圖像形式顯示到屏幕上,并進行交互處理的理論、方法和技術。它涉及計算機視覺、圖像處理、計算機輔助設計、計算機圖形學等多個領域,成為一項研究數據表示、數據處理、決策分析等問題的綜合技術。目前,數據可視化分析工具主要有Excel、Tableau、SAS、IBMSAP、ORACLE、Qlik、Google Chart API可視化應用、Flot可視化應用、D3(Data Driven Documents)可視化應用、Crossfilter Processing Gephi等,其中Tableau、SAS、IBMSAP、ORACLE、Qlik是目前商業主流的數據可視化工具。交通大數據人才需要至少掌握上述工具中的一種或幾種。
大數據共享與交換需要經過數據接入、數據清洗、數據轉換、數據脫敏、數據脫密、數據資產管理、數據導出等過程。大數據共享與交換技術可以完成數據交換整合、云端數據交換、跨部門共享交換、數據資源目錄管理四類不同業務。交通大數據人才需要掌握的數據共享工具有Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service。
在大數據背景下,人們的決策方式發生了根本性變化,從“靠經驗說話”逐漸轉變為“靠數據說話”,科學決策變得越發重要。大數據將把數學算法運用到海量數據上,通過讓數據做主的方式做決策,避免了人類經驗的偏差,讓決策活動更有預見性和準確性,決策更加客觀、準確。交通大數據人才需要掌握的數據決策技術包括決策樹算法、貝葉斯方法、神經網絡、關聯分析、Mahout、Tableau、Pentaho、R語言。
四、貴州交通大數據人才經驗建設
交通大數據人才經驗是構成交通大數據人才個人素質必不可少的一個要素。交通大數據人才經驗源于日常工作業務、特殊行業經歷以及各項社會實踐。經驗也是能力的另一種表現形式,大數據人才擁有的經驗對于解決行業問題和發揮個人價值有著重要作用。交通大數據人才經驗主要包括交通運輸業從業經驗、交通項目經驗、大數據項目經驗等。
交通大數據人才是大數據人才服務于交通運輸業中的特殊人才,是利用大數據知識和技術專門解決交通運輸行業業務難點、痛點問題的人才,交通運輸業從業經驗是交通大數據人才應該具備的首要經驗。交通大數據人才需要具備一定年限的交通行業從業經歷,因為交通行業從業經歷是大數據人才了解、熟悉、掌握交通運輸業行業知識和業務知識的最直接、最有效的辦法。交通項目經驗是交通大數據人才需要具備的第二經驗,是指個人從事與交通運輸行業相關的項目工作經歷。大數據人才具備交通項目經驗能夠找到合適、恰當的大數據技術和交通運輸業業務需求的對接點,知道哪些業務需求需要采用大數據技術才能夠解決和完成,從而合理利用大數據技術解決行業痛點問題,體現交通大數據人才的價值。大數據項目經驗是交通大數據人才應該具備的第三經驗,是指個人經歷一個完整的大數據項目的經歷或收獲,具體包括大數據平臺架構經驗、大數據處理經驗、數據決策經驗、數據應用經驗等。大數據項目經驗讓大數據人才清楚、完整地知道大數據知識和技能可以解決哪些問題以及如何解決問題。
五、貴州交通大數據人才思想建設
貴州交通大數據人才思想建設是從意識形態和思維結果出發對人才進行建設,主要包括觀念、看法、態度等方面。思想對人們的實踐活動起著指導作用,具有引導性、指導性和科學性。貴州交通大數據人才思想建設內容包括對交通大數據人才的認識、大數據人才的看法、大數據人才的觀念、大數據人才的眼界、大數據人才的態度五個方面。
對交通大數據人才的認識是首先需要具備的思想條件。交通大數據人才是具有高、精、尖、新、特特點的一類特殊人才,有別于傳統的信息技術人才。交通大數據人才要對自己有個清晰的定位,認識既包括對交通大數據人才的本質、特點、作用的正確認知,又包括對大數據人才需具備的知識、技能、能力等素質要素的正確認識,要求大數據人才了解自身的優勢和特點的同時,也要清楚知道自身的劣勢和缺點,這樣才能正確對待自己,發揮最大價值。大數據人才看法包含了大數據人才對自己的看法、對自然的看法、對社會的看法、對自己與自然關系的正確看法以及對自己與社會關系的正確看法五個方面的內容。大數據人才觀念是指大數據人才要有敢于創新、接受改變的開放性、包容性、動態性的思想意識。大數據人才眼界是指大數據人才對交通大數據這一事物認識的寬度或廣度。大數據相關知識和技術仍然處在不斷發展完善過程中,目前還未形成一個完整、成熟的體系,大數據人才需要有前瞻性、敏銳性、預見性、深邃性、寬闊性和理性的眼界去認識大數據、交通大數據等一系列問題。大數據人才態度包括個人態度和工作態度,即大數據人才需要對大數據、交通大數據、交通大數據人才等相關問題秉承正確認知、包容接納、積極向上、客觀公正的個人態度以及在日常工作中保持認真、負責、踏實、肯干的工作態度。
六、貴州交通大數據人才品格建設
品格是個人素質的內在表達。交通大數據人才作為特殊的人才類別,有別于其他人才的特點和要求,故也有著該類人才特有的品格素質。品格取決于一個人內心深處的想法,以及這些想法所支配的行為。所謂優秀品格,是指一個人無論在任何場合都具有按照最高的行為標準做正確事情的內在動機。交通大數據人才品格建設就是將人類優秀的文化成果通過知識傳授、環境熏陶,內化為人格、氣質、修養,成為交通大數據人才相對穩定的、內在的品質。交通大數據人才品格建設內容包括包容性、創新精神、自信、自強、自律、專注、誠實、善良、勇敢、自由、平等、尊重、負責、拼搏、勤奮等。