1.1 機(jī)器學(xué)習(xí)工程師和MLOps的興起

隨著機(jī)器學(xué)習(xí)（ML）在全球范圍內(nèi)被廣泛采用，我們需要以系統(tǒng)有效的方式構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)，從而導(dǎo)致對機(jī)器學(xué)習(xí)工程師的需求驟增。這些ML工程師反過來又把DevOps的最佳實(shí)踐應(yīng)用在新的機(jī)器學(xué)習(xí)領(lǐng)域。主要的云提供商都有針對這些從業(yè)者的認(rèn)證。我作為機(jī)器學(xué)習(xí)主題專家，有AWS、Azure、GCP的直接使用經(jīng)驗(yàn)。在某些情況下，這包括幫助創(chuàng)建機(jī)器學(xué)習(xí)認(rèn)證和官方培訓(xùn)材料。除此之外，我在杜克大學(xué)和西北大學(xué)的頂級數(shù)據(jù)科學(xué)項(xiàng)目中教授機(jī)器學(xué)習(xí)工程與云計(jì)算。我目睹了機(jī)器學(xué)習(xí)工程專業(yè)的興起，因?yàn)樵S多以前的學(xué)生都成了機(jī)器學(xué)習(xí)工程師。

谷歌有一個專業(yè)機(jī)器學(xué)習(xí)工程師認(rèn)證（https://oreil.ly/83skz）。它把ML工程師描述為“能夠設(shè)計(jì)、構(gòu)建機(jī)器學(xué)習(xí)模型并將其投入生產(chǎn)以解決業(yè)務(wù)難題的人”。Azure有一個微軟認(rèn)證：Azure數(shù)據(jù)科學(xué)家助理（https://oreil.ly/mtczl）。它將這種類型的從業(yè)者描述為“能夠應(yīng)用他們的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)知識來實(shí)施和運(yùn)行機(jī)器學(xué)習(xí)工作負(fù)載”的人。最后，AWS描述經(jīng)其認(rèn)證的機(jī)器學(xué)習(xí)專家（https://oreil.ly/O0cLK）為“對給定的業(yè)務(wù)問題能夠設(shè)計(jì)、實(shí)現(xiàn)、部署、維護(hù)機(jī)器學(xué)習(xí)解決方案”的人。

看待數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)工程的一種方法是思考科學(xué)與工程本身。科學(xué)面向研究，工程面向生產(chǎn)。隨著機(jī)器學(xué)習(xí)的發(fā)展不僅僅局限于研究方面，公司都渴望在圍繞人工智能與機(jī)器學(xué)習(xí)的招聘方面獲得好的投資回報率。根據(jù)payscale.com和glassdoor.com的調(diào)查顯示，在2020年底，數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、機(jī)器學(xué)習(xí)工程師的薪資中位數(shù)基本相同。根據(jù)LinkedIn在2020年第四季度的數(shù)據(jù)，有19.1萬個云計(jì)算崗位、7萬個數(shù)據(jù)工程師崗位、5.5萬個機(jī)器學(xué)習(xí)工程師崗位、2萬個數(shù)據(jù)科學(xué)家崗位、具體信息如圖1-1所示。

看待這些崗位趨勢的另一種方式是，把它們作為技術(shù)成熟度曲線的一部分。很多公司意識到要想獲取好的投資回報率（ROI），就需要具備云計(jì)算、數(shù)據(jù)工程、機(jī)器學(xué)習(xí)等硬技能的員工。這些公司對這類工程師的需求比對數(shù)據(jù)科學(xué)家的需求要大得多。因此，21世紀(jì)20年代這十年可能會顯示出把數(shù)據(jù)科學(xué)作為一種行為而非職位的加速發(fā)展。DevOps是一種行為，就像數(shù)據(jù)科學(xué)一樣。讓我們想想DevOps和數(shù)據(jù)科學(xué)的理念，兩者都是評估世界的方法，未必是一種獨(dú)特的工作職位。

讓我們看一下在組織中評價機(jī)器學(xué)習(xí)工程方案成功與否的工作有哪些。首先，統(tǒng)計(jì)投入生產(chǎn)環(huán)境的機(jī)器學(xué)習(xí)模型的數(shù)量。其次，評估應(yīng)用這些機(jī)器學(xué)習(xí)模型的投資回報率。這些指標(biāo)能提高模型的運(yùn)營效率。成本、正常運(yùn)行時間、運(yùn)維人員是預(yù)測機(jī)器學(xué)習(xí)項(xiàng)目成敗的重要依據(jù)。

先進(jìn)的技術(shù)組織會利用方法與工具來降低機(jī)器學(xué)習(xí)項(xiàng)目失敗的風(fēng)險。那么他們應(yīng)用的機(jī)器學(xué)習(xí)工具與工作流程有哪些呢？以下是部分清單：

云原生機(jī)器學(xué)習(xí)平臺

AWS SageMaker、Azure ML Studio和GCP AI平臺

容器化工作流

Docker容器、Kubernetes以及私有和公共容器注冊表

無服務(wù)器技術(shù)

AWS Lambda、AWS Athena、Google Cloud Functions、Azure Functions

機(jī)器學(xué)習(xí)專用硬件

GPU、Google TPU（TensorFlow處理單元）、Apple A14、AWS Inferentia彈性推理

大數(shù)據(jù)平臺和工具

Databricks、Hadoop/Spark、Snowflake、Amazon EMR（Elastic Map Reduce）、Google Big Query

機(jī)器學(xué)習(xí)的明確模式是它與云計(jì)算密切相關(guān)。這是因?yàn)闄C(jī)器學(xué)習(xí)的基礎(chǔ)要素需要大量計(jì)算、大量數(shù)據(jù)和專用硬件。因此，云計(jì)算平臺與機(jī)器學(xué)習(xí)工程的集成有著天然的協(xié)同增效作用。更加支持上述觀點(diǎn)的實(shí)踐是在云平臺構(gòu)建專用平臺以增強(qiáng)ML的可操作性。如果你在做機(jī)器學(xué)習(xí)項(xiàng)目，那么很可能是在云上進(jìn)行操作。接下來，我們討論DevOps在這一過程中扮演的角色。