- Kubeflow學習指南:生產級機器學習系統(tǒng)實現(xiàn)
- (美)Trevor Grant等
- 388字
- 2022-02-08 17:52:34
1.4 為什么需要Kubernetes
Kubernetes是一個用于自動化部署、擴展和管理容器化應用程序的開源系統(tǒng)。它允許Pipeline在不犧牲可移植性的情況下進行擴展,能夠避免云廠商鎖定[1]。除了能夠從單機切換到分布式集群外,機器學習Pipeline的不同階段可以請求不同數(shù)量或類型的資源。比如,數(shù)據(jù)準備可能需要在多臺機器上運行,而模型訓練可能適合在GPU或張量處理單元(TPU)之上進行計算。這種靈活性在云環(huán)境中特別有用,你可以只在有需要時才使用昂貴的資源,從而降低成本。
當然,你也可以直接在Kubernetes之上構建容器化機器學習Pipeline,而不使用Kubeflow。然而,Kubeflow的目標是將這個過程標準化,并使實施過程變得更加簡單和高效[2]。Kubeflow在你可能用于機器學習實現(xiàn)的工具上提供了一個通用接口。它還使你更容易地配置實現(xiàn)以使用TPU等硬件加速器,而無須更改代碼。
[1] Kubernetes通過提供容器編排層來實現(xiàn)避免云廠商鎖定。關于Kubernetes的更多信息,請查看文檔(https://oreil.ly/h2ami)。
[2] Spotify能夠將實驗的速度提高7倍。參見這篇Spotify Engineering博客(https://oreil.ly/EoxeS)。
推薦閱讀
- DL/T 5044-2014 電力工程直流電源系統(tǒng)設計技術規(guī)程
- 城市地下空間規(guī)劃標準
- 海上風力發(fā)電場勘測標準
- GB/T51050-2014鋼鐵企業(yè)能源計量和監(jiān)測工程技術規(guī)范(英文版)
- GB 50222-2017 建筑內部裝修設計防火規(guī)范
- GB/T 50441-2016 石油化工設計能耗計算標準
- GB/T 51264-2017 雙向拉伸薄膜工廠設計標準
- GB/T 51183-2016 農業(yè)溫室結構荷載規(guī)范
- GB/T50609-2010石油化工工廠信息系統(tǒng)設計規(guī)范(英文版)
- GB 51214-2017 煤炭工業(yè)露天礦邊坡工程監(jiān)測規(guī)范
- GB 51333-2018 厚膜陶瓷基板生產工廠設計標準
- 冶金石灰焙燒工程設計標準
- GB/T 51218-2017 機械工業(yè)工程設計基本術語標準
- 中國綠色工業(yè)年鑒2020
- VRP11虛擬現(xiàn)實編輯器標準教程