官术网_书友最值得收藏!

1.4 為什么需要Kubernetes

Kubernetes是一個用于自動化部署、擴展和管理容器化應用程序的開源系統(tǒng)。它允許Pipeline在不犧牲可移植性的情況下進行擴展,能夠避免云廠商鎖定[1]。除了能夠從單機切換到分布式集群外,機器學習Pipeline的不同階段可以請求不同數(shù)量或類型的資源。比如,數(shù)據(jù)準備可能需要在多臺機器上運行,而模型訓練可能適合在GPU或張量處理單元(TPU)之上進行計算。這種靈活性在云環(huán)境中特別有用,你可以只在有需要時才使用昂貴的資源,從而降低成本。

當然,你也可以直接在Kubernetes之上構建容器化機器學習Pipeline,而不使用Kubeflow。然而,Kubeflow的目標是將這個過程標準化,并使實施過程變得更加簡單和高效[2]。Kubeflow在你可能用于機器學習實現(xiàn)的工具上提供了一個通用接口。它還使你更容易地配置實現(xiàn)以使用TPU等硬件加速器,而無須更改代碼。

[1] Kubernetes通過提供容器編排層來實現(xiàn)避免云廠商鎖定。關于Kubernetes的更多信息,請查看文檔(https://oreil.ly/h2ami)。

[2] Spotify能夠將實驗的速度提高7倍。參見這篇Spotify Engineering博客(https://oreil.ly/EoxeS)。

主站蜘蛛池模板: 徐水县| 乌海市| 汤原县| 阳山县| 永修县| 且末县| 突泉县| 泌阳县| 屏南县| 喜德县| 西和县| 图木舒克市| 湘潭市| 三台县| 贡觉县| 施甸县| 乌拉特后旗| 宁国市| 烟台市| 兴海县| 志丹县| 日喀则市| 噶尔县| 鱼台县| 桐梓县| 金坛市| 阿图什市| 清涧县| 吉首市| 郑州市| 临颍县| 海阳市| 五家渠市| 韶关市| 原阳县| 交城县| 昭平县| 保靖县| 杭锦旗| 沙洋县| 杨浦区|