書名: Kubeflow學習指南:生產級機器學習系統實現作者名: (美)Trevor Grant等本章字數: 516字更新時間: 2022-02-08 17:52:33
1.3 為什么需要容器化
容器提供的隔離性使得機器學習中的階段具有可移植性和可重現性。容器化的應用程序與機器的其他部分隔離開來,并且包含它們的所有需求(從操作系統開始)[1]。容器化意味著不再有“它在我的機器上工作”或“我們只忘記了一個額外的數據包”等對話。
容器建立在可組合的層之上,這允許你使用另一個容器作為基礎。例如,如果你想添加一個新的自然語言處理(NLP)庫,可以在現有的容器中進行添加,而不必每次都從頭開始。可組合性允許你復用一個共同的基礎。例如,我們使用的R容器和Python容器都共享一個基礎的Debian容器鏡像。
使用容器時,人們普遍擔心的一個問題是開銷。容器的開銷取決于你的實現,但IBM[2]的一篇論文表明容器開銷相當低,通常比虛擬化方式更快。使用Kubeflow時,如果你安裝了可能不使用的Operator,可能會產生一些額外的開銷,這種開銷在生產集群上可以忽略不計,但在筆記本電腦上可能會很明顯。
有Python經驗的數據科學家可以把容器看作一個較重的虛擬環境。除了你在虛擬環境中習慣的內容之外,容器還包括操作系統、數據包以及所需的一切依賴。
[1] 關于容器的更多信息,請參見Google云資源(https://oreil.ly/wqetc)。在有GPU或TPU的情況下,隔離細節更加復雜。
[2] W. Felter等人,“An Updated Performance Comparison of Virtual Machines and Linux Containers,”2015 IEEE International Symposium on Performance Analysis of Systems and Software (ISPASS),March 29-31, 2015, doi: 10.1109/ISPASS.2015.7095802。
- GB 51276-2018 煤炭企業總圖運輸設計標準
- 海上風力發電場勘測標準
- 電動汽車工程手冊(第六卷):智能網聯
- DL/T 5503-2015 直流換流站施工圖設計內容深度規定
- GB/T 51331-2018 煤焦化焦油加工工程設計標準
- GB50377-2006選礦機械設備工程安裝驗收規范(英文版)
- GB/T 51266-2017 機械工廠年時基數設計標準
- GB 51006-2014 石油化工建(構)筑物結構荷載規范(英文版)
- 機械基礎地基動力特性測試規程
- 汽車故障診斷技巧與禁忌速查手冊
- 巖土工程勘察圖式圖例規程
- 工業文化研究(第2輯):紀念改革開放四十年——中國工業的大轉型
- DL/T 866-2015 電流互感器和電壓互感器選擇及計算規程
- 陽極焙燒爐用多功能機組安裝技術規程
- GB 50390-2017 焦化機械設備安裝驗收規范