- 從零開始大模型開發(fā)與微調(diào):基于PyTorch與ChatGLM
- 王曉華
- 677字
- 2024-12-31 17:37:08
1.1.3 選擇PyTorch 2.0實(shí)戰(zhàn)框架
工欲善其事,必先利其器。本書選用PyTorch 2.0作為講解的實(shí)戰(zhàn)框架。
PyTorch是一個(gè)Python開源機(jī)器學(xué)習(xí)庫(kù),它可以提供強(qiáng)大的GPU加速?gòu)埩窟\(yùn)算和動(dòng)態(tài)計(jì)算圖,方便用戶進(jìn)行快速實(shí)驗(yàn)和開發(fā)。PyTorch由Facebook的人工智能研究小組于2016年發(fā)布,當(dāng)時(shí)它作為Torch的Python版,目的是解決Torch在Python中使用的不便之處。
Torch是另一個(gè)開源機(jī)器學(xué)習(xí)庫(kù),它于2002年由Ronan Collobert創(chuàng)建,主要基于Lua編程語(yǔ)言。Torch最初是為了解決語(yǔ)音識(shí)別的問題而創(chuàng)建的,但隨著時(shí)間的推移,Torch開始被廣泛應(yīng)用于其他機(jī)器學(xué)習(xí)領(lǐng)域,包括計(jì)算機(jī)視覺、自然語(yǔ)言處理、強(qiáng)化學(xué)習(xí)等。
盡管Torch在機(jī)器學(xué)習(xí)領(lǐng)域得到了廣泛的應(yīng)用,但是它在Python中的實(shí)現(xiàn)相對(duì)較為麻煩,這也就導(dǎo)致其在Python社區(qū)的使用率不如其他機(jī)器學(xué)習(xí)庫(kù)(如TensorFlow)。這也就迫使了Facebook的人工智能研究小組開始著手開發(fā)PyTorch。
在2016年,PyTorch首次發(fā)布了Alpha版本,但是該版本的使用范圍比較有限。直到2017年,PyTorch正式發(fā)布了Beta版本,這使得更多的用戶可以使用PyTorch進(jìn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)和開發(fā)。在2018年,PyTorch 1.0版本正式發(fā)布,此后PyTorch開始成為機(jī)器學(xué)習(xí)領(lǐng)域中最受歡迎的開源機(jī)器學(xué)習(xí)庫(kù)之一。
在PyTorch Conference 2022上,PyTorch官方正式發(fā)布了PyTorch 2.0,整場(chǎng)活動(dòng)含Compiler率極高,跟先前的1.x版本相比,2.0版本有了顛覆式的變化。
PyTorch 2.0中發(fā)布了大量足以改變PyTorch使用方式的新功能,它提供了相同的Eager Mode和用戶體驗(yàn),同時(shí)通過torch.compile增加了一個(gè)編譯模式,在訓(xùn)練和推理過程中可以對(duì)模型進(jìn)行加速,從而提供更佳的性能和對(duì)Dynamic Shapes及Distributed的支持。
自發(fā)布以來(lái),PyTorch一直都是深度學(xué)習(xí)和人工智能領(lǐng)域中最為受歡迎的機(jī)器學(xué)習(xí)庫(kù)之一。它在國(guó)際學(xué)術(shù)界和工業(yè)界都得到了廣泛的認(rèn)可,得到了許多優(yōu)秀的應(yīng)用和實(shí)踐。同時(shí),PyTorch也持續(xù)更新和優(yōu)化,使得用戶可以在不斷的發(fā)展中獲得更好的使用體驗(yàn)。
- 知識(shí)圖譜從0到1:原理與Python實(shí)戰(zhàn)
- 機(jī)器人系統(tǒng)設(shè)計(jì)及應(yīng)用
- 2019年華北五省(市、自治區(qū))大學(xué)生機(jī)器人大賽:人工智能與機(jī)器人創(chuàng)意設(shè)計(jì)賽論文集
- 物聯(lián)網(wǎng)+智能家居:移動(dòng)互聯(lián)技術(shù)應(yīng)用
- 機(jī)器學(xué)習(xí)算法評(píng)估實(shí)戰(zhàn)
- 圖解大模型:生成式AI原理與實(shí)戰(zhàn)
- 從機(jī)器學(xué)習(xí)到深度學(xué)習(xí):基于scikit-learn與TensorFlow的高效開發(fā)實(shí)戰(zhàn)
- 智能汽車軟件功能安全
- 人工智能原理與應(yīng)用教程
- 心與芯:我們與機(jī)器人的無(wú)限未來(lái)
- 人工智能的神話或悲歌
- 人工智能(AI)應(yīng)用從入門到精通
- 人工智能:數(shù)據(jù)與模型安全
- 生成式人工智能
- 未來(lái)呼嘯而來(lái)八部曲