訓(xùn)練/微調(diào)中型GPT，最簡(jiǎn)單最快的庫(kù)來(lái)了！

其名為：NanoGPT。

從名字就能看出是個(gè)“納米武器”，據(jù)作者介紹，該庫(kù)代碼簡(jiǎn)單易讀，2個(gè)僅300行代碼的文件。

現(xiàn)已基于OpenWebText重現(xiàn) GPT-2 (124M)，在單個(gè)8XA100 40GB節(jié)點(diǎn)上，訓(xùn)練時(shí)間為38小時(shí)。

值得一提的是，該庫(kù)發(fā)布者是前特斯拉AI總監(jiān)，李飛飛高徒，Andrej Karpathy。此次發(fā)布的NanoGPT，正是他2年前MinGPT的升級(jí)版。

目前，此項(xiàng)目在GitHub所獲star已超6k，HackerNews上points也破千。

毫無(wú)意外地，評(píng)論區(qū)一片“喜大普奔”。

有網(wǎng)友表示，這才是咱獨(dú)立開(kāi)發(fā)者喜聞樂(lè)見(jiàn)的AI工具。

還有人對(duì)其一直開(kāi)放傳授分享知識(shí)的做法，表示感謝。

那么，這個(gè)最簡(jiǎn)單最快的NanoGPT怎么用？

下面展開(kāi)講講。

NanoGPT的打開(kāi)方式

發(fā)布文件里面包含一個(gè)約300行的GPT模型定義（文件名：model.py），可以選擇從OpenAI加載GPT-2權(quán)重。

還有一個(gè)訓(xùn)練模型PyTorch樣板（文件名：train.py），同樣也是300多行。

作者補(bǔ)充道，代碼并不難，很容易就能滿足大家需求——無(wú)論是從頭開(kāi)始訓(xùn)練新模型，還是基于預(yù)訓(xùn)練進(jìn)行微調(diào)（目前可用的最大模型為1.3B參數(shù)的GPT-2）。

△一個(gè)訓(xùn)練實(shí)例展示

上手前，需要提前準(zhǔn)備好依賴項(xiàng)：

• pytorch <3

• numpy <3

• pip install datasets for huggingface datasets <3 (如果你需要下載和預(yù)處理OpenWebText)

• pip install tiktoken for OpenAI’s fast BPE code <3

• pip install wandb for optional logging <3

• pip install tqdm

先下載并標(biāo)記OpenWebText數(shù)據(jù)集。

$cddata/openwebtext
$pythonprepare.py

這將創(chuàng)建一個(gè)train.bin和val.bin文件，將 GPT2 BPE token id放入一個(gè)序列中。

然后準(zhǔn)備訓(xùn)練，目前腳本默認(rèn)是嘗試重現(xiàn)GPT-2，124M參數(shù)版本，但作者更鼓勵(lì)大家閱讀代碼查看文件頂部的設(shè)置及路徑。

$pythontrain.py

如需使用 PyTorch 分布式數(shù)據(jù)并行 (DDP) 進(jìn)行訓(xùn)練，請(qǐng)使用 torchrun 運(yùn)行腳本。

比如，要在4個(gè)GPU節(jié)點(diǎn)上運(yùn)行，代碼如下：

$torchrun--standalone--nproc_per_node=4train.py

要從模型節(jié)點(diǎn)中采樣，就需將一些檢查點(diǎn)寫入輸入目錄中。

$pythonsample.py

據(jù)作者目前自己的測(cè)試，他在1 個(gè) A100 40GB GPU 上訓(xùn)練一晚，損失約為 3.74。如果是在4個(gè)GPU上訓(xùn)練損失約為3.60。

如果在8個(gè)A100 40GB節(jié)點(diǎn)上進(jìn)行約50萬(wàn)次迭代，時(shí)長(zhǎng)約為1天，atim的訓(xùn)練降至約3.1，init隨機(jī)概率是10.82，已將結(jié)果帶到了baseline范圍。

觀察不同參數(shù)下訓(xùn)練/驗(yàn)證loss值如下：

至于如何基于新文本微調(diào)GPT，作者也簡(jiǎn)介了方法。

先訪問(wèn)data/shakespeare，查看prepare.py。

下載小型shakespeare數(shù)據(jù)集并將其呈現(xiàn)為train.bin和val.bin文件（方法前文已介紹），幾秒即可搞定。

運(yùn)行一個(gè)微調(diào)示例，如下：

$pythontrain.pyconfig/finetune_shakespeare.py

該操作將加載配置參數(shù)，覆蓋config/finetune_shakespeare.py文件。

作者指出，一般情況下，基本操作就是從GPT-2檢查點(diǎn)初始化init_from，再正常訓(xùn)練。

此外，如果手里只有macbook或一些“力量”不足的小破本，作者建議使用shakespeare數(shù)據(jù)集，然后在一個(gè)很小的網(wǎng)絡(luò)上運(yùn)行。

先渲染數(shù)據(jù)；

$cddata/shakespeare
$pythonprepare.py

再用一個(gè)較小的網(wǎng)絡(luò)來(lái)運(yùn)行訓(xùn)練腳本。

比如下面就創(chuàng)建了一個(gè)小得多的Transformer（4層，4個(gè)head，64嵌入大?。?，只在CPU運(yùn)行，在作者自己的蘋果AIR M1本上，每次迭代大約需要400毫秒。

$cd../..
$pythontrain.py--dataset=shakespeare--n_layer=4--n_head=4--n_embd=64--device=cpu--compile=False--eval_iters=1--block_size=64--batch_size=8

關(guān)于NanoGPT的后續(xù)計(jì)劃，Andrej Karpathy也在網(wǎng)上有所分享。

他將試圖讓NanoGPT更快復(fù)現(xiàn)其他GPT-2模型，然后將預(yù)訓(xùn)練擴(kuò)展至更大規(guī)模的模型/數(shù)據(jù)集中，此外，他還計(jì)劃改進(jìn)下微調(diào)部分的文檔。

轉(zhuǎn)戰(zhàn)教育和開(kāi)源的特斯拉前AI總監(jiān)

熟悉Karpathy的圈內(nèi)人肯定知道，他此前是李飛飛高徒，也長(zhǎng)期致力于讓更多人接觸了解神經(jīng)網(wǎng)絡(luò)和相關(guān)數(shù)據(jù)集。

2020年8月，他就曾發(fā)布NanoGPT前一代，MinGPT，同樣旨在讓GPT做到小巧、簡(jiǎn)潔、可解釋，同樣主打300行代碼搞定。

Karpathy另一大身份是前特斯拉AI核心人物。

在馬斯克麾下，他歷任特斯拉高級(jí)AI主管、特斯拉自動(dòng)駕駛AutoPilot負(fù)責(zé)人、特斯拉超算Dojo負(fù)責(zé)人、特斯拉擎天柱人形機(jī)器人負(fù)責(zé)人…

2022年7月，Karpathy Andrej離職，在業(yè)內(nèi)引發(fā)不小討論。他表示，未來(lái)將花更多時(shí)間在AI、開(kāi)源技術(shù)教育上，比如他做了一檔AI課程，現(xiàn)還在更新中。

此番發(fā)布NanoGPT同時(shí)，Karpathy還下場(chǎng)安撫了下催更黨——新視頻正從0開(kāi)始構(gòu)建，計(jì)劃2周內(nèi)發(fā)布。

最后附上：

NanoGPT項(xiàng)目：https://github.com/karpathy/nanoGPT

Andrej Karpathy課程：https://karpathy.ai/zero-to-hero.html