隨著人工智能技術(shù)的迅速發(fā)展，Transformer在自然語言處理、機器翻譯、問答系統(tǒng)等領(lǐng)域取得了顯著的性能提升。然而，這些模型的部署面臨著巨大的挑戰(zhàn)，主要源于其龐大的模型尺寸和內(nèi)存消耗。

在部署過程中，網(wǎng)絡(luò)壓縮是一種常用的解決方案，可以有效減小模型的體積，提高模型在移動設(shè)備等資源受限環(huán)境下的部署效率。其中，量化技術(shù)是將大模型中的浮點數(shù)參數(shù)轉(zhuǎn)換為整數(shù)，并進行存儲和計算的方法。由于Transformer的網(wǎng)絡(luò)參數(shù)越來越多、計算量越來越大，對于存儲和計算資源有限的邊緣設(shè)備來說，模型部署帶來了很大的挑戰(zhàn)。

網(wǎng)絡(luò)量化是一種常見的解決方案，通過將模型參數(shù)量化為整數(shù)，可以大幅度減少模型的存儲空間和計算量，從而實現(xiàn)在邊緣設(shè)備上高效部署Transformer。

后摩智能也在Transformer量化提出了一些領(lǐng)先的算法方案。在本文中，我們將重點介紹兩種針對Transformer的量化方案：

RPTQ(Reorder-based Post-training Quantization)

PB-LLM(Partially Binarized Large Language Models)

這兩種方法分別針對激活量化和權(quán)重量化，旨在實現(xiàn)極端低位量化，同時保持語言推理能力。

RPTQ：

量化激活通道的新思路

RPTQ(Reorder-based Post-training Quantization)是后摩智能團隊與華中科技大學(xué)等合作單位提出的一種全新的量化方法，旨在解決量化Transformer時激活通道之間的數(shù)值范圍差異問題。

相較于以往的研究，RPTQ首次將3位激活引入了LLMs，實現(xiàn)了顯著的內(nèi)存節(jié)省，例如在量化OPT-175B模型方面，內(nèi)存消耗降低了高達80%。RPTQ的關(guān)鍵思想是通過重新排列激活通道并按簇量化，從而減少通道范圍差異的影響。同時，通過操作融合，避免了顯式重新排序的操作，使得RPTQ的開銷幾乎為零。通過這種方法，RPTQ有效地解決了激活通道數(shù)值范圍差異導(dǎo)致的量化誤差問題。

PB-LLM：

實現(xiàn)極端低位量化的新突破

PB-LLM(Partially Binarized Large Language Models)是后摩智能團隊與伊利諾伊理工和伯克利大學(xué)等單位合作提出的另一種創(chuàng)新性量化方法，主要針對權(quán)重量化。目前該篇論文已被接收至ICLR 2024，ICLR 以介紹和發(fā)布人工智能、統(tǒng)計學(xué)和數(shù)據(jù)科學(xué)領(lǐng)域深度學(xué)習的尖端研究而聞名，被認為是“深度學(xué)習的頂級會議”。

相較于傳統(tǒng)的二值化方法，PB-LLM采用了部分二值化的策略，即將一部分顯著權(quán)重分配到高位存儲，從而在實現(xiàn)極端低位量化的同時，保持了Transformer的語言推理能力。通過對顯著權(quán)重的充分利用，PB-LLM取得了顯著的性能提升，為Transformer的內(nèi)存消耗和計算復(fù)雜度提供了有效的解決方案。這是學(xué)術(shù)界首次探索對Transformer權(quán)重數(shù)值二值化的工作。

后摩智能的技術(shù)優(yōu)勢：突破性內(nèi)存計算技術(shù)驅(qū)動AI發(fā)展

后摩智能作為大算力存算一體領(lǐng)域的先行者，憑借著RPTQ和PB-LLM等創(chuàng)新性量化方法的提出，取得了在大型語言模型中實現(xiàn)極端低位量化的突破。同時，后摩智能團隊在內(nèi)存計算領(lǐng)域擁有深厚的研究實力和豐富的實踐經(jīng)驗，與行業(yè)內(nèi)多家頂尖機構(gòu)展開了廣泛的合作。這使得后摩智能得以不斷推動內(nèi)存計算技術(shù)的發(fā)展，為人工智能技術(shù)的應(yīng)用提供了更多創(chuàng)新性解決方案。

總的來說，后摩智能的RPTQ和PB-LLM等突破性量化方法為解決大型語言模型部署中的內(nèi)存消耗和計算復(fù)雜度問題提供了有效的解決方案。隨著內(nèi)存計算技術(shù)的不斷演進，后摩智能將繼續(xù)致力于推動人工智能技術(shù)的發(fā)展，實現(xiàn)萬物智能的愿景。

審核編輯：劉清