根據(jù)介紹，基于SPACE訓練推理引擎的高效訓練架構，對比全量訓練，“深目”AI模盒訓練速度提升100倍，內(nèi)存消耗降低20倍。通過混合精度訓練，模型99%的計算采用int8+fP16精度訓練，只有不到1%的計算才用得fp32精度訓練。而且做到了存儲及功耗均大幅下降，推理速度同比提升50%，推理成本更是降低10倍。

通過SPACE訓練推理引擎和神經(jīng)網(wǎng)絡處理器芯片架構的深度耦合，“深目”在邊緣端48T至64T的有限算力情況下，一樣可以實現(xiàn)高精度的推理大模型，并且可以微調(diào)和訓練。陳寧表示，面向邊緣場景，云天勵飛強化了多模態(tài)大模型場景泛化和在線學習、訓練的能力，通過一系列的性能提升，解決場景價值閉環(huán)的問題。

一般來說，AI芯片可以分為兩種：推理芯片、訓練芯片?！暗撬惴ǖ挠柧毑皇悄康模邪贅I(yè)的推理應用才是最終目的，人形機器人、無人機、無人車、可穿戴設備、AIPC、AI手機等，萬物智聯(lián)的智能硬件都需要一顆或者幾顆神經(jīng)網(wǎng)絡處理器的推理芯片”，陳寧表示。

2024年，AI行業(yè)在推理芯片領域迎來了新的進展。例如，AI芯片創(chuàng)企Groq自研的新型AI芯片——LPU（Language Processing Units）在AI行業(yè)內(nèi)“出圈”，該芯片專為AI推理而生。公開資料顯示，由Groq LPU驅(qū)動Meta Llama 2模型，推理性能可以做到頂級云計算供應商的18倍。英偉達在GTC 2024上也發(fā)布了全新的 GPU——Blackwell芯片，推理能力是Hopper的30倍。

如今，推理芯片領域還沒有壟斷性的巨頭，推理芯片是一個萬億顆芯片的大藍海市場，而中國市場擁有豐富的場景，未來推理芯片會應用到各個行業(yè)中，解決各個場景的問題，國內(nèi)的AI芯片企業(yè)也會在推理芯片領域迎來新的進展。