NVIDIA Dynamo 提高了推理性能，同時(shí)降低了擴(kuò)展測(cè)試時(shí)計(jì)算 (Scaling Test-Time Compute) 的成本；在 NVIDIA Blackwell 上的推理優(yōu)化將 DeepSeek-R1 上的吞吐量提高了 30 倍

NVIDIA 發(fā)布了開(kāi)源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴(kuò)展 AI 工廠中的 AI 推理模型。

作為 NVIDIA Triton 推理服務(wù)器的后續(xù)產(chǎn)品，NVIDIA Dynamo 是一款全新的 AI 推理服務(wù)軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協(xié)調(diào)并加速數(shù)千個(gè) GPU 之間的推理通信，并使用分離服務(wù)將大語(yǔ)言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開(kāi)來(lái)。這使得每個(gè)階段的特定需求可以進(jìn)行單獨(dú)優(yōu)化，并確保更大程度地利用 GPU 資源。

NVIDIA Dynamo 完全開(kāi)源并支持 PyTorch、SGLang、NVIDIA TensorRT-LLM 和 vLLM，使企業(yè)、初創(chuàng)公司和研究人員能夠開(kāi)發(fā)和優(yōu)化在分離推理時(shí)部署 AI 模型的方法。

“全世界各行業(yè)都在訓(xùn)練 AI 模型以不同的方式進(jìn)行思考和學(xué)習(xí)，從而使模型復(fù)雜度持續(xù)升級(jí)?！?NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“為了實(shí)現(xiàn)自定義推理 AI 的未來(lái)，NVIDIA Dynamo 可以在這些模型上進(jìn)行規(guī)?；渴穑瑥亩鵀?AI 工廠實(shí)現(xiàn)降本增效”。