三項創(chuàng)新首度公開！構建高效 AI 數據中心，從網絡仿真開始

AI 正以前所未有的速度重塑數據中心架構。每秒數萬億字節(jié)的訓練流量、數千 GPU 的并行通信，讓傳統(tǒng)測試方法陷入瓶頸——GPU 閑置、網絡擁塞、訓練失敗屢見不鮮。

AI 創(chuàng)新，正在重構數據中心基礎架構

近幾年，多模態(tài)學習、多智能體系統(tǒng)（Multi-agent Systems,MAS）和高速 GPU 互聯技術快速發(fā)展，推動 AI 應用在醫(yī)療、氣候建模、金融等多個領域實現飛躍。這些突破也帶來了前所未有的挑戰(zhàn)，對網絡速度、吞吐量及計算性能的要求正持續(xù)飆升。

圖 1. AI 正迎來技術爆發(fā)的關鍵轉折點，未來三年各項硬件標準與性能將實現跨代躍升。

動輒數十萬美金，AI 數據中心成本遠高于傳統(tǒng)數據中心架構

一臺 AI 訓練服務器通常配備 8 塊 GPU，總成本超過 40 萬美元。而這還不包括電力、冷卻、高速光互聯等運維成本，占運營支出的 30% 至 50%。

此外，每個 AI 模型的云端存儲成本，每月可能高達 1,000 至 10,000 美元。

模型訓練往往動輒耗時數周甚至數月，任何縮短訓練周期的機會都意味著數百萬美元的 GPU 運算資源釋放。

但問題來了：你的基礎設施是否真正高效，能支撐這樣的提速？

三大核心挑戰(zhàn)，阻礙 AI 數據中心擴展

#挑戰(zhàn)一：

AI 流量密集度遠超傳統(tǒng)應用

AI 訓練負載需要在數千顆 GPU 之間高速傳輸 TB 級數據，通信模式集中且延遲敏感。例如，集合通信（如 all-to-all）容易引發(fā)入流擁塞，導致某些數據流延遲，從而拖慢整個訓練任務。網絡性能的關鍵不再是“平均帶寬”，而是“最長傳輸時間”。

如圖 2 所示，即使大多數 GPU 數據流能在 150 毫秒內完成，只要存在一個延遲至 190 毫秒的節(jié)點，整個算法執(zhí)行也必須等到這最后一個完成，最終總耗時拉長至 190 毫秒。

圖 2. 即使大多數數據傳輸迅速，少數延遲較高的流也會決定 AI 訓練任務的整體完成時間。

#挑戰(zhàn)二：

系統(tǒng)高度互聯，風險被放大

在強耦合架構中，任一組件故障（如光模塊異常、網卡配置錯誤）都可能引發(fā)連鎖反應，導致任務失敗和資源浪費。如果沒有全棧可視性和真實世界的仿真，這些問題往往在傳統(tǒng)測試中難以被發(fā)現。

#挑戰(zhàn)三：

僅靠組件級驗證已無法保障系統(tǒng)穩(wěn)定

即使每個組件都符合標準，也可能因 AI 流量特性而在系統(tǒng)層級上失敗。盡管某些收發(fā)器在組件層面滿足 IEEE 合規(guī)性要求，但在系統(tǒng)級運行中，特別是在處理突發(fā) AI 流量時，仍可能出現性能問題。研究顯示，超過 40% 的 AI 訓練失敗歸因于網絡或組件效率不足。

圖 3. 超過一半的 GPU 時間花在等待數據上，近一半的 AI 訓練任務失敗歸因于網絡與計算資源問題

系統(tǒng)級仿真是你的新的超能力

系統(tǒng)級仿真使網絡架構師能夠跳出理論假設，深入了解基礎設施在真實 AI 流量與控制機制下的實際運行行為。

數據中心的系統(tǒng)級性能依賴于系統(tǒng)級可視化能力——也就是模擬 GPU 之間的通信、觀察隊列對（Queue Pair）行為，并分析突發(fā)流量和擁塞點在整個技術棧中（從物理層到應用層）造成的影響。數據中心的性能優(yōu)化，離不開系統(tǒng)級可視化能力。通過模擬 GPU 通信、觀察隊列行為、識別流量突發(fā)點，才能在物理層到應用層之間全面掌控網絡運行狀況。

這一完整的測試流程通常包括：

?部署高密度網絡測試平臺。

?配置流量生成器，以太比特級速度模擬 AI 集合通信操作（如 all-reduce、broadcast、gather）的真實流量行為。

?使用性能分析工具，衡量系統(tǒng)級關鍵性能指標（KPI），例如任務完成時間、GPU 利用率、網絡吞吐量和延遲。

通過這一方法，網絡架構師可以快速定位 GPU 閑置時間積累的位置、識別次優(yōu)的擁塞控制設置，或發(fā)現引入延遲的網卡與收發(fā)器組合。此外，還可在無需部署大規(guī)模 GPU 集群的前提下，靈活測試路由策略、微調擁塞控制參數（如優(yōu)先級流控 PFC 和顯式擁塞通知 ECN），并評估新協議或架構變更的效果。

某大型云服務提供商已使用是德科技的Keysight AI（KAI）數據中心構建器對其新一代 AI 訓練集群的網絡設計進行基準測試，目標是確保其高速以太網不僅能夠支持當前的 GPU 型號，也能夠兼容即將發(fā)布的新一代 GPU。

圖 4. 是德科技 Keysight AI（KAI）數據中心構建器通過仿真 AI 工作負載以驗證系統(tǒng)級性能指標的界面截圖。

邁向 1.6T AI 數據中心：驗證方法必須與時俱進

為了支持下一代 AI 工作負載的規(guī)模和速度，數據中心正在向 1.6T 以太網過渡。

隨著 224 Gbps 電通道和 PAM4 調制成為常態(tài)，這些高速鏈路引入了更嚴格的時序窗口、更低的信噪比以及對互連變化更高的靈敏度。在如此高的速度下，驗證信號完整性和端到端性能不能僅僅停留在組件級規(guī)格上。即使是符合標準的設備，在突發(fā)性 AI 工作負載下，也可能會遭遇邊緣 FEC 性能或間歇性故障。銅纜、光纖、有源電纜和無源 DAC 等互連的多樣性日益增加，使驗證變得更加復雜。

傳統(tǒng)的手動和基于腳本的驗證難以應對 1.6T 及以上速度的復雜性。全面的自動化測試策略對于識別僅在動態(tài)、高流量 AI 訓練工作負載下才會出現的系統(tǒng)級瓶頸至關重要。

Keysight 推出的 1.6T 互連和網絡性能測試儀 + ITS (Interconnect Test System) 自動化測試平臺，提供了完整的第1層到第3層全棧驗證能力，包含：

第 1 層 ：FEC 前誤碼率（Pre-FEC BER）、FEC 裕度、抖動容限

第 2 層 ：CMIS 協議兼容性、數字光學監(jiān)控（DOM）、通道映像完整性

第 3 層 ：RoCEv2 流量建模、擁塞傳播、流量公平性

為了支持可重復、可擴展的測試，像1.6TE 互連和網絡性能測試儀這樣的集中式測試平臺可以重復使用配置、自動化通過/失敗分析并加快測試吞吐量。

是德科技1.6TE 互連和網絡性能測試儀具備全面的硬件功能，覆蓋第 1 層至第 3 層所需的各項測試能力，可廣泛應用于高速以太網、光纖與銅纜互連、網絡設備以及整體網絡基礎設施的驗證。

配套的互連測試系統(tǒng)（ITS）軟件可幫助架構師快速識別邊緣場景下的系統(tǒng)行為，并在實際大規(guī)模部署條件下，對各種電纜、網卡（NIC）、收發(fā)器和交換機進行壓力測試，確保系統(tǒng)穩(wěn)定可靠運行。

圖 5. Keysight Interconnect Test System (ITS) 軟件數字光監(jiān)控頁面的屏幕截圖

構建面向未來的 AI 數據中心

構建一個真正具備大規(guī)模運行能力的人工智能數據中心，絕不僅僅是“完成檢查清單”那樣簡單，而是要為不可預測的挑戰(zhàn)做好設計準備，并應對未來指數級的增長需求。

隨著人工智能不斷重塑現代數據中心的架構，網絡架構師正是連接愿景與執(zhí)行的關鍵角色。無論您正在排查尾延遲、驗證光互連，還是規(guī)劃邁向 1.6T 的下一個飛躍，有一點是確定的：網絡是支撐 AI 創(chuàng)新的核心。

而您團隊是否具備對每條數據路徑進行仿真、基準測試與系統(tǒng)級可視化的能力，將直接決定基礎設施能否真正成功擴展。

關于是德科技

是德科技（NYSE：KEYS）啟迪并賦能創(chuàng)新者，助力他們將改變世界的技術帶入生活。作為一家標準普爾 500 指數公司，我們提供先進的設計、仿真和測試解決方案，旨在幫助工程師在整個產品生命周期中更快地完成開發(fā)和部署，同時控制好風險。我們的客戶遍及全球通信、工業(yè)自動化、航空航天與國防、汽車、半導體和通用電子等市場。我們與客戶攜手，加速創(chuàng)新，創(chuàng)造一個安全互聯的世界。