圖說:是德科技發表全新KAI架構,行銷處副總經理羅大鈞(右)與資深區域經理王欽洲共同出席。
AI資料中心追求高算力、高傳輸效率,需要系統性全面兼顧從元件到硬體架構、在提升通訊速度的同時也要優化信號品質,才能獲得最佳表現。是德科技(Keysight)歡慶十週年之際,推出全新AI架構解決方案,將支持客戶優化AI資料中心的效率,迎接龐大商機。
整合軟硬體的解決方案
1939年HP初創,至今已85年。十年前,是德科技(Keysight)承襲HP的量測事業的基因,於2014年11月1日掛牌。是德科技行銷副總羅大鈞表示,回顧是德科技2014年營收不到30億美元,原本營收主要來自純硬體的量測設備產品銷售,近年來,透過加入軟體服務後,並與Intel, Nokia等指標性大廠合作,已成功轉型,成為各產業軟硬體解決方案的提供者。
羅大鈞指出,透過整合軟硬體、提供客戶解決方案的策略,是德的營收穩定成長,2024年成長到50億美元,其中來自軟體的貢獻已佔30%。
關鍵:提高網路效率
AI資料中心與一般資料中心,最大不同在於多了很多GPU。然而,目前這些GPU真正發揮在做運算的時間卻小於50%。據統計,GPU有62%的時間,都浪費在通訊階段等待資料。
此外,在進行大語言模型訓練時,成功率不到六成,只有57%,經常因為網路問題而失敗重來。因此,除了加大頻寬之外,如何優化AI資料中心的網路效率是十分關鍵的課題。也因此,半導體業者成立矽光子聯盟,目的就在於加快AI資料中心的傳輸速度。
圖說:目前AI資料中心面臨的挑戰包括GPU浪費50%以上時間等網路傳來資料,而且訓練成功率不到六成,只有57%。(來源:Keysight)
未來三年技術轉折
是德資深區域經理王欽洲強調,目前AI正處於技術轉折點。未來三年,AI資料中心的乙太網路將從目前的400G/800G,推升四倍數成長達1.6T/3.2T。記憶體將從目前DDR5,演進到DDR6及高頻寬記憶體HBM3。連接各種週邊設備至主機板的資料傳輸介面標準PCIe,也將由如今的PCIe 5每秒傳輸32TG,進步到PCIe 7的每秒傳輸128TG。無線通訊將從目前的5G,進步到6G,傳輸速率將超過每秒100Gb。
圖說:AI資料中心正面臨技術轉折點,未來三年,除了追求網路速度要更快,同時也要優化傳輸信號品質。(來源:Keysight)
王欽洲也指出目前AI資料中心具三大挑戰,包括擴充算力及記憶體、提升網路效能提高網速,以及排除計算元件、儲存元件、網路元件多點出錯。
針對客戶研發創新的需求,是德冠上公司名稱Keysight,推出KAI解決方案,包括PCIe 6 的設計驗證、傳輸速率從每秒50G到400G的光收發模組,以及AI負載的仿真,由是德的設備來進行確認,不需佔用GPU的工作量。
迎接更嚴苛的驗證挑戰
王欽洲表示,隨著1.6T光學互連技術在AI資料中心網路中的快速部署,對於高速資料傳輸和嚴格的信號完整性要求,都為量測帶來巨大挑戰。工程師的任務是,在各種嚴峻的作業條件下,鑑定並驗證收發器的效能。此時,測試設備的頻寬、低雜訊和靈敏度,必須具備優異表現。
圖說:是德科技資深區域經理王欽洲介紹KAI系列三項新產品,包括具備最高光學敏感度的取樣示波器、驗證網路互連效能的測試儀,以及對AI工作負載進行模擬的AI資料中心建構系統。
為了支持客戶優化AI資料中心的網路效率,是德推出KAI系列三項產品。第一項是具備業界目前最高光學量測靈敏度的「DCA-M取樣示波器」,將支援次世代資料中心AI叢集之光學互連技術的研發與製造,是該公司專為滿足1.6T光收發器測試的嚴苛需求而設計。
第二項是「互連與網路效能測試儀」(Interconnect & Network Performance Tester 簡稱INPT), 過去數十年來,驗證網路互連效能需要手動操作,不但耗時,而且還需要進階程式設計技能撰寫腳本,幾乎無法實現自動化。
隨著AI和資料中心互連的多樣性、規模不斷擴大,傳統的測試方法已無法準確預測和衡量複雜網路的可靠性。是德全新的「互連與網路效能測試儀」搭載ITS軟體,強調可以自動驗證高速乙太網路和AI資料中心的互連情形。
第三項新產品是「資料中心建構工具」,具備工作負載模擬功能,可將大型語言模型(LLM)和其他AI模型訓練工作,都整合到AI基礎設施來進行驗證,重現真實AI訓練任務時的網路通訊模式,因此可以加速實驗流程、縮短技術熟練所需的學習曲線,並深入揭露效能下降的潛在原因,突破過去透過真實AI訓練任務難以察覺的盲點。加上利用是德從光學到AI工作負載模擬的巨量資料庫,對於AI 工作負載做出回應,實現了硬體設計、協定、架構和AI訓練演算法之間更緊密的協同效應,藉以進一步優化 AI 資料中心的系統效能。
圖說:是德強調KAI系列三項新產品,將協助客戶克服AI資料中心的挑戰,左起「DCA-M取樣示波器」、「互連與網路效能測試儀」,以及「資料中心建構工具」。(來源:Keysight)