高通攜手Cirrascale 推動新一代高能效AI推論

圖說:高通攜手Cirrascale推動新一代高能效AI推論

高通技術與Cirrascale Cloud Services今(18)日宣布,專為新一代機架級AI推論打造的Qualcomm Dragonfly AI200解決方案,現已透過Cirrascale開放特定客戶進行評估。

隨著生成式AI從模型開發邁向大規模部署,推論效能、功耗與成本已成為雲端服務供應商及企業的重要考量。Qualcomm Dragonfly AI200專為因應這些挑戰而設計,結合大容量記憶體、機架級運算效能、以及針對推論最佳化的軟體堆疊,協助客戶以優異的成本效能與每瓦效能,部署大型語言模型、多模態模型及其他AI工作負載。

透過此次合作,Cirrascale現可為特定客戶提供AI雲端環境,讓客戶使用自身模型與工作負載評估及驗證Qualcomm Dragonfly AI200。雙方亦提供平台驗證、工作負載特性分析、效能基準測試及概念驗證(PoC)等技術支援。

Cirrascale Cloud Services執行長Dave Driggers表示:「AI的整體經濟效益,正日益取決於推論階段的成本與效率。我們的客戶需要兼具效率與擴展能力的基礎設施,以支援日益複雜的模型,同時避免電力與營運成本成為發展瓶頸。透過與高通技術合作,我們能讓客戶實際評估專為新一代AI推論打造、極具吸引力的全新架構。」

Qualcomm Dragonfly AI200每張加速卡支援768 GB LPDDR記憶體,提供大規模AI推論所需的記憶體容量與彈性。其架構專為支援兆級參數規模的新一代基礎模型推論而設計,提供先進AI應用所需的效能與效率。此機架級解決方案亦整合直接液冷、PCIe向上擴充(scale-up)、乙太網路向外擴展(scale-out)及機密運算技術,並搭配Qualcomm AI Management Suite,同時獲得主流AI框架生態系的支援。

除了通用型基礎設施外,特定客戶現在也能透過Cirrascale的雲端環境,評估專為AI推論打造的平台。Cirrascale具備專用AI雲端基礎設施與託管服務的營運經驗,並提供透明的固定費率商業模式,不收取資料傳入或傳出費用。

高通技術執行副總裁暨資料中心部門總經理Tony Pialis表示:「AI推論正成為資料中心規模最大、最重要的運算工作負載之一,產業需要更有效率的解決方式。Qualcomm AI200將我們在高效能、低功耗AI運算方面的優勢延伸至機架級基礎設施,其架構針對推論的效能、記憶體及成本需求而設計。透過與Cirrascale合作,客戶可直接使用自身工作負載評估這項技術,並實際了解由此帶來的資料中心整體經濟效益。」

雙方預期,此次合作將為高通技術未來多世代資料中心AI推論產品藍圖的持續合作奠定基礎。

Qualcomm Dragonfly AI200現已透過Cirrascale開放特定客戶進行評估。11月17日至18日於芝加哥舉行的SC26大會期間,Cirrascale亦將於其 #1046攤位展示此解決方案。

此外,高通技術工程資深副總裁Rashid Attar將與Cirrascale執行長David Driggers、Meta研究科學家暨技術負責人Pavan Balaji,以及imec運算系統擴展產品組合部門副總裁Greg Yeric,共同18日舉行的參與TechArena早餐座談,探討近記憶體運算與AI基礎設施的未來。

回到頂端