圖說：左起Arm 物聯網事業部亞太區資深經理黃晏祥、Arm 應用工程總監徐達勇、Arm 主任應用工程師林宜均。
Arm 27日發佈其 Armv9 邊緣人工智慧 （AI）運算平台，該平台以全新的 Arm Cortex-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，可支援運行超過 10 億個參數的邊緣端 AI 模型。
Arm 資深副總裁暨物聯網事業部總經理 Paul Williamson 表示：「AI 的革新已不再侷限於雲端。隨著世界的互聯和智慧化水準的日益提升，從智慧城市到工業自動化，在邊緣端處理 AI 工作負載不僅帶來顯著的優勢，其必要性更是不可或缺。專為物聯網打造的 Armv9 邊緣 AI 運算平台的推出，說明了此一發展趨勢已邁入了重要的里程碑。」
Armv9 邊緣 AI 運算平台—在邊緣端整合效率、安全和智慧
OEM 廠商正面臨著前所未有的壓力，迫切需要快速推出解決方案，以因應物聯網應用不斷攀升的運算需求，這些需求包括自動駕駛汽車在工廠環境中的精準導航、智慧相機透過軟體升級以靈活調整功能，以及建構能夠提供更自然 AI 互動體驗的人機界面。
為了快速創新和擴展，OEM 廠商需要在合適的位置靈活執行 AI 工作負載，以實現更強大的安全性和更高的軟體靈活性，Armv9 技術正是能在大規模應用中滿足這些需求的理想之選。Arm 此次發佈的運算平台整合了全新的超高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運算子網路的 Ethos-U85 NPU，打造出全球首個專為物聯網優化的 Armv9 邊緣 AI 運算平台。相較於去年推出的基於 Cortex-M85 的平台，新的邊緣 AI 運算平台的機器學習（ML）效能提高了八倍。
Arm 技術的廣泛應用，使得合作夥伴現在能夠在從雲端到邊緣端的各種運算場景中部署強大的 Armv9 技術。從授權該技術以建構 SoC 晶片的合作夥伴，到建構次世代裝置的 ODM 和 OEM 廠商，該平台受到包括亞馬遜網路服務公司（AWS）、西門子、瑞薩電子、研華科技和 Eurotech 在內的多家業界領先合作夥伴的支持。
全新 Cortex-A320 為下一代智慧物聯網裝置奠定安全基礎
新型邊緣 AI 運算平台的推出，樹立了邊緣運算發展的重要里程碑。Cortex-A320 為物聯網帶來了先進的 AI 功能和開發人員優勢，將 Armv9 架構的功能擴展到高效率的裝置，並提供全面的軟體支援。
Cortex-A320 充分發揮了 Armv9 架構的優勢，例如針對 ML 效能的 SVE2。相較於前代產品 Cortex-A35，Cortex-A320 的 ML 效能提升了十倍，純量效能提升了 30%。
該平台所採用的 Armv9.2 架構還為最小的 Cortex-A 裝置帶來了先進的安全功能，例如指標驗證 （PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）。這一功能相當重要，因為邊緣裝置通常在暴露的環境中運行並處理敏感性資料。
隨著邊緣 AI 在 Arm 平台上持續整合，這一全新產品的加入使 Arm 現已能為物聯網提供最為先進的 Armv9 Cortex 處理器系列，範圍從極致效能到成本和電源受限的裝置。
將 Arm Kleidi 擴展到物聯網
邊緣 AI 普及所面臨的最主要障礙之一就是軟體發展和部署的複雜性，這正是 Armv9 邊緣 AI 運算平台軟體生態系可展現優勢的關鍵所在。Arm 將 Arm Kleidi 擴展到物聯網，這是一套針對 AI 框架開發人員的運算庫，其目標在於優化基於 Arm CPU 的 AI 和 ML 工作負載，無需開發人員額外操作。KleidiAI 已整合到常見的物聯網 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（透過 XNNPACK），加速了 Meta Llama 3 和 Phi-3 等關鍵模型的效能。例如，在 Llama.cpp 上運行微軟的 Tiny Stories 資料集時，KleidiAI 為新的 Cortex-A320 帶來了高達 70% 的效能提升。
這些提升相當關鍵，因為在當今快節奏的技術環境中，產品的上市速度往往決定其成敗。新的邊緣 AI 運算平台確保了與高效能 Cortex-A 處理器在軟體層面的無縫相容。這種可擴展性使開發人員能夠打造可隨需求變化而靈活調整的解決方案。借助龐大的 Armv9 生態系，以及與 Linux 等功能豐富的作業系統和 Zephyr 等即時操作系統的相容性，開發人員擁有了前所未有的靈活性。他們可以充分運用現有的工具和知識，以及軟體重複使用的優勢，進而加快產品上市時間，並降低總體擁有成本。全球有 2,000 多萬名活躍的 Arm 開發人員，這為未來的技術創新提供了巨大潛力。
展望未來，顯而易見的 AI 的未來趨勢將轉向邊緣，而全新 Arm 邊緣 AI 運算平台將成為新一波物聯網創新的催化劑。Armv9 架構的特性、先進的 AI 功能和全面軟體支援的結合，為 OEM 廠商和開發人員創造了新的可能性。
該平台能夠支援在基於代理人的 AI 應用上運行經過調校的大型語言模型（LLM）和小型語言模型 （SLM），進而開闢全新類別的邊緣應用場景。在未來的場景中，智慧決策將更接近資料獲取源頭，這不僅能大幅減少延遲，還能有效提升隱私保護水準。
這不僅只是一次漸進式的進展，它代表著產業對邊緣運算和 AI 處理方式的根本性變革。這是產業首次見證專為物聯網應用優化的 Armv9 CPU，將超高效率與先進 AI 能力結合，實現了前所未有的突破。
研華科技嵌入式事業群總經理 張家豪表示，「邊緣 AI 的發展步伐日益加速，Arm 物聯網運算架構方面的進步將為邊緣智慧帶來新的可能性。做為邊緣運算和邊緣 AI 領域的領先企業，研華科技認為此一創新代表著 Arm 生態系向前邁出重要一步，它將協助各行各業打造出更智慧、效率更高且更安全的 AI 應用。此一創新將激發邊緣運算市場的產業榮景與技術突破。」
亞馬遜網路服務公司物聯網技術負責人 Yasser Alsaied表示，「全新的 Arm 邊緣 AI 運算平台為我們的客戶實現在 Armv9 技術上運行 AWS IoT Greengrass 的輕量裝置運作環境— Nucleus Lite，進而讓邊緣裝置以最低的記憶體需求高效率地運行。這兩項技術的無縫整合為開發人員提供了優化的解決方案，支援建購現代邊緣 AI 應用，例如精準農業中、智慧製造和自動駕駛的異常檢測。」
