高通攜Meta使用Llama 2實現裝置上AI應用

高通攜Meta使用Llama 2實現裝置上AI應用

圖說:高通規劃2024年開始在旗艦智慧型手機和PC上提供基於Llama 2的AI部署,讓開發人員能夠使用Snapdragon平台的AI功能,推出令人期待的全新生成式AI應用。

高通技術和 Meta正攜手致力於最佳化Meta的 Llama 2大型語言模型直接在裝置上的執行,不再只能依賴雲端服務運作。能夠在智慧型手機、PC、VR/AR頭戴式裝置和汽車等裝置上運行如Llama 2這類的生成式AI模型,將能讓開發人員節省雲端成本,同時為使用者提供保護隱私、更可靠且個人化的體驗。

因此,高通技術計劃實現基於Llama 2的裝置上AI部署,以支援打造令人期待的全新AI應用。這將讓客戶、合作夥伴和開發人員能建構如虛擬智慧助理、生產力應用程式、內容創造工具、娛樂等使用案例。這些搭載Snapdragon的全新裝置上AI體驗,可在沒有連網的地區、甚至是飛航模式中運行。

高通技術資深副總裁暨技術、規劃和邊緣解決方案業務總經理 Durga Malladi 表示:「我們讚賞Meta在AI技術上採取開放和負責的策略。高通技術致力於推動創新,透過將生成式AI導入裝置,將為各種規模的開發人員降低入門的門檻。為了將生成式 AI有效地規模化擴展至主流市場,AI 需要同時能在雲端與如智慧型手機、筆記型電腦、汽車和物聯網裝置等邊緣裝置上運行。」

Meta和高通技術長期合作,共同推動技術創新,提供新一代的頂級裝置體驗。兩家公司目前攜手支援Llama生態系,範圍橫跨研究和產品工程工作。藉由裝置上AI的領先地位,高通技術在支援Llama生態系方面獨具優勢。該公司在邊緣裝置具有無可比擬的布局——全球數十億的智慧型手機、汽車、XR頭戴式裝置和眼鏡、PC、物聯網等裝置,皆搭載高通領先業界的AI硬體和軟體解決方案——為生成式AI帶來規模化擴展的機會。

高通技術規劃將於2024年開始在搭載Snapdragon平台的裝置上支援基於Llama 2的AI部署。開發人員自今日開始便可使用高通AI疊層針對裝置上AI進行應用最佳化。高通AI疊層是一套可在Snapdragon平台上更有效地處理AI的專用的工具,即使在輕薄小巧的裝置上也可支援裝置上AI。

回到頂端