群聯AI方案aiDAPTIV+升級 AI NB支援LLMOps

圖說:群聯擴展 aiDAPTIV+ GPU 記憶體擴充能力,支援更多平台 提升邊緣 LLM 訓練與推論效能。

全球 NAND 控制晶片暨儲存方案技術廠商 群聯 (Phison, 8299TT) 19日宣布,其邊緣 AI 訓練與推論解決方案 aiDAPTIV+ 再度升級,提供更多擴充能力。aiDAPTIV+ 將整合至 Maingear 的ML 系列筆電,這款 AI 筆電將成為全球首款支援 LLMOps (Large Language Model Operations; 大型語言模型運作業) 的消費級筆電,使用者用戶將可使用自身企業或個人資料來微調 (Post-training/Fine-tuning) 最多 80 億 (8B) 參數的大型語言模型 (LLM),讓預訓練 (Pre-trained) 的AI模型能依據邊緣應用場景與使用者需求進行客製化 (Post-training),以達到真正的AI落地普及化。此款搭載 NVIDIA GPU的AI筆電將於本週 (3/17-21, San Jose, USA) 於NVIDIA GTC 2025 展示概念機並開放登記購買。此外,群聯也將 aiDAPTIV+ 擴展至支援 NVIDIA Jetson 平台的邊緣運算設備,強化在邊緣端的生成式 AI 推論與機器人應用。

隨著此次升級,aiDAPTIV+ 用戶將迎來全新的 aiDAPTIVLink 3.0 中介軟體 (Middleware Software),提供更快的首次回應時間 (Time to First Token, TTFT),並延長 Token 長度,以提升推論效能與準確性。此擴展將進一步開啟更多應用機會,無論是大學生或AI 產業專業人士學習 LLM 訓練,或是研究人員透過 PC 深入解析自身資料,甚至是製造工程師透過邊緣運算設備自動化工廠生產流程,皆能受益於 aiDAPTIV+此次的功能升級。

AI 與邊緣運算應用場景日益增多,市場對 AI 開發人才的需求持續攀升。開發者需要親身操作 LLM 訓練解決方案,以建立未來AI應用所需要的AI軟體或是專屬邊緣AI模型,而政府機構、研究機構、醫療與工業組織等高度受監管之產業,則需要邊緣、安全的地端AI設備來進行私有資料的 AI模型微調訓練 (Post-training/Fine-tuning)。此外,市場對 LLM 推論速度與準確度的要求不斷提升,企業更希望在可預測的成本下,獲得最佳解決方案。aiDAPTIV+ 以經濟實惠的 GPU 記憶體擴充能力,讓用戶可在邊緣封閉式安全網路內微調訓練大語言模型 (LLM),並透過直覺化軟體介面與AI型互動,獲取所需的AI生成關鍵資訊。

「延續去年 GTC 展出的 aiDAPTIV+ AI 訓練工作站熱潮,我們與群聯深化合作,推出概念性 AI 筆電,讓強大的邊緣 AI 推論與裝置端模型訓練無處不在。」Maingear 執行長 Wallace Santos 表示,「這項技術突破將邊緣 AI 能力帶入輕便的行動平台,為企業、教育機構與學生提供經濟高效的 AI 開發工具,無需倚賴傳統數據中心基礎設施。」

群聯電子執行長潘健成表示,AI的發展已經來到一個關鍵時刻,企業、學術界與開發者都需要更靈活、高效的邊緣AI解決方案來擴大AI的落地應用。群聯的aiDAPTIV+不僅讓用戶能在個人筆電或邊緣設備上訓練與推理AI模型,還確保資料安全、降低成本,真正實現AI邊緣運算的便利性。今年,我們與Maingear攜手推出全球首款支援LLMOps的AI筆電,並強化aiDAPTIVLink 3.0的效能,讓LLM的回應速度更快、理解力更強。此外,群聯進一步擴展與NVIDIA Jetson平台的合作,將aiDAPTIV+導入邊緣運算與機器人應用,讓更多產業如製造、醫療、零售、智慧監控等領域,都能透過AI提升營運效率與決策精準度。透過這些技術突破,我們希望幫助更多企業與開發者打破AI導入技術門檻,加速AI落地應用,讓智慧運算真正融入日常工作與生活。

Maingear ML 系列 AI 筆電,內建 aiDAPTIV+ 支援 LLMOps 

這款 AI 筆電為全球首款支援 LLMOps 微調訓練與推論的消費級筆電,可處理最多 80 億參數的模型。Maingear AI 筆電搭載 aiDAPTIVCache SSD、aiDAPTIVLink 中介軟體,以及 Pro Suite 圖形化 LLMOps 全方位功能,涵蓋資料導入、微調、檢索增強生成 (RAG)、監控、驗證與推論。用戶可透過 Maingear 登記,獲取訂購與出貨通知。

aiDAPTIVLink 3.0 中介軟體 

新版 aiDAPTIVLink 3.0 可強化推論能力,提供更快的 TTFT 回應速度,並支援更長的 Token 長度,提升語意理解與回答準確度。此功能將於 2025 年 4 月推出。

aiDAPTIV+ AI 推論支援 IoT 邊緣運算 

aiDAPTIV+ 現已支援邊緣運算與機器人應用,並通過群聯驗證,可在 NVIDIA Jetson 平台設備上運行。aiDAPTIV+ 透過 aiDAPTIVCache SSD 強化推論能力,並支援 LoRA 架構 LLM 訓練,將於 2025 年 4 月上市。此升級可應用於自動駕駛、醫療診斷、工業自動化、零售分析、環境監測、電信、智慧監控及智慧農業等領域。

回到頂端