圖說：創鑫智慧將於2024台北國際電腦展AI運算暨系統解決方案區，展出其生成式AI方案。
致力研發高能效AI ASIC（特定應用積體電路）的創鑫智慧（Neuchips），將於2024台北國際電腦展（COMPUTEX 2024）推出整合RAG（檢索增強生成）與LLM（大型語言模型）的端到端( end-to-end AI )解決方案，搭配企業內部既有硬體系統即可部署本地端GPT節能加速方案，顯著降低企業導入LLM的時間與總擁有成本。該解決方案支援多種開源的中文、英文大型語言模型，包含台灣可信任生成式AI模型TAIDE，讓政府等機敏單位亦可擁有AI賦能優勢。
創鑫智慧執行長劉景慈表示：「我們採用自行研發、台積電7奈米製程製造的ASIC－Raptor生成式AI晶片（原稱N3000），製作成能夠安裝至小型電腦或工作站的Viper生成式AI卡及整合式的LLM解決方案，無須額外投入人力、電力、空間等成本，即可結合軟硬體合作夥伴打造企業專屬應用。」
企業已認知到將AI導入工作流程對於提升生產力的重要性，但其複雜部署方式與大量先期投入成本卻成為企業裹足不前的鴻溝。Viper生成式AI卡使用PCIe介面和電腦連結，擁有半高半寬外型規格體積小巧的優勢，功耗最低僅需35瓦，可直接安裝至既有電腦，或是企業內部負責儲存資料的NAS（網路附加儲存裝置），進一步強化資料檢索的便利性，更有利於生成式AI發展；該產品甚至支援最多48GB的記憶體空間，可提供企業本地端作為向量資料庫（Vector Database）使用，於單一張生成式AI卡上有效率地完成索取資料、檢索、增強及生成等任務，端對端的運作效率是CPU的10倍以上，加上不須額外連網可離線使用的特色，無須擔心企業敏感資料外洩或是成為資安隱憂。
Viper生成式AI卡內建Raptor生成式AI處理器，能夠大幅度卸載生成式AI工作負載對於CPU的負擔，其中嵌入引擎（Embedding Engine）可強化流程中的向量相似度檢索（Vector Similarity Search）的效率及精準度，一體達成檢索增強與生成等工作，強化流程應用與系統效能最佳化。RAG能夠在不重新訓練LLM的前提下，從外部擷取新資訊並整合，節省大量重新訓練AI模型的時間與成本，同時提升推論準確性並根據企業應用需求進行微調。
創鑫智慧將於2024台北國際電腦展現場，偕同合作夥伴展出最新、最完整的產品陣容。
2024台北國際電腦展－創鑫智慧參觀資訊
- 時間：2024年6月4日至6月7日，上午9：30至下午5：30
- 地點：台北南港展覽館1館4樓（台北市南港區經貿二路1號4樓）
- 展區：AI運算暨系統解決方案區N1301a
