高效能神經網路 新思科技推新軟體庫

圖說:新思科技推出新款embARC機器學習推論(Machine Learning Inference)軟體庫,針對使用卷積神經網路(convolutional neural networks,CNN)和循環神經網路(recurrent neural networks,RNN)的低功耗IoT應用進行最佳化。

圖說:新思科技推出新款embARC機器學習推論(Machine Learning Inference)軟體庫,針對使用卷積神經網路(convolutional neural networks,CNN)和循環神經網路(recurrent neural networks,RNN)的低功耗IoT應用進行最佳化。

新思科技近日宣布推出新的embARC機器學習推論軟體庫(embARC Machine Learning Inference software library),當SoC開發人員採用新思科技DesignWare ARC EM 和HS DSP 處理器IP、進行高效能神經網路SoC設計時,可大幅提升開發效能。embARC MLI軟體庫提供開發人優化的功能,可於神經網路各層階中執行, 因此對於語音偵測、語音辨識及感應器資訊處理等需要低功耗與小面積的應用,可大幅減少其處理器的週期數(cycle count)。embARC MLI軟體庫可透過embARC.org取得,該網站專門提供開發人員取得支援ARC處理器的免費開源軟體、驅動程式、作業系統與中介軟體。

耐能智慧(Kneron)創辦人暨執行長劉峻誠表示,「為了提供客戶語音觸發(voice triggering)與語音辨識的超低功耗AI解決方案,我們需要ARC EM DSP這類功耗及面積效率高的處理器IP。藉由提供embARC機器學習推論軟體庫,新思科技提供開發人員所需的基本要件,能在以ARC為基礎的設計上快速實現機器學習運算。」

embARC MLI軟體庫支援ARC EMxD與HS4xD處理器,為中小型機器學習模型的有效推論(effective inference)提供核心要件。它能有效率地執行諸如卷積運算(convolution)、長短期記憶單元、池化運算(pooling)等操作實作、修正線性單元(rectified linear units, ReLU)等激勵函數(activation function),以及包括填充(padding)、轉置(transposing)、串接(concatenation)等資料選路(data routing)的操作,同時還能減少功耗與記憶體使用量(footprint)。舉例來說,像是CIFAR-10等低功耗神經網路用的基準,在ARC EM9D處理器上運作時,比起同級處理器能減少4倍的週期數。此外,MLI軟體庫能在各種神經網路層,例如:深度2D卷積、全連結的基本RNN單元和LSTM單元,帶來平均3到5倍的效能,而針對2D卷積層最高可提升效能達16倍。

新思科技IP行銷副總裁John Koeter表示,「對邊緣裝置(edge device)的嵌入式機器學習功能來說,功耗與晶片面積是很重要的考量。藉由讓各式神經網路在高效能的ARC EM 和HS DSP處理器上運作,新思科技擴展一套ARC處理器供開發人員選擇,以便開發出高效能的AI設計。」




留言