圖說：新思科技推出新款embARC機器學習推論（Machine Learning Inference）軟體庫，針對使用卷積神經網路（convolutional neural networks，CNN）和循環神經網路（recurrent neural networks，RNN）的低功耗IoT應用進行最佳化。
新思科技近日宣布推出新的embARC機器學習推論軟體庫（embARC Machine Learning Inference software library），當SoC開發人員採用新思科技DesignWare ARC EM 和HS DSP 處理器IP、進行高效能神經網路SoC設計時，可大幅提升開發效能。embARC MLI軟體庫提供開發人優化的功能，可於神經網路各層階中執行， 因此對於語音偵測、語音辨識及感應器資訊處理等需要低功耗與小面積的應用，可大幅減少其處理器的週期數（cycle count）。embARC MLI軟體庫可透過embARC.org取得，該網站專門提供開發人員取得支援ARC處理器的免費開源軟體、驅動程式、作業系統與中介軟體。
耐能智慧（Kneron）創辦人暨執行長劉峻誠表示，「為了提供客戶語音觸發（voice triggering）與語音辨識的超低功耗AI解決方案，我們需要ARC EM DSP這類功耗及面積效率高的處理器IP。藉由提供embARC機器學習推論軟體庫，新思科技提供開發人員所需的基本要件，能在以ARC為基礎的設計上快速實現機器學習運算。」
embARC MLI軟體庫支援ARC EMxD與HS4xD處理器，為中小型機器學習模型的有效推論（effective inference）提供核心要件。它能有效率地執行諸如卷積運算（convolution）、長短期記憶單元、池化運算（pooling）等操作實作、修正線性單元（rectified linear units， ReLU）等激勵函數（activation function），以及包括填充（padding）、轉置（transposing）、串接（concatenation）等資料選路（data routing）的操作，同時還能減少功耗與記憶體使用量（footprint）。舉例來說，像是CIFAR-10等低功耗神經網路用的基準，在ARC EM9D處理器上運作時，比起同級處理器能減少4倍的週期數。此外，MLI軟體庫能在各種神經網路層，例如：深度2D卷積、全連結的基本RNN單元和LSTM單元，帶來平均3到5倍的效能，而針對2D卷積層最高可提升效能達16倍。
新思科技IP行銷副總裁John Koeter表示，「對邊緣裝置（edge device）的嵌入式機器學習功能來說，功耗與晶片面積是很重要的考量。藉由讓各式神經網路在高效能的ARC EM 和HS DSP處理器上運作，新思科技擴展一套ARC處理器供開發人員選擇，以便開發出高效能的AI設計。」
