電腦視覺是目前製造業常見一種邊緣AI應用,在疫情爆發後,這樣的需求更大大增加,為了將這項能力延伸到更多邊緣端,讓更多小型IoT或邊緣裝置,也能支援電腦視覺處理能力,用於各種產品檢測、環境及人員監控等,就需要TinyML的能力。

圖片來源: 

攝影/余至浩

2021年,因疫情帶動非接觸式作業新常態,加速企業AI技術落地,從雲端走向邊緣,但在此同時,越來越多雲端AI或ML應用,開始追求更高準確度、發展更多元更深化應用,不僅處理運算越來越複雜,還占用更多記憶體,也更耗電,也因此更難在資源受限的IoT或嵌入式邊緣裝置上執行,成了企業AI落地的挑戰。所以,一種微型機器學習(Tiny Machine Learning,TinyML)的新趨勢,近來趁勢而起,正是為了解決這個難題。

超低功耗邊緣AI應用需求出現,成了TinyML興起的關鍵驅力

TinyML是一種超低功耗的邊緣ML應用新型態,試圖從優化IoT或邊緣裝置上的硬體設計、ML模型、算法和應用軟體,來實現邊緣端AI或ML應用。

一般而言,TinyML適用的裝置類型,以IoT或邊緣裝置為主,因為這類裝置大多是電池驅動的超低功耗裝置,不僅採用高度省電設計,還支援全時待命(always-on),且硬體配置(包含CPU效能、資料吞吐量、記憶體與資料儲存等)遠低於現今的智慧型手機。

以IoT裝置常用Arm低階處理器為例,一顆MCU通常僅有256 KB記憶體和1MB的儲存空間,跟最新款iPhone 13 Pro手機配有高達6GB記憶體和1TB儲存空間相比,兩者硬體配置資源相差懸殊,這也使得想在這一類裝置上提供ML功能,就很容易遇到效能瓶頸,甚至這種超低功耗ML應用要求每次執行ML模型推論時,其功耗必須小於1毫瓦。這正是TinyML應用興起的關鍵驅力,是未來能否讓企業AI真正落地的重要關鍵。

尤其,在過去一年,企業對邊緣AI需求持續增長,使得TinyML近來發展越來越受矚目。根據iThome 2021 CIO大調查,2021年有多達2成企業因為積極轉型跟進投資布局邊緣AI相關技術,用在設備上的異常檢測、狀態監測和預防性維護等。許多過去採用者也持續加大投資力道,例如面板大廠友達,這些年早就在工廠部署近4千個邊緣AI裝置,來發展各種邊緣AI應用。隨著企業邊緣AI應用越來越火紅,也讓TinyML需求日益增加。

純電池驅動的IoT或邊緣裝置未來也能具有ML能力

從應用角度來看,電腦視覺也是目前製造業常見一種邊緣AI應用,還沒疫情前,許多製造公司早就開始在生產環境中,以電腦視覺結合攝影機,用於AOI瑕疵檢測、流程優化和自動化等,在疫情爆發後,這樣的需求更大大增加,用來打造零接觸作業環境,藉此降低人與人接觸的風險。為了將電腦視覺能力延伸到更多邊緣端,讓更多IoT或邊緣裝置,也有產品檢測、環境及人員監控處理能力,就需要TinyML的能力。

也因為有了TinyML處理能力,企業能在許多純電池供電的IoT或邊緣裝置開始提供ML能力,這也意謂著,未來邊緣AI應用設計和部署上,企業可以考慮採取更多彈性作法,像是使用可移動式的邊緣AI攝影機,來根據製造現場變動機動調整與快速因應,不只提供單點設備異常檢測,也可以支援多點檢測。

不光是製造業,許多產業也能因此而有更多不同邊緣AI應用出現。像是農業使用許多IoT感測器裝置,以後可以結合AI異常偵測,除了能偵測土壤溫濕度變化,也透過AI即時找出生長異常的農作物和檢測有無害蟲。不少醫院也有各種醫療檢測裝置,能監測病人生理狀況,未來同樣能搭配AI影像辨識提高病人醫療照護效率。甚至在零售物流業上常見的AGV搬運機器人,透過加入AI視覺偵測能力,也能因此變得更聰明。這些電池驅動的AIoT或邊緣AI裝置,正因為有TinyML才能夠辦到。

隨著硬體逐步到位,TinyML應用有望在2022年起飛

現階段TinyML發展,主要從ML模型與硬體優化來實現超低功耗裝置的ML應用。Arm也歸納了實現TinyML的5種常見ML模型架構和優化的方法,包括降低精度、資料重覆利用、權重壓縮、轉換、稀疏運算等。

針對這種超低功耗的邊緣AI應用型態,近來有越來越多學術或研究機構投入研究,像是MIT與IBM共同成立的Watson AI Lab實驗室團隊最近開發出新的神經網路架構MCUNetV2,就是為了因應TinyML需求而設計,能將MCU處理器執行CNN算法所使用記憶體,減少到現行ML算法的4到8分之一,透過MCUNetV2神經網路架構來建立CNN模型,在ImageNet圖像分類測試中,僅需使用465KB記憶體,就可達到近72%的辨識準確度。

目前一些主流ML框架也能支援TinyML應用。例如Google原本就有推出輕量版TensorFlow Lite框架,可以將訓練完的ML模型轉換成體積更小的TinyML模型,部署到各種低功耗硬體上,除了能支援Arm Cortex-A、Cortex-R處理器,後來還推出可在更低階Cortex-M處理器執行ML模型的版本,Cortex-M也是目前物聯網和嵌入式應用主要採用處理器,可用於人員偵測、手勢辨識、字詞偵測等。

除了優化ML模型和架構外,在硬體設計過程中,也有一些新作法,來因應TinyML需求。Arm在兩年前發表Arm Cortex-M55處理器IP產品中,首度將機器學習能力帶進IoT硬體中,讓IoT晶片開始支援TinyML應用,如果從產品推出到真正進到市場大約需要2年來估算,預期2022年開始會有相關產品推出。

Arm當時還有發布另一個神經網路處理器IP產品Arm Ethos-U55,不僅省電,在AI效能更獲得百倍提升。除此之外,還有AI晶片業者推出採取記憶體運算的硬體架構平臺,可執行DNN推論所需的運算,最多可處理113M (百萬)權重數量和提供每瓦4 TOPS運算能力。

市調機構ABI Research預估,到2022年時,採用TinyML晶片的邊緣AI裝置出貨量將達12億個。Gartner調查則指出到了2027年,每十臺邊緣裝置,就有6臺具備深度學習執行能力。

隨著TinyML越來越受到重用,對企業來說,更應該思考的是,許多雲端AI或ML應用落地後,未來如何部署和管理這些超低功耗邊緣AI裝置和TinyML模型,將成為企業AI落地的另一項考驗。


熱門新聞

Advertisement