編者按：日前，數(shù)千項重大科技成果在國家“十三五”科技創(chuàng)新成就展集中展示，中科院多項成果入選其中。“中科院之聲”特開設(shè)《中科院“十三五”科技創(chuàng)新成就展示》專欄，將帶您一起深入了解其中的成果，看看這些重大研究背后的故事。
自動化所自主研發(fā)的極低比特量化神經(jīng)處理芯片（QNPU）。丁典攝
深度學(xué)習(xí)近些年來迅猛發(fā)展，在人工智能（AI）領(lǐng)域顯現(xiàn)出了強大的威力。然而這一切是有代價的。為了完成日益復(fù)雜的AI任務(wù)，神經(jīng)網(wǎng)絡(luò)模型體量暴增，對服務(wù)器的儲存和算力要求也水漲船高，由此產(chǎn)生的經(jīng)濟成本、耗費的電量、對環(huán)境的污染正困擾著這個行業(yè)。
AI這場“游戲”正變得越來越“笨拙”，也越來越奢侈。于是，輕量化人工智能（Tiny AI）被寄予厚望，通過對AI模型及其計算載體的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技評論》將“Tiny AI”列為“全球十大突破性技術(shù)”。
中科院自動化研究所（以下簡稱自動化所）是國際上最早開展AI輕量化設(shè)計的機構(gòu)之一?！笆濉逼陂g，自動化所研究團隊在“AI芯片—平臺—算法”全棧輕量化AI技術(shù)中取得了一系列成果，成為新一代AI的“先行者”。
降低AI應(yīng)用門檻
2014年左右，自動化所研究員、主要從事圖像和視頻內(nèi)容分析的程健在利用日益活躍的神經(jīng)網(wǎng)絡(luò)模型進行圖像與視頻的智能識別、搜索時，感受到了一種前所未有的“慢”。
識別和搜索是一項對速度、效率要求非常高的任務(wù)。但隨著神經(jīng)網(wǎng)絡(luò)模型的體形越來越大、參數(shù)越來越多、計算越來越復(fù)雜，必須依靠專門的服務(wù)器或者連接云端才能運行模型，它是以犧牲效率為代價的。
自動化所研究員張一帆表示，這也抬高了AI應(yīng)用普及的門檻。由于與人們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的一些低配置、低成本的終端平臺根本無法支撐龐大的神經(jīng)網(wǎng)絡(luò)模型的運行，因此很難實現(xiàn)AI賦能。
盡管模型越大意味著性能越強，但程健想到，也許應(yīng)該換一種思路，在確保精度接近無損的前提下，給AI模型及其計算載體“瘦身”，比如減少計算量、降低模型復(fù)雜度等，從而提升終端運行的效率。但這是一個極具挑戰(zhàn)性的任務(wù)。
2015年，程健帶領(lǐng)團隊進行了第一次嘗試，把此前無法在手機端搭載的龐大的深度卷積神經(jīng)網(wǎng)絡(luò)VGG，壓縮了20多倍，使之第一次在手機上完成了快速運行。借助經(jīng)過輕量化“加工”的神經(jīng)網(wǎng)絡(luò)模型，研究人員加載了一個圖像分類識別的應(yīng)用，當(dāng)時智能化程度還較低的手機就已經(jīng)可以實現(xiàn)對日常生活中1000多類物體的快速識別，而不需要依靠云端計算。
這次成功的嘗試讓程健相信，Tiny AI這條路不僅走得通，而且很有可能成為未來AI發(fā)展的主干道。因為，它可以使AI應(yīng)用的門檻大大降低，使之成為普惠民生的智能生態(tài)。
在此之后，自動化所研究團隊在國際AI會議發(fā)表了多篇神經(jīng)網(wǎng)絡(luò)模型輕量化領(lǐng)域的重要論文，成為國際上最早開始Tiny AI研究的團隊之一?！斑x擇這個方向，既是問題驅(qū)動的，也是社會需求推動的。”程健表示。
軟硬件協(xié)同設(shè)計
Tiny AI是以一系列輕量化技術(shù)為驅(qū)動提高算法、平臺和芯片的效率，在更緊密的物理空間上實現(xiàn)低功耗的AI訓(xùn)練和應(yīng)用部署，不需要依賴于云端交互就能實現(xiàn)智能化操作，被視為AI的重要應(yīng)用方向。自動化所團隊在“十三五”期間，分別從軟件和硬件兩方面進行攻關(guān)。
自動化所副研究員王培松介紹，研究團隊首先從最上層的算法入手，提出了稀疏表示、量化計算等一系列技術(shù)手段，把神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜度以及存儲復(fù)雜度大大降低。
但問題隨之而來?！拔覀儼l(fā)現(xiàn)，要使推理和算法從云端遷移到終端成為可能，需要一個合適的工具或者框架提供支撐，因此必須在移動端或設(shè)備端定制一個推理框架?！弊詣踊┦亢鷳c浩提到，研究團隊用一年半時間自主設(shè)計開發(fā)出了一個Tiny AI平臺QEngine。
而后，研究人員對模型進行輕量化設(shè)計，輔以合適的平臺提供支持，但運行速度依然不達標(biāo)，這才讓他們下定決心從底層硬件尋求突破。AI芯片作為AI的硬件載體，要能達到更高的性能、更高的效率、更低的功耗和更小的體積，最大化發(fā)掘硬件的能力。
讓王培松信心倍增的是，2019年，在國際神經(jīng)信息處理系統(tǒng)大會（NeurIPS）上舉行的神經(jīng)網(wǎng)絡(luò)壓縮與加速競賽中，團隊與國際一流高校、芯片公司同場競技，其設(shè)計的輕量化神經(jīng)網(wǎng)絡(luò)架構(gòu)獲得了圖像類賽道雙料冠軍。2020年，自動化所自主研發(fā)的極低比特量化神經(jīng)處理芯片（QNPU）也成功流片。
新一代AI逐浪者
自動化所軟硬協(xié)同輕量化的技術(shù)研究一直走在國際前列。Tiny AI平臺QEngine及輕量化算法已經(jīng)在數(shù)十萬終端上部署。國內(nèi)的很多企業(yè)產(chǎn)品都應(yīng)用了自動化所的Tiny AI技術(shù)。
比如，基于Tiny AI研制的自主巡檢無人機、缺陷識別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統(tǒng)穩(wěn)定；在消費電子行業(yè)，輕量化的算法及輕量化神經(jīng)網(wǎng)絡(luò)計算架構(gòu)可有效實現(xiàn)暗光增強、超分辨率等，為手機終端、安防終端提供了影像增強效果；在教育終端的人機互動領(lǐng)域，“輕量化指尖點讀解決方案”賦予了低端硬件平臺高端AI算力……
程健表示，Tiny AI一直默默地服務(wù)于人們?nèi)粘Ｉ钪泻芏郃I應(yīng)用需求，但遠(yuǎn)遠(yuǎn)沒有走到頭。特別是在計算性能極弱的單片機，以及在各種空調(diào)、冰箱等家電中算力較弱的計算芯片上，實現(xiàn)比較復(fù)雜的AI任務(wù)任重道遠(yuǎn)。除此之外，目前Tiny AI基于的軟件和硬件平臺，大多還是針對大模型、云端開發(fā)來搭建的。未來要能最大化實現(xiàn)極致效率，還要進一步完善軟硬件的協(xié)同設(shè)計。
博士階段就跟著程健初涉Tiny AI領(lǐng)域的王培松和胡慶浩是與這一前沿領(lǐng)域共同成長起來的，目前已經(jīng)是團隊的核心成員?！澳苴s上新一代AI的歷史潮流，并勇立潮頭，對我們年輕科研人員來說是一件很幸運且自豪的事。”
胡慶浩也坦言，新一代AI的角逐中，國際競爭激烈，特別是在輕量化算法設(shè)計和AI芯片領(lǐng)域，誰能突出重圍，謎底有待揭曉。
來源：中國科學(xué)報
版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容， 請發(fā)送郵件至 舉報，一經(jīng)查實，本站將立刻刪除。