在這個“無產業(yè)不AI,無應用不AI,無芯片不AI”的時代,AI芯片作為人工智能時代的技術核心之一,決定了平臺的基礎架構和發(fā)展生態(tài),在全球具有深不可測的市場規(guī)模。但是,目前國內外都面臨一個共同的難題——缺乏統(tǒng)一的芯片評測標準。因此,打破AI芯片測評領域混亂無序的阻礙,對整個人工智能產業(yè)的發(fā)展而言至關重要。

　　11月1-2日,由中國人工智能產業(yè)發(fā)展聯盟、杭州市人民政府主辦的“AIIA2019人工智能開發(fā)者大會(AIDC)暨第四屆中國(杭州)人工智能產業(yè)發(fā)展論壇”在杭州召開。借此業(yè)內學術泰斗齊聚,百家名企同堂的難逢之機,中國人工智能產業(yè)發(fā)展聯盟總體組組長孫明俊在主報告會上重磅發(fā)布AIIA DNN benchmark v0.5 云側推斷任務基準測試首輪試評估結果,引起巨大反響。

　　AIIA DNN benchmark項目是由中國人工智能產業(yè)發(fā)展聯盟聯合20余家企業(yè)、高校及科研機構深入研發(fā),傾情推出的AI芯片測評認證工具,旨在提供專業(yè)評估評測服務,助力AI芯片行業(yè)快速爆發(fā),引領人工智能行業(yè)飛躍發(fā)展。

　　中國人工智能產業(yè)發(fā)展聯盟總體組組長孫明俊

　　中國人工智能產業(yè)發(fā)展聯盟總體組組長孫明俊解讀道:“目前,我們已經制定兩套評估規(guī)范,完成兩輪共7款端側評估,v0.5云側評估評測工作于今年7月啟動,經過4個月的努力,完成了首輪的試評估工作。”這意味著AIIA DNN benchmark的端+云全方位基準測試方案已經形成,相應網站也已全新上線(www.aiiaorg.cn/benchmark),將為人工智能行業(yè)帶來一番風云變化。

　　下面,帶你解讀, AIIA DNN benchmark v0.5 云側推斷任務首輪試評估工作。報告全文(此處附超鏈接:https://mp.weixin.qq.com/s/36nYEUzrPbnx2UWWL26eQg)

　　亮點一:多角度全面助力評測行業(yè)發(fā)展

　　在深度學習模型的發(fā)展史中,殘差網絡因其簡單而有效的結構與異常有效的結果占據了非常重要的位置。隨著網絡結構或模型的快速迭代,以及芯片工藝的不斷更新,ResNet50這個業(yè)界的黃金標桿是否還能真正反映芯片能力?

　　AIIA DNN benchmark以更加貼近真實應用場景的測評方式,打破了基準測試單網絡單指標刷榜的模式,可提供7種場景13種網絡測試,其所有指標旨在提供準確的比對維度,如實反映當前提升深度學習處理能力的AI加速器的現狀。

　　亮點二:五大維度衡量芯片性能

　　中國人工智能產業(yè)發(fā)展聯盟根據實際部署中所考慮的指標,經過前期向20余家企業(yè)、科研機構的相關專家進行意見征集及展開專業(yè)討論,最終確定AIIA DNN benchmark v0.5版本云側推斷任務從以下五個維度出發(fā),衡量云側加速卡整體性能,可客觀反映當前行業(yè)現狀。

　　延遲:作為推斷任務的重要指標,能夠直觀反映芯片處理任務的速度。

　　精度損失:在部署深度學習任務過程中,各家加速卡都有自己的推理框架以用于模型的轉換和部署,其顯示的精度損失可用于反映測試數據集推斷所達到的處理效果。

　　吞吐量:在實際深度學習推理任務部署中,多batch的處理能力尤為重要。

　　功耗:芯片的晶體管數量和芯片面積決定了算力,面積越大,算力越強,但功耗也將隨之增加,可作為推斷芯片性能的指標之一。

　　能效比(每瓦算力):算力與能耗往往相互制約,該方案可測算AI芯片能耗比,反饋給企業(yè)及時改良,助其進一步實現高性能與低功耗、低延遲、低成本之間的平衡。

　　亮點三:“芯”能力榜單助力企業(yè)宣傳

　　在缺乏評估標準的情況下,芯片企業(yè)無法清晰確認自己的技術優(yōu)勢及目標市場。同時,由于場景與部署位置的差異性,很難用單一指標與網絡展現芯片性能,導致市場也對芯片企業(yè)的真正實力難以判斷。

　　AIIA DNN benchmark推出多維度評測方式為芯片企業(yè)提供第三方評測結果,能從不同角度呈現不同芯片的各自優(yōu)勢所在,切實反映芯片能力。該項目還提供了單項與總分榜,支持企業(yè)前來參與“打榜”,積極展示自身獨特的“芯”能力,成功上榜的企業(yè)可在業(yè)內獲得更加廣泛的知名度和市場信任感。

　　亮點四:用戶選型一目了然

　　人工智能在不同算法、不同場景下,對芯片提出了不同的要求,如硬件架構、延遲、帶寬、能耗、神經網絡模型、參數等都是用戶方選擇AI芯片的重要參考。

　　中國人工智能產業(yè)發(fā)展聯盟作為專業(yè)的第三方,首次公布了典型AI芯片在處理深度學習任務時的參考指標——“算力/單價”比,為應用企業(yè)選型提供參考,以便用戶能更經濟地選取最適用于自己需求的AI芯片。

　　AIIA DNN benchmark,用純粹的科研之心,讓科技之“芯”更美好。該項目的發(fā)布,促進了芯片供給側與需求側的交流,讓需求方的意見能夠更快傳達到芯片企業(yè),讓企業(yè)進行有針對性的改良。同時,AIIA DNN benchmark堅持以“版本迭代、不斷豐富、不斷完善”的工作方式持續(xù)更新項目,計劃下一步啟動第二輪評估工作,迭代AIIA DNN benchmark V1.0,積極推進企業(yè)“芯”能力榜單的評選,努力打造一個開放、共贏的人工智能產業(yè)生態(tài),拓寬人工智能行業(yè)從業(yè)者的交流接口,推動中國AI芯片市場進一步發(fā)展與成熟,以傲人之姿屹立世界前沿科技之林。