5月16日消息,隨著深度學(xué)習(xí)技術(shù)的爆炸性發(fā)展,很多企業(yè)、開發(fā)者都發(fā)表了自己的研究論文,展示最新取得的不俗成績。但是在實際使用時,很可能遇到模型大小方面的問題。Google近日公開了自家全新ML模型壓縮技術(shù)Learn2Compress。
該技術(shù)能為開發(fā)的深度學(xué)習(xí)模型變得更為輕量化,并在移動設(shè)備上去執(zhí)行。Learn2Compress將NN模型壓縮為輸入一個大型的TF模型,自動生成隨時可用的設(shè)備模型。
對于Learn2Compress技術(shù)的本質(zhì),谷歌提了如下三點:
·通過除無意義的權(quán)重和激活來減少模型的大小;
·通過減少模型中使用的位數(shù)來提高推理速度;
·聯(lián)合訓(xùn)練和精餾方法策略,老師網(wǎng)絡(luò)是一個給定的模型,學(xué)生網(wǎng)絡(luò)是被壓縮的,這些模型很窄,有助于我們顯著減輕計算負擔(dān),此外還能夠同時訓(xùn)練不同規(guī)模的學(xué)生網(wǎng)絡(luò)。
結(jié)果就是Learn2Compress效果非常好,可以更快更小地生成模型,有時甚至超過了給定的模型。
榜單收錄、高管收錄、融資收錄、活動收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報生成中...