Google推出最新ML模型壓縮技術Learn2Compress

　　5月16日消息，隨著深度學習技術的爆炸性發(fā)展，很多企業(yè)、開發(fā)者都發(fā)表了自己的研究論文，展示最新取得的不俗成績。但是在實際使用時，很可能遇到模型大小方面的問題。Google近日公開了自家全新ML模型壓縮技術Learn2Compress。

　　該技術能為開發(fā)的深度學習模型變得更為輕量化，并在移動設備上去執(zhí)行。Learn2Compress將NN模型壓縮為輸入一個大型的TF模型，自動生成隨時可用的設備模型。

　　對于Learn2Compress技術的本質，谷歌提了如下三點：

　　·通過除無意義的權重和激活來減少模型的大小;

　　·通過減少模型中使用的位數來提高推理速度;

　　·聯(lián)合訓練和精餾方法策略，老師網絡是一個給定的模型，學生網絡是被壓縮的，這些模型很窄，有助于我們顯著減輕計算負擔，此外還能夠同時訓練不同規(guī)模的學生網絡。

　　結果就是Learn2Compress效果非常好，可以更快更小地生成模型，有時甚至超過了給定的模型。