寻找最佳的神经网络架构,韩松组两篇论文解

白癜风诚信单位 http://m.39.net/yldt/a_6169035.html

机器之心原创

作者:LuoSainan

编辑:HaoWang、HaojinYang

MIT韩松组一直走在深度模型剪枝,压缩方向的前沿。最近他们也开始尝试运用NAS神经框架搜索技术来推进研究。

这里整理了两篇文章:

论文如下:

ProxylessNAS:DirectNeuralArchitectureSearchonTargetTaskandHardwareHAQ:Hardware-AwareAutomatedQuantizationwithMixedPrecision

第一篇是利用NAS技术直接为特定的硬件在特定的任务上搜索最优的网络框架结构。

第二篇则是利用强化学习自动寻找在特定latency标准上精度最好的量化神经网络结构,它分别为网络的每一层搜索不同bit的权值和激活,得到一个经过优化的混合精度模型。两篇文章的相同之处在于,都直接从特定的硬件获得反馈信息,如latency,energy和storage,而不是使用代理信息,再利用这些信息直接优化神经网络架构(或量化bit数)搜索算法。这也许会成为工业界未来的新范式。

第一篇:

PROXYLESSNAS:DIRECTNEURALARCHITECTURESEARCHONTARGETTASKANDHARDWARE

论文链接:

v1:_


转载请注明:http://www.aierlanlan.com/rzdk/4742.html