bt365手机平台-下载首页

  • bt365手机app的研究人员已经提出了,他们说是简单,产生比国家的最先进的方法,更准确的结果萎缩的深学习模型的技术。它的工作原理是在它的速度更快,初始学习率再培训越小,修剪模型。

    bt365手机app的研究人员已经提出了,他们说是简单,产生比国家的最先进的方法,更准确的结果萎缩的深学习模型的技术。它的工作原理是在它的速度更快,初始学习率再培训越小,修剪模型。

    图像:亚历克斯仁达

    全屏

一个万无一失的方法,以缩小深的学习模式

bt365手机app的研究人员已经提出了,他们说是简单,产生比国家的最先进的方法,更准确的结果萎缩的深学习模型的技术。它的工作原理是在它的速度更快,初始学习率再培训越小,修剪模型。

研究人员公布一项修正算法,使人工智能程序运行的速度。


记者联系

金·马蒂诺
电子邮件: kimmarti@mit.edu
电话:617-710-5216
bt365手机app追求情报

随着越来越多的人工智能应用程序转移到智能手机,深度学习模型也变得越来越小,让应用程序的运行速度和节省电池电量。现在,bt365手机app的研究要压缩模式一个新的和更好的方式。 

它是如此简单,他们推出了它 在鸣叫 上个月:训练模型,修剪其最薄弱的连接,再培训,在其快速的模型,早期培训率,并重复,直到你想要的模型是微小的。 

“就是这样,”说 亚历克斯仁达,一个博士生在bt365手机app。 “标准的东西的人做修剪他们的模型是疯狂的复杂。” 

仁达讨论的技术学习时表示(ICLR)的国际会议本月远程召开。仁达与工作的合着者 乔纳森FRANKLE在bt365手机app的研究员博士生的 电气工程和计算机科学系 (EECS),和 迈克尔carbin,电气工程和计算机科学系的助理教授 - 的所有成员 计算机科学和人工科学实验室。  

为更好的压缩技术的搜索增长FRANKLE的出来,carbin的获奖 彩票假说 纸在ICLR去年。他们发现,如果有合适的子网被发现在训练年初深层神经网络可以只用十分之一进行连接的数量。他们的启示来作为计算能力和精力来培养越来越大的深度学习模式是呈几何级增长,这一直持续到今天一个趋势的需求。这种增长的成本包括在地球变暖的二氧化碳排放量的上升和创新一个潜在的下降不会大高科技公司下属研究人员争夺稀缺的计算资源。日常用户受到影响了。大人工智能模型吃起来手机的带宽和电池电量。

但在同事的建议下,决定FRANKLE看到它可能会持什么样的教训修剪,一组技术通过消除不必要的连接或神经元减少神经网络的规模。修剪算法已经存在了几十年,但在现场看到了神经网络的突围成功后的复苏在图像分类 imagenet竞争。作为模型变得越来越大,与研究人员将人工神经元的层来提升性能,其他人提出了削下来的技术。 

松瀚,现在在bt365手机app助理教授,是一个先驱。建立了一系列有影响力的论文,汉推出了一款修正算法他叫AMC,或 automl的模型压缩,这仍然是行业标准。下大族技术,冗余神经元和连接被自动移除,并且该模型被重新训练,以恢复其初始精度。 

响应韩寒的作品,在FRANKLE最近建议 未发表论文 的结果可以由较小的,修剪模型倒带至其初始参数,或权重,并且在其更快,初始速率重新训练模型较小进一步提高。 

在目前的ICLR研究中,研究人员意识到,该模型可以简单地后退到其早期培训率不与任何参数摆弄。在任何修剪方案,模型得到更细小,不太准确就成了。但是当研究人员相比,韩寒的AMC或者FRANKLE的体重复卷方法这种新方法,更好实施无论模型多么萎缩。 

目前还不清楚为什么修剪技术的工作原理,以及它的作用。研究人员说,他们将离开这个问题别人的答案。对于那些谁愿意尝试,该算法容易实现,因为其他的修剪方法,无需耗时的调整,研究人员说。 

“这是从修剪算法的书,“说:” FRANKLE。 “很明显,通用的,落死的简单。”

韩,对他而言,现在已经部分转移工作重点从压缩人工智能模型来窜成分至从一开始设计小型,高效的机型。他最新的方法, 一次就好,也首次亮相ICLR。新的学习率的方法,他说:“我很高兴看到新的修剪和再培训技术的发展,让更多的人获得高性能的人工智能应用。” 

这项研究支持来 美国国防高级研究计划局,谷歌,bt365手机app,IBM沃森人工智能实验室,bt365手机app追求智慧,和美国海军研究办公室。


主题: 电气工程和计算机科学(EECS), 计算机科学和人工智能实验室(CSAIL), MIT-IBM沃森人工智能实验室, 工程学院, 计算机科学与技术, 算法, 机器学习, 人工智能, 移动设备, 追求智慧, 计算的bt365手机app施瓦茨曼

回到顶端