bt365手机平台-下载首页

  • bt365手机app的研究人员已经开发与提高计算效率和碳足迹要小得多了新的自动的AI系统。研究人员的系统的列车一个大的神经网络包括可被定制为不同的硬件平台上,而不重新训练不同尺寸的许多预训练的子网。

    bt365手机app的研究人员已经开发与提高计算效率和碳足迹要小得多了新的自动的AI系统。研究人员的系统的列车一个大的神经网络包括可被定制为不同的硬件平台上,而不重新训练不同尺寸的许多预训练的子网。

    图片:bt365手机app的消息,根据研究人员的数字礼貌

    全屏

减少人工智能的碳足迹

bt365手机app的研究人员已经开发与提高计算效率和碳足迹要小得多了新的自动的AI系统。研究人员的系统的列车一个大的神经网络包括可被定制为不同的硬件平台上,而不重新训练不同尺寸的许多预训练的子网。

MIT系统缩短了训练和跑步神经网络所需的能量。


记者联系

艾比abaz要么ius
电子邮件: abbya@mit.edu
电话:617-253-2709
bt365手机app新闻办公室

媒体资源

1张图片下载

媒体访问

媒体只能从本网站的桌面版本下载。

人工智能已成为某些道德问题的焦点,但它也有一些重大的可持续性问题。 

去年六月,研究人员在美国马萨诸塞大学阿默斯特分校发布了惊心 报告 估计该所需的训练的功率量和搜索特定的神经网络结构涉及大致626000磅的二氧化碳的排放量。这几乎相当于 五次 平均美国的寿命排放汽车,包括它的制造。

这个问题在模型部署阶段,其中深层神经网络需要部署在不同的硬件平台上,各有不同的性质和计算资源会变得更加严重。 

bt365手机app的研究人员已经开发出一种新的自动化的AI系统的培训和运行某些神经网络。结果表明,通过提高系统的一些关键方面的计算效率,该系统可以减少参与碳排放磅 - 在某些情况下,下降到低三位数。 

研究人员的系统,他们称之为 一劳永逸的所有网络,培养包含可定制,以不同的硬件平台上,而不重新训练不同尺寸的许多预训练的子网一个大的神经网络。这大大减少了通常需要接受培训,新平台各专业神经网络的能量 - 它可以包括数十亿美元的东西(IOT)设备互联网。使用该系统来训练计算机视觉模型,他们估计该过程所需大致1/1300碳排放相比状态的最先进的今天的神经结构搜索接近,同时通过1.5-2.6倍减少推理时间。 

“其目的是更小,更环保的神经网络,”松瀚,电气工程和计算机科学系的助理教授。 “搜索有效的神经网络结构直到现在有一​​个巨大的碳足迹。但我们通过这些新方法的数量级减少了足迹“。

该项工作是顿悟,由IBM捐赠给bt365手机app的高效计算集群,其能够执行每秒2次千万亿计算进行。纸被下周呈现在学习表示的国际会议。从EECS在纸上加入汉四个本科生和研究生,bt365手机app,IBM沃森人工智能实验室和上海交通大学。 

创建一个“一劳永逸的所有”网络

研究人员构建的系统在最近的AI提前叫automl(自动机器学习),从而消除了手动网络设计。神经网络自动搜索定制,例如,特定的硬件平台上的网络架构庞大的设计空间。但还是有训练效率的问题:每个模型都有被选中,然后从头开始训练了其平台架构。 

“我们如何有效地培养所有这些网络的设备如此广泛 - 从$ 10的IOT设备到$ 600的智能手机?鉴于物联网设备的多样性,神经结构搜索会爆炸的计算成本。”韩寒说。   

研究人员发明了一种automl系统,列车只有一个,大的“一次过”的报告(OFA)网络作为“母亲”的网络,嵌套一个非常高的数字,稀疏地从母亲网络激活子网。 OFA共享其所有学到的权重与所有子网 - 这意味着他们基本上也预先训练。因此,每个子网络可以独立地在推理时间不用再训练操作。 

团队训练的OFA卷积神经网络(CNN) - 通常被用于图像处理的任务 - 与通用的架构配置,包括不同数目的层和“神经元”,多样的过滤器尺寸和不同的输入图像的分辨率。给出了具体的平台,系统采用OFA作为搜索空间中寻找基于精度最好的子网和延迟权衡这关联到平台的力量和速度的限制。对于物联网设备,例如,系统就会找到一个较小的子网。对于智能手机,它会选择更大的子网,但具有不同的结构取决于个人的电池寿命和计算资源。 OFA解耦模型训练和体系结构的搜索,以及利差在许多推理硬件平台和资源的限制一次性培训费用。 

这依赖于一个“渐进缩水”的算法,有效地培养了OFA网络同时支持所有的子网。它与最大尺寸训练全网开始,然后逐步缩小网络的规模,包括更小的子网。较小的子网进行培训,大子网共同成长的帮助。最终,所有不同大小的子网的支持,使基于该平台的力量和速度极限快专业化。添加新设备时,它支持零培训费许多硬件设备。
 
在总,一个OFA,研究人员发现,可以包括超过10千万亿 - 这是一个1后面有19个零 - 建筑设置,覆盖可能是有史以来所需要的所有平台。但训练OFA和搜索它最终被远远超过花费数小时的训练每个平台的每一个神经网络更高效。此外,OFA不妥协的准确性或推理效率。相反,它提供了移动设备上的状态的最先进的imagenet精度。并且,与国家的最先进的行业领先CNN机型相比,研究人员说,OFA提供了1.5-2.6倍的加速比,以较高的精确性。 
    
“这是一个突破性的技术,”韩寒说。 “如果我们要运行强大的AI消费设备上,我们必须弄清楚如何收缩人工智能的威风。”

“的模式确实是紧凑。我很高兴地看到,OFA可以继续推动的边缘设备,高效的深度学习的边界,”庄子甘,在bt365手机app,IBM沃森研究人员说,人工智能实验室和论文的合着者。

“如果在AI快速进展继续下去,我们需要减少其对环境的影响,”约翰·科恩,美国bt365手机app,IBM沃森的IBM院士及人员说人工智能实验室。 “上攻,使人工智能的模型更小,更高效的开发方式是,该模型还可以表现得更好。”


主题: 研究, 计算机科学与技术, 算法, 微系统技术实验室, Electrical Engineering & Computer Science (eecs), 工程学院, 人工智能, 机器学习, MIT-IBM沃森人工智能实验室, 计算的bt365手机app施瓦茨曼

回到顶端