bt365手机平台-下载首页

  • bt365手机app的研究人员(从左至右)千里辽,托马索·波焦和安杰banburski随着他们的立场方程。

    bt365手机app的研究人员(从左至右)千里辽,托马索·波焦和安杰banburski随着他们的立场方程。

    图片:克里斯啤酒

    全屏

玄机深的网络世界

bt365手机app的研究人员(从左至右)千里辽,托马索·波焦和安杰banburski随着他们的立场方程。

研究人员发现,魔术不需要解释为什么尽管广义含对统计直觉去深网络。


记者联系

洛瑞loturco
电子邮件: loturco@mit.edu
电话:617-253-2264
工程学院

入门课程的统计数据告诉我们,当拟合模型的一些数据,我们应该有比无参数的详细数据,以避免过度拟合危险 - 噪声数据拟合太紧密,从而无法适应新的数据。令人惊讶的是,那么,在现代深学习的做法是,大小比参数的详细数据的订单。尽管如此,深网络表现出良好的预测性能,而实际上做的更好的更多的参数他们。这将是为什么呢?

已经知道了一段时间,在机器学习不错的表现来自控制网络的复杂性,这不仅是自由参数的数量的简单功能。在分类的复杂性,如神经网络,取决于测量的那ESTA网络三个代表功能空间的“大小”,与先前建议的技术多种措施:Vapnik等-Chervonenkis维度,涵盖数字或拉德马赫复杂性,名称等等。复杂性,通过这些概念作为测量的,可以通过强加的参数的规范约束控制学习过程中 - 总之,他们如何能“大”获得。这是令人惊讶的事实没有这样明确的约束似乎在训练深层网络需要。深度学习做古典主义学习理论的谎言么?我们需要重新思考的基础?

在新 自然通讯 论文“复杂度控制在深层网络梯度下降,”从中心团队的大脑,心灵和机器由托马索主任中意,尤金·麦克德莫特教授在脑与认知科学的bt365手机app的部门牵头,有一些线索分类问题:通过解决现代深度学习最实际和最成功的应用ESTA的难题。

“对于分类问题,我们看到,其实该模型的参数似乎没有收敛,但在规模增长而无限期在梯度下降。然而,只有在标准化参数分类问题事 - 即,他们定义的“合着者说,bt365手机app博士候选人千里廖的方向,而不是它们的大小。 “我们发现,不那么明显的一点就是对非标准化梯度引起了常用的下降对控制期望复杂归者的参数。”

“我们已经知道,在浅的网络,如核机器线性回归的情况下,一段时间以来,这梯度下降迭代提供一个隐含的,消失正规化的效果,说:”中意。 “其实,在这单情况下,我们可能知道,我们得到了最好的表现最大利润,最小范数解。我们问的问题我们自己,那么,是:可能发生这样的事情深层网络“?

研究人员发现,它确实。在网络中,显示有用于改善我们的算法有明确的方向合着者,bt365手机app博士后安杰banburski解释说,“深刻理解融合。事实上,我们也已经在控制这使我们能够找到更好的解决方案,并找到他们进行更快的未标准化这些参数发散的速度看到提示“。

什么这是否意味着机器学习?有深厚的网络背后没有魔法。所有线性模型背后的同样的理论在起作用这里。这项工作提出如何改善后的网络,使他们更准确和更快的训练。


主题: 中心的大脑思维和机器, 脑与认知科学, 电气工程和计算机科学(EECS), 机器学习, 人工智能, 研究

回到顶部