人工智能研究人员声称机器学习是炼金术

人工智能研究人员声称机器学习是炼金术

梯度下降依赖于反复试验来优化算法,旨在实现3D景观中的最小值。

Alexander Amini,Daniela Rus。 麻省理工学院,由M. Atarod / Science改编
人工智能研究人员声称机器学习是炼金术

去年12月加利福尼亚州旧金山谷歌的人工智能研究员阿里·拉希米(Ali Rahimi)在他的领域进行了一次扫描,并获得了40秒的欢呼。 Rahimi在人工智能会议上发言时指出,计算机通过反复试验学习的机器学习算法 他说,研究人员不知道为什么有些算法有效,有些则无法做到,也没有严格的标准来选择一种AI架构而不是另一种。 现在,在4月30日在加拿大温哥华举行的学习代表国际会议上发表的一篇论文中,拉希米和他的合作者了他们所看到的炼金术问题的 ,并提供了加强AI严谨性的处方。

“在这个领域有一种痛苦,”拉希米说。 “我们中的许多人都觉得我们正在使用外星人技术。”

这个问题不同于 ,由于实验和出版实践不一致,研究人员无法复制彼此的结果。 它也不同于机器学习中的“黑匣子”或“可解释性”问题:难以 。 正如拉希米所说的那样,“我试图区分一个机器学习系统,即一个黑盒子和一个整个领域,成为一个黑盒子。”

他说,如果没有深入理解构建和训练新算法所需的基本工具,创建AI的研究人员就像中世纪炼金术士那样诉诸传闻。 加利福尼亚州山景城谷歌的计算机科学家弗朗索瓦·乔莱特补充说:“人们倾向于依赖”民间传说和魔法咒语“。 例如,他说,他们采用宠物方法来调整他们的AI的“学习率” - 一个算法在每次错误之后多大程度地纠正自己 - 而不理解为什么一个人比其他人更好。 在其他情况下,AI研究人员训练他们的算法只是在黑暗中磕磕绊绊。 例如,他们实现所谓的“随机梯度下降”,以便针对最低可能的故障率优化算法的参数。 尽管有关该主题的数千篇学术论文以及无数种应用该方法的方法,但该过程仍然依赖于反复试验。

拉希米的论文强调了浪费的努力和可能导致的次优性能。 例如,它指出,当其他研究人员从最先进的语言翻译算法中剥离出大部分复杂性时,它实际上更好,更有效地从英语翻译成德语或法语,表明其创作者并未完全掌握这些额外部分有什么用处。 相反,伦敦推特的机器学习研究员FerencHuszár表示,有时候在算法上添加的铃声和口哨是唯一的优点。 他说,在某些情况下,算法的核心在技术上存在缺陷,这意味着它的良好结果“完全归功于其他顶级应用技巧”。

Rahimi提供了一些建议,用于学习哪种算法效果最佳,以及何时算法。 他说,对于初学者来说,研究人员应该像翻译算法一样进行“消融研究”:一次删除一部分算法,以查看每个部分的功能。 他呼吁进行“切片分析”,其中详细分析算法的性能,以了解某些领域的改进可能会在其他地方产生成本。 他说,研究人员应该用许多不同的条件和设置来测试他们的算法,并且应该报告所有这些算法的表现。

加州大学伯克利分校的计算机科学家Ben Racht和Rahimi的炼金术主题演讲的合着者表示,人工智能需要从物理学中借鉴,研究人员经常将问题缩小到较小的“玩具问题”。 “物理学家在设计简单的实验以根除现象的解释方面是惊人的,”他说。 一些人工智能研究人员已经采用这种方法,在处理大型彩色照片之前在小型黑白手写字符上测试图像识别算法,以更好地理解算法的内部机制。

伦敦DeepMind的计算机科学家CsabaSzepesvári表示,该领域还需要减少对竞争性测试的重视。 他说,目前,如果报告的算法胜过一些基准,那么论文更有可能被发表,而不是文章揭示了软件的内部运作。 这就是花哨的翻译算法通过同行评审的方式。 “科学的目的是产生知识,”他说。 “你想要制作别人可以拍摄和建立的东西。”

不是每个人都同意Rahimi和Recht的批评。 Facebook负责纽约市的首席人工智能科学家Yann LeCun担心,将过多的技术从尖端技术转向核心理解可能会减缓创新并阻碍人工智能的实际采用。 “这不是炼金术,而是工程学,”他说。 “工程很乱。”

Recht认为这是一个有条不紊和冒险的研究场所。 “我们需要两者,”他说。 “我们需要了解失败点的位置,以便我们能够构建可靠的系统,并且我们必须推动前沿,以便我们能够拥有更加令人印象深刻的系统。”