加速深度学习!辉达AI实验室公布DGX 人工智能超级电脑细节

ettoday / 2017年08月17日 02:03

数码

NVIDIA(辉达)DGX 超级电脑力助 NVIDIA AI 实验室计划 (NVAIL)成员,包含加州大学柏克莱分校、Dalle Molle 人工智能研究所(IDSIA)与东京大学在国际机器学习大会(ICML)上,发表人工智能研究领域的最新进展,将深度学习提升到新的高度。

※ 机器学习-教导人工智能如何学习

加州大学柏克莱分校电机工程暨电脑科学系助理教授 Sergey Levine 及其学生教导深度神经网路取得学习方法,协助智能装置加快学习速度并减少训练时程。其研究团队使用 NVIDIA DGX 系统来将动作和视觉感知训练内容导入演算法中。搭载最新人工智能技术的机器人必须不断进行尝试以学习如何做出最佳回应,使其更具适应能力学习更多内容。

Levine 表示,「我们不可能造出不会犯错的机器,但能试着打造迅速从错误中学习且不会再犯错的机器。」

※ 递归神经网路-通往更深层学习的路径

递归神经网路与长短期记忆(LSTM)是手写和语音辨识最具威力的研究工具组合,递归神经网路能利用内部内存来处理任意数据,例如不同发音或手写差异,使用先前的决策与当前的资料在运作中进行学习。

然而越是深入神经网路,深度学习运作越是困难,速度也变得越慢。对此瑞士人工智能实验室和 NVAIL 成员 IDSIA 研发出递归高速神经网路,建立更多执行序向处理工作的高效率模型,无需训练巨大模型便可应付更複杂的工作。

其研究团队原先使用 NVIDIA Tesla K40、K80、TITAN X 及 GeForce GTX 1080 等多种 GPU 来加快训练速度,并搭配 CUDA 和 cuDNN 进行深度学习作业,但在 DGX 人工智能超级电脑出现后,大幅加快实验周期的速度。

IDSIA 人工智能研究员 Rupesh Srivastava 表示,「在使用递归高速网路的情况下,可以在递归转移里训练十层的递归神经网路。IDSIA对于使用 DGX 加快平行训练递归神经网路模型之速度的前景感到兴奋不已,希望其能引导至更佳的强化学习。」

※ 领域适应-深度学习的变形

东京大学的研究团队利用 DGX开发出一项解决方案,将「伪标籤」加在目标领域里无标籤的资料上,能克服针对非监督式领域适应性的多项难题。这使得在无需训练新模型的情况下,深度学习模型便能从来源领域进行学习。

东京大学的研究团队提出称为「非对称式三体训练」(Asymmetric tri-training)的概念,指派不同角色给三个分类器和使用三个独立神经网路,其中两个神经网路用于对无标记的目标样本加上标籤,并使用有着伪标记的目标样本对第三个神经网路进行训练。到目前为止的结果都令人相当振奋。

东京大学信息理工学研究院的原田达也教授表示,「从一个简单或人造领域里转移知识到另一个多维或真实领域里,是一个具有挑战性的难题,其必须採取平行处理的方式才能发挥这项技术的潜力。这项解决方案对于适应性来说是一大进步。」

1.环球科技网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.环球科技网的原创文章,请转载时务必注明文章作者和"来源:环球科技网",不尊重原创的行为环球科技网或将追究责任;3.作者投稿可能会经环球科技网编辑修改或补充。