除了下围棋,人工智能也能无师自通学会双语翻译了

极客公园 / 2018年01月21日 11:32

互联网+

随着人工智能技术的发展,机器翻译已经取得了很大进步。然而在传统方法中,需要数百万字的逐句对照来教会机器如何翻译。研究人员在新论文中表示,不需要平行文本,也可以学会翻译。

人类一直渴望沟通,早在 20 世纪 30 年代初,法国科学家 G.B. 阿尔楚尼提出了用机器来进行翻译的想法。经过几十年的努力,人类终于逐渐学会用机器翻译。用机器学习翻译经历了很多阶段:

起初是基于规则的翻译。最简单的翻译方法是逐字翻译。如「我爱你」翻译成「I love you」。随着句子越来越复杂,语言学家们发现了越来越多的规则,用程序实现。

下一个阶段是用统计方法进行翻译。专家把一句话分成块,把每一块所有可能的翻译都找到,选择几率最大的。最后将所有的句子生成,找到最有可能的。如「我爱你」,可能被翻译成「I love you」、「I like you」……最终「I love you」最适合,被系统选择。

建造这样一个系统需要大量的数据用于训练系统,我们需要平行文本,并至少被翻译成两种语言。但每当有一种新的语言,都需要专业人士进行调试和修整。

随着技术的发展,科学家发明了人工智能神经网络技术来翻译。以谷歌为例,他的翻译系统非常强大,需要很多训练数据和计算资源才能实现,它使用了序列到序列技术(sequence to sequence)。这个技术的翻译准确率已经超过了使用统计方法的机器翻译系统。

​来自北大AI公开课李航:自然语言处理的现象与挑战

然而,这些人工智能系统通常需要大量的人工翻译的内容供计算机学习,而两篇新的论文则表明,可以开发一个不依赖平行文本的系统。

来自西班牙巴斯克大学(UPV)的计算机科学家 Mikel Artetxe 表示,你给一个人很多的中文书籍和阿拉伯语书籍,二者没有文字重复,在这种情况下,一个人学习将中文翻译成阿拉伯文很难,但计算机可能不会。

他们是用的是无监督学习方法。有监督学习可以理解为数据有标签,好比知道题目和答案,这意味着它会针对任何问题做出正确答案的尝试,人类会告诉它是否正确,并根据需要修改其活动。

在实际应用中,往往很难获取到数据标签,因此要选择无监督学习。例如,不管在哪种语言中,「桌子」和「椅子」经常一起使用。系统通过找到每种语言中这些关系,对其进行比较,就能理解哪些相关。

新论文中,提出的方法和此类似,还能翻译完整的句子。

论文中使用了两种策略:反向翻译」(Back Translation)和「去噪」(Denoising)。反向翻译是把一种语言写成的句子粗略翻译成另另一种语言,然后反向翻译回来,如果结果不相同,则对系统进行调整。去噪也是类似的过程,但不是来回翻译,而是向句子中添加单词等「噪声」。这些方法可以帮助机器更好地理解语言如何翻译。

这两个系统,一个是是 UPV 开发的,另一个是 Facebook 计算机科学家 Guillaume Lample。那么,如何评价者两种系统呢?二者选择比较英文和法文之间的双向翻译,其中包含了 3000 万个句子,这是两篇论文之间唯一能比较的结果。两者用来衡量翻译的准确性的评分均为 15 分,和谷歌翻译的 40 分相比要低,人工翻译则为 50 分。作者们均表示,这些系统能够通过半监督学习的方式得到改进,即有监督学习和无监督学习相结合。

此前,AlphaGo Zero 同样也不需要人类的经验,自行学会了棋谱。或许在未来,人工智能可以在很多领域「无师自通」,也能成为摆脱人类思维定势很好的方法。

责任编辑:双筒猎枪

头图来源:视觉中国返回搜狐,查看更多

责任编辑:

1.环球科技网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.环球科技网的原创文章,请转载时务必注明文章作者和"来源:环球科技网",不尊重原创的行为环球科技网或将追究责任;3.作者投稿可能会经环球科技网编辑修改或补充。