...物体识别之后,计算机视觉还要多久才能理解这个世界
李飞飞
我们沿着这个方向继续做研究，迎来的下一个成果是稠密说明，就是在一幅图片中有很多个区域都会分配注意力，这样我们可以有很多个不同的句子描述不同的区域，而不仅仅是用一个句子描述整个场景。
场景理解和与语言结合的计算机视觉进一步搭起了人类和计算机之间沟通的桥梁，任务驱动的计算机视觉也会在机器人领域大放异彩。
物体识别之后：丰富场景识别
在物体识别问题已经很大程度上解决以后，我们的下一个目标是走出物体本身，关注更为广泛的对象之间的关系、语言等等。
在Visual Genome数据集之后，我们做的另一项研究是重新认识场景识别。场景识别单独来看是一项简单的任务，在谷歌里搜索“穿西装的男人”或者“可爱的小狗”，都能直接得到理想的结果。但是当你搜索“穿西装的男人抱着可爱的小狗”的时候，就得不到什么好结果。它的表现在这里就变得糟糕了，这种物体间的关系是一件很难处理的事情。
比如只关注了“长椅”和“人”的物体识别，就得不到“人坐在长椅上”的关系；即便训练网络识别“坐着的人”，也无法保证看清全局。我们有个想法是，把物体之外、场景之内的关系全都包含进来，然后再想办法提取精确的关系。
如果我们有一张场景图，其中包含了场景内各种复杂的语义信息，那么我们的场景识别就能做得好很多。其中的细节可能难以全部用一个长句子描述，但是把一个长句子变成一个场景图之后，我们就可以用图相关的方法把它和图像做对比；场景图也可以编码为数据库的一部分，从数据库的角度进行查询。
如今，我们已经用场景图匹配技术在包含了许多语义信息的场景里得到了许多不错的量化结果，然而，这些场景图是谁来定义的呢？在Visual Genome数据集中，场景图都是人工定义的，里面的实体、结构、实体间的关系和到图像的匹配都是我们人工完成的，我们也不希望以后还要对每一个场景都做这样的工作。所以在这项工作之后，我们很可能会把注意力转向自动场景图生成。
比如我和我的学生们共同完成的CVPR2017论文就是一个自动生成场景图的方案，对于一张输入图像，我们首先得到物体识别的备选结果，然后用图推理算法得到实体和实体之间的关系，这个过程都是自动完成的。
这里涉及到一些迭代信息传递算法，同时这个结果体现出的是，我们的模型的工作方式和人的做法已经有不少相似之处了。这代表着一组全新的可能性来到了我们面前，借助场景图，我们可以做信息提取、可以做关系预测、可以理解对应关系。
场景识别之后还有什么
我的研究兴趣里，除了计算机科学和人工智能之外，认知神经科学也占了相当的位置。所以我想回过头去看看我在加州理工学院读博士的时候做的一个实验，我们让人们观察一张照片，然后让他们尽可能地说出自己在照片当中看到的东西。当时做实验的时候，我们在受试者面前的屏幕上快速闪过一张照片，然后用一个别的图像、墙纸一样的图像盖住它，它的作用是把他们视网膜暂留的信息清除掉。
接下来我们就让他们尽可能多地写下看到的东西。从结果上看，有的照片好像比较容易，但是其实只是因为我们选择了不同长短的展示时间，最短的照片只显示了27毫秒，这已经达到了当时显示器的显示速度上限；有些照片显示了0.5秒的时间，对人类视觉理解来说是绰绰有余了。
我们得到的结果大概是这样的，对于这张照片，时间很短的时候看清的内容也很有限，500毫秒的时候他们就能写下很长一段。进化给了我们这样的能力，只看到一张图片就可以讲出一个很长的故事。
计算机视觉+语言
在过去的3年里，CV领域的研究人员们就在研究如何把图像中的信息变成故事。
他们首先研究了图像说明，比如借助CNN把图像中的内容表示到特征空间，然后用LSTM这样的RNN生成一系列文字。这类工作在2015年左右有很多成果，从此之后我们就可以让计算机给几乎任何东西配上一个句子。
比如这两个例子，“一位穿着橙色马甲的工人正在铺路”和“穿着蓝色衬衫的男人正在弹吉他”。这让我想起来，2015年的时候我就是在这同一个房间里做过演讲。两年过去了，我们的算法也已经不是最先进的了，不过那时候我们的研究确实是图像说明这个领域的开拓性工作之一。
我们沿着这个方向继续做研究，迎来的下一个成果是稠密说明，就是在一幅图片中有很多个区域都会分配注意力，这样我们可以有很多个不同的句子描述不同的区域，而不仅仅是用一个句子描述整个场景。在这里就用到了CNN模型和逻辑区域检测模型的结合，再加上一个语言模型，这样我们就可以对场景做稠密标注。
在最近的CVPR2017的研究中，我们让表现迈上了一个新的台阶，不只是简单的说明句子，还要生成文字段落，把它们以具有空间意义的方式连接起来。
这样我们就可以写出“一只长颈鹿站在树边，在它的右边有一个有叶子的杆子，在篱笆的后面有一个黑色和白色的砖垒起来的建筑”，等等。虽然里面有错误，但我们已经迈出了视觉和语言结合的第一步。
而且，视觉和语言的结合并没有停留在静止的图像上，刚才的只是我们的最新成果之一。在另外的研究中，我们把视频和语言结合起来，比如，我们可以对一个说明性视频中不同的部分做联合推理、整理出文本结构。这里的难点是解析文本中的实体，比如第一步是“搅拌蔬菜”，然后“拿出混合物”。如果算法能够解析出“混合物”指的是前一步里混合的蔬菜，那就棒极了。我的学生和博士后们也都觉得这是让机器人进行学习的很重要的一步。
这里的机会仍然是把视觉问题和语言结合起来，如果只用视觉的方法，就会造成视觉上的模糊性；如果只用语言学的方法，就会造成语言上的模糊性；把视觉和语言结合起来，我们就可以解决这些问题。
任务驱动的计算机视觉
在语言之后，我想说的最后一个方向是任务驱动的视觉问题，它和机器人的联系也更紧密一些。对整个AI研究大家庭来说，任务驱动的AI是一个共同的长期梦想，从一开始人类就希望用语言给机器人下达指令，然后机器人用视觉方法观察世界、理解并完成任务。
比如人類说：“蓝色的金字塔很好。我喜欢不是红色的立方体，但是我也不喜欢任何一个垫着5面体的东西。那我喜欢那个灰色的盒子吗？” 那么机器，或者机器人，或者智能体就会回答：“不，因为它垫着一个5面体”。它就是任务驱动的，对这个复杂的世界做理解和推理。
最近，我们和Facebook合作重新研究这类问题，创造了带有各种几何体的场景，然后给人工智能提问，看它会如何理解、推理、解决这些问题。这其中会涉及到属性的辨别、计数、对比、空间关系等等。
我们在这方面的第一篇论文用了CNN+LSTM+注意力模型，结果算不上差，人类能达到超过90%的正确率，机器虽然能做到接近70%了，但是仍然有巨大的差距。
在ICCV我们会介绍新一篇论文中的成果，我们把一个问题分解成带有功能的程序段，然后在程序段基础上训练一个能回答问题的执行引擎。这个方案在尝试推理真实世界问题的时候就具有高得多的组合能力。
模型的实际表现当然不错。比如，我们提问某种颜色的东西是什么形状的，它就会回答“是一个立方体”，这样，表明了它的推理是正确的。它还可以数出东西的数目，这都体现出了算法可以对场景做推理。endprint
