Google 联合 MIT 开发新图像算法,从此手机拍照不用修图

深圳湾 / 2018年10月07日 17:50

手机

- shenzhenware-

用手机拍出一张优质的照片,不仅需要好的手机摄像头,软件算法对图像的优化同样至关重要。近期,搜索巨头Google 联合MIT 的科学家开发出了一种新的软件算法,它能让手机像专业摄影师那样自动处理图片,并且,这项算法更加节能、处理速度也更快,在用手机拍摄时可以实时显示修饰的图像。

研究人员用机器学习的方式创建该软件,在由 MIT Adobe 创建的拥有5000 张图片的数据库中进行神经网络训练。数据库中每一幅图片都被五名摄影师修饰过,该系统可以利用这些修饰数据学习如何对图片参数进行调整和修改,比如亮度调节、饱和度调节等。

这项新的系统还可以加速现有的图像处理算法。谷歌在测试一种用于产生HDR 图像的算法时,就利用该系统实时地捕捉到了标准数码图片丢失的细微颜色信息。

该软件建立于MIT 一个早期研究项目之上——手机向服务器发送图像的低分辨率版本,然后服务器会回传一个「转换方法」,在手机本地完成图像高分辨率转换,从而减少带宽的消耗。

MIT 电气工程和计算机科学研究生MichaëlGharbi 说:「Google 在了解我所做的项目后,他们自己也做了部分后续工作,所以我们和Google 就开始了合作。目前,我们最新的算法跟之前项目有很多相似的地方,只不过这次不用传送到云端处理,而是让手机去学习如何修饰图片。」

Michaël Gharbi 强调,算法进行机器学习最重要的一点,就是提高它的速度和效率。

原始图像(左)和经过新算法处理后图像(右)的对比

为了节省时间和能耗,大部分的图像处理任务是在低分辨率的图像上进行的,这就引入了新的困难,因为必需要从低像素图像中获取高分辨率图像像素点的颜色信息。

Michaël Gharbi 和他的MIT 同事用两种方法解决了这个问题。

第一,让机器学习系统输出一组用于修改图像像素颜色的简单公式,而不是单纯的图像,系统可根据输出的公式来决定图像修饰的结果。

第二,为了将这些公式应用于高分辨率图像,系统会输出16*16*8 的三维网格。网格16*16的一面对应的是原图像的像素位置,堆叠在其顶部的八层则对应不同的像素强度,而网格中的每个单元格包含了确定原图像颜色的修改公式

换句话说,网格16*16 的一面有许多单元,每一个单元代表高清图片的几千个像素,假设每一组公式对应单元中央的一个位置,那么方块内每一个高清像素都是由四组公式决定的。

在对最终的结果进行比较后,研究人员发现,该系统处理图像所花的时间是MIT 原始算法的十分之一,是全分辨率HDR 图像处理系统的百分之一。

「这项技术在移动平台上的图像处理有着非常广阔的应用前景,」Google 的研究员Jon Barron 说,「用机器学习的方法处理计算机图像方面的问题是很令人兴奋的一件事,但也受到了移动设备计算性能和续航上的限制。我们研究的算法则提供了一种避开这些问题的方式,从而提供令人瞩目的、流畅的、实时的摄影体验。」

值得一提的是,该系统有可能会应用在未来的 Google Pixel 中。Google 之前已经使用了 HDR+ 算法,从 Nexus 6 开始,就能够在移动设备上表现出更多的图像细节信息。不过,Google 的「计算机摄影学」主管 Marc Levoy 则说:「我们做的只是一些『皮毛』工作而已。」(主笔:双双@深圳湾)

·WARE 2017 问卷获奖名单·

7 月 15 日,深圳湾举办了「WARE 2017 语音智能平台与应用峰会 第 II 季」,邀请了数十位重磅嘉宾,吸引了超过 400 人购票参会。会后,很多参会者通过活动问卷向我们提出了宝贵的反馈意见。

为了感谢大家对深圳湾的支持,我们选取了部分参与问卷的好友,送出精美的礼品!同时,也因为礼品数量有限,没有办法赠送给每一个与会的朋友,请大家见谅!深圳湾会继续努力,为大家准备内容更丰富的活动!

以下名单的朋友,请在后台回复「WARE 问卷 + 姓名 + 手机号码 + 收件地址」与我们联系,领取问卷调查礼品。

    返回搜狐,查看更多

    责任编辑:

    1.环球科技网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.环球科技网的原创文章,请转载时务必注明文章作者和"来源:环球科技网",不尊重原创的行为环球科技网或将追究责任;3.作者投稿可能会经环球科技网编辑修改或补充。