手机影像“内卷”的下半场是AI算法？

今年秋季密集的手机发布会告一段落，恐怕局外人也看出了手机的影像实力已成为手机行业“内卷”的焦点。连一向在手机影像功能上宣传较少的苹果，也在iPhone 13背面植入两颗超大摄像头，并称新款iPhone “是我们迄今最具创新的摄像更新。” 

不管是外部环境的变化还是手机内部硬件的要求，都驱使着手机厂商们钟情于升级手机的影像实力。 

在外部需求端上，据统计，手机拍摄功能已成为中国消费者最关注的手机要素，而以Instagram、小红书为首的线上图片社交平台的火爆，则带动了更多人加入随时随地拍照的行列，这都对手机的影像功能提出了更高的要求。 

在手机的内部硬件端上，手机的处理器和屏幕几乎都被高通和三星包揽，唯一能动刀的手机的镜头模组也因物理尺寸的限制，难以在有限的手机可利用空间内展开身手。 

当手机硬件堆料受上述各原因限制，给手机影像能力带来的提升越来越小时，各厂商要突破硬件限制，做出成像的差异化，计算摄影 (computational photography) 成为其竞争的焦点：通过AI优化影像算法，让用户轻松获得一张质量不错的照片。 

用计算摄影解决“疑难杂症”

如今，强大的手机拍照技术既离不开性能优异的硬件，也离不开迅猛发展的图像处理算法，在硬件短时间难以打出差异化的现实条件下，从谷歌Pixel开始，押注AI算法助力手机影像能力的提升基本上已经成为了手机行业的常态。因此，在计算摄影市场规模不断扩大的同时，计算摄影的算法水平也越来越重要，竞争越来越激烈。 

计算摄影，简而言之就是使得手机生成的照片不再仅仅依赖图像传感器和拍照者的专业摄影知识，而是将手机硬件与软件相结合，让AI算法以及处理器算力加入到手机摄影中来。基于这样的理念，人工智能企业旷视提出了“AI重新定义光感知系统”。 

以往的“光+感+知”系统独立优化，先聚焦在硬件升级，然后再以算法辅助、优化后期处理等运作方式相对流程化，如今，“光 x 感 x 知”光感知系统协同配合，软硬协同升级，实现光感知系统全流程的能力提升。这意味着整个手机影像系统数据处理规模以及资源调度能力增强，能支持更广泛的应用场景。 

目前，旷视已为多款主流安卓智能手机提供一系列计算摄影解决方案，其中，包括超画质、降噪和图像增强等在内的技术，已在当今的智能手机中广泛应用。 

超画质是一个很大的概念，不仅包括景物原有的细节纹理还原，还有着提高画面亮度、对比度以及色彩、层次感等功能，简单来说，就是让手机最后生成出来的图片更“完美”。如果要从硬件上达到这一标准，镜头和感光元器件都需要足够的尺寸，这对不少专业单反相机来说都是难以完成的目标。 

旷视则通过AI来对高画质数码相机的成像特性进行学习，还原拍摄场景原有的细节纹理，使画面品质得到整体提升。 

降噪一直是摄影圈的一个难点，对单反摄影爱好者来说，想要拍摄一张噪点少、成像好的照片需要在单反感光度、曝光时间上寻找一个平衡，这也通常会导致在光线条件不足的情况下一些转瞬即逝的瞬间难以被抓住。 

为解决噪点的问题，传统的解决方案是，分别拍一张长曝光图片和短曝光图片，然后在后期软件上进行合成。如今的AI降噪，会在算法降噪的基础上，再自动拍摄数张长短曝光的照片进行合成，快速生成图片，免去了人工在后期软件上合成的步骤。 

AI算法降噪的原理是对自然光谱进行学习并总结特性，对相机传感器所捕捉的信号进行分辨，哪些是噪声，哪些是成像需要的信号，最后把需要的部分还原，把噪声的部分去掉，最大程度地保留细节同时提升信噪比，这样能让画质提升的同时，细节也能够清晰的表现出来。 

摄影师通常喜欢用大光圈拍人像，这样可以虚化背景中杂乱的场景，让拍摄的主体更加突出。过去，手机受限于单个镜头中的光圈大小难以拍出自然的虚化效果，即便有算法的帮忙也经常被用户吐槽为“抠图+粘贴”。 

图像增强技术不像专业相机的光学景深效果，而是利用手机双摄和AI算法来进行虚化。随着手机多个摄像头的出现以及AI算法的进步，旷视通过不同摄像头之间的间距，利用算法计算出深度图像，进而形成可以媲美专业相机大光圈效果的图像。 

AI算法在多摄时代大显身手

归功于AI算法与手机硬件系统的协同进化，AI算法在手机厂商的影像“内卷”中扮演的角色也愈加重要。根据艾瑞咨询近期发布的《2020中国人工智能手机白皮书》数据显示，截至2019年，AI拍摄算法在国内不同价位安卓手机中覆盖率达已经到91.6%，在AI+光感知手机算法领域，以旷视为代表的头部企业份额占比接近80%。 

人工智能企业能在手机影像领域立足，其中一部分原因也是AI算法迎来了手机多摄像头的时代。如今，即使是对手机影像功能最不敏感的用户，也能明显感觉到手机背后的摄像头明显变多了，主摄、广角、超广角、长焦、潜望式、微距、ToF……双摄已落伍、三个勉勉强强、四个、五个也不嫌多。 

手机厂商们热衷于增加摄像头的背后，并不是简单的营销和噱头，除了近年来多摄技术的稳步发展，还有一部分原因在于AI算法为手机多摄提供了跨越式发展的契机，AI算法已逐渐成为摄像头之间联动的纽带，在AI的驱动下摄像头之间的联动可以形成“1+1大于2”的效果。 

具体来说，手机后置摄像头数量和类别的不断增加，对AI算法意味着光线、景深、像素等多种可收集类型数据传感器的增多。有些传感器镜头对色彩更敏感，有些捕捉纹理效果较好，有些则在运动焦点的追逐中效果最好。在AI算法与多个摄像头的协调配合下，通过双摄变焦实现多种传感器之间的强强联合获得最佳拍摄效果，如，利用双摄虚化实现媲美单反相机的光圈效果、多摄融合有效提升图片质量等。 

多个摄像头虽然使得AI算法能收集到的数据类型和数据信息更加丰富，但同时也带来了系列算法和算力的技术难点，如何在手机有限的算力以及电量限制的情况下尽可能达到成像的完美，这对AI算法本身也提出了不低的要求。 

例如，当手机利用不同焦段的镜头来实现数码变焦功能时，多个摄像头的切换需要使用到“平滑缩放算法”，该算法的质量高低将决定手机应用变焦功能时各焦段画面“接缝”的顺滑程度，越好的算法将使得这种过渡更加自然。 

基于多年的技术积累和项目工程落地经验，旷视的双摄虚化、多摄平滑变焦、多摄融合等算法均具有很强的泛用性，可适配多种模组组合和排布方式。以多摄融合为例，旷视的多摄融合算法采用神经网络设计模型，可有效解决清晰度不均匀、主体边缘线条弯曲、部分位置重影、线条断裂错位、重复纹理错位等传统多摄融合算法中的常见问题。 

AI算法在手机影像中扮演的角色日益重要，并不意味着AI算法在未来将取代硬件，而是AI与硬件的协同互动。旷视研究院研究员范浩强在近日的旷视MegTech Lite漫谈AI技术分享会上表示：“手机的整体影像能力提升不是仅依靠镜头多和像素高就可以实现，最重要还是成像系统各个要素间的协同。” 

手机的成像过程本质是“光电算”一体化的过程，即从光学感知到电子信号传递最后还原成图像的过程。AI算法在其中扮演的角色不仅仅是在最后一步进行优化，而是在一开始时就加入到光和电的协同配合中来。 

用户是拍摄风景还是人像，是拍摄星空还是运动中的细节，AI会在一开始便判断需要调动的不同镜头组合，来实现用户想要的拍摄效果。例如，当用户选择风光模式时，AI算法便已将主摄像头和广角摄像头调动起来；当用户选择人像模式时，AI算法便会调动主摄像头和人物细节解析力更好的黑白摄像头结合起来，在双摄像头模拟大光圈效果的同时获得更优的人像表现能力。 

未来的手机拍摄，将会向着利用AI技术，理解用户意图，利用算法自动调配摄像头，完美捕捉到用户想要拍摄的画面，从“所见即所得”到“所想即所得”，生成出传统专业相机无法拍摄出来的图片效果。 

当然，除了AI算法之外，更美好的影像世界的实现也依赖于未来更多新形态传感器的发明。如今，AI计算摄影不仅在推动更多传感器解决方案的出现，也在硬件之外开启了手机影像的“下半场”。 

本文来自微信公众号 “品玩”（ID：pinwancool），作者：洪雨晗，36氪经授权发布。