正如不少媒体所预料,iPhone 7 Plus 进入了双镜头的时代。
虽然说 iPhone 绝不是第一个使用双镜头的手机,苹果甚少采用最前沿的技术,但往往会把还未能量产、或成本太高的新技术,透过大量生产的方式来降低售价,这些零件才能得以普及,促使整个产业跟进。
同样地,iPhone 7 绝不是第一个采用双镜头设计的手机 ,但考虑到 iPhone 的影响力,笔者相信:手机的双镜头年代快将开始。
为什么手机要用双镜头?关键在于手机照相能力已到了尽头。
手机作为一个大众化的消费级产品,一直都处于照相能力的军备竞赛之中。最初手机照相能力之争,重点在于分辨率:由 60 万、200 万、500 万、800 万一直斗到千万级以上,非要把手机的画面放大到“数毛”的阶段,业界才发现手机 CMOS 的尺寸与分辨率已经去到难以共存的地步。
然后,产业之间开始不断的增加镜片数目、也不断的增大镜头光圈、不断的增大 CMOS 面积、不断的加入光学防抖等零部件,直至连 iPhone 也有一个丑得不能再丑的凸出镜头(下图),直至连 iPhone 也要为加入光学防抖而砍掉 3.5mm 耳机,大众才开始留意到:手机内部已经难以单纯透过硬件来提升成像能力。
更重要的是:手机厂商值得为了提升相机的成像能力而作进一步的牺牲吗?在经济学上有一个边际效用递减定律 (Law of diminishing marginal utility),指的当消费者会增加一个单位产品所取得的额外效用,会随着数量的增加而下降,直至边际效用达到负值时(即每增加一单位产品,效用反而减少),消费者将不会喜爱该产品。
同样地,手机镜头的性能增长,也受到边际效用递减定律所桎梏(下图)。在手机镜头发展的初期,手机的拍摄质素实在太烂,所以我们可以每一次增加分辨率、每一次增加新的镜片、每一次加大镜头和感光元件,都会带来用户在拍摄体验上的飞跃。
但是,成像能力的飞跃到了 iPhone 5s 开始进入死胡同。
当时就有不少评测者,开始把 iPhone 5s 与专业级的单镜反光相机 (DSLR) 相比;但这绝不是指 iPhone 5s 的真的达到专业级相机的水平,而是指一般用户开始不太在意手机与专业级相机照片的细微差距 ── 尽管对于摄影爱好者来说,差别是巨大的。后来,华为偷偷的把佳能相机的照片,偷偷扮成是旗下手机拍摄的照片(下图),就已经反映了就连厂商也觉得普通用户根本也不在意,所以才敢指鹿为马,“以次充好”。
当普通用户已经不再重视那些“细微”的成像提升,但手机公司为了与对手竞争,仍然肆意的把相机元件提升,直至 iPhone 6 那个丑陋的“凸镜头”后,导致怨声四起,业界才开始留意到:手机的空间已经不容我们无限量增加提升成像能力 。
当年用户会被 iPhone 5s 的镜头所打动,但很难再为 iPhone 6s 的镜头而心动。同样地,我们不是说单镜头不能再继续提升,但改良镜头时所付出愈来愈多的成本、在机身里所作出愈来愈多的妥协,只能换来摄影爱好者的赞美,但对于一般消费者来说,却是愈来愈微不足道。
故此,厂商必须在最小的牺牲下,为用户带来最新的价值。所以,双镜头就应运而生了。
双镜头的重要性在哪里?因为它拍出来的不光是“成像”,而是“数据”。
因为相机镜头发展至今,已经由单纯的“镜头”,变成手机的其中一个“传感器”。爱范儿主笔 Odin 在 2013 年 iPad Air 推出时,曾对苹果没有提升这“生产力工具”的摄像镜头表示失望,原因是:
请不要光是把“相机”视作为“相机”,要把它视作为“传感器”,就知道它的潜力所在 ── 有了相机,你可以把平板当成扫描器 (Scanner);也可以把平板当成是增长实境 (Augmented Reality) 的屏幕…
事实上自手机进入智能化时代开始,开发者就不断为手机镜头加入“拍照”以外的新功能:手机应用 Scanner Pro 会把手机镜头当作扫描器 (Scanner),微信 (WeChat) 也大量把手机镜头当成二维码扫描器,甚至用作移动支付之用(下图);也有手机应用能把镜头用作测距,或是把把镜头作为 AR 应用。
尽管照相机进入数码化已经有不短的日子,但一直以来手机厂商重视的是“成像”不是“数据”,所以大家的关注点仍然是“光学”。直至 HDR (High Dynamic Range) 流行后,手机厂商才开始采用多重照片合成,来改善相片质素。
苹果在 2011 年的 iPhone 4s 开始,在索尼的 CMOS 以外再自行研发自家的图像信号处理器 (ISP, Image Signal Processor),在 iPhone 5s 发布会里,苹果展示 iPhone 如何在一次的拍摄里生成海量的照片,再合成最好的照片(下图)。当中的每一次光学成像,在处理器里已经不再是单纯的光学影像,而是数据和算法。
同样地,双镜头的重要性并不是因为它有双镜头。
单纯从硬件来看,双镜头拍出来的成像,极其量就是两张不同质素的照片,单独看起来意义不大。但如何发挥双镜头的优势,关键已经不单单是光学,而是合成算法,早前就有报道称,苹果近年虽然在人工智能上默默无闻,但实际上他们早就对此深度研发;刚好在 iPhone 7 的发布会上,苹果的高管 Phil Schiller 指出,他们在 iPhone 7 的镜头里大量使用机器学习 (Machine Learning)(下图)。
简言之,未来手机镜头将会步入新的时代:影像算法和人工智能。
目前的消费级设备上的双镜头运算,主要以两种方式为主,一是双目“叠加”,二是双目“视差”。
手机的双镜头运算,目前主要以“叠加”来增强摄影功能。HTC One 和 iPhone 7 一样,均以双镜头为手段,让手机在没有变得更厚的情况下,把两个影像数据对比,然后进行像素叠加,借此达至无损/低损的数码变焦功能。
而华为在双镜头的处理则有点不同:它们以一个黑白、一个彩色的镜头组合,利用黑白传感器有更佳光线感应能力的优势,再把彩色镜头的色彩信息叠加(下图),借此取得更好的低光拍摄能力。不过,两者都可以把不同焦距的效果叠加,然后让用户能在后期调整景深。
相反,目前不少非手机设备的双镜头运算,却是以“视差”来测距,借此进行 3D 建模。目前的体感游戏设备、VR 设备、以致无人机和无人驾驶汽车的自动避障功能,均过双镜头摄影机透过镜头之间的距离,使影像出现“视差”,然后再把两个不同的影像数据对比,用三角算法计算出镜头与对像之间的距离(下图),并即时绘画立体影像,借此渲染虚拟影像、或计划安全的行驶路线。
然而,由于 VR/AR 技术、以及自动避障技术愈来愈流行,导致早前不少媒体误以为 iPhone 为首的双镜头阵营,将会把手机带到 VR 世界里。
问题是“双目叠加”和“双目视差”的设备,在目前的科技下仍然是个矛盾命题:双镜头的两个影像的差距愈少愈好,系统才能更准确的把影像无瑕叠加,故此,两个镜头必须尽量靠拢在一起;但 VR/AR 所用的双目视差,两个影像必须有够差距,两者之间的夹角才能增加,运算精度才能提高,所以两个镜头之间的距离必须愈远愈好。
除了是双镜头距离之间的矛盾之外,目前使用双目视差来进行 3D 建模,所需要的计算能力远远比影像叠加要高。大疆 Phantom 4 就以专门的 FPGA 来进行双目运算,而 HTC Vive 更需要高端桌面电脑来能推动,而坊间大部份的无人驾驶汽车也要使用“核弹头”级别的专门图像处理器来计算。但以目前手机芯片的处理速度和手机的续航力来说,根本不足以进行 3D 建模。
简言之,iPhone 在短期内,不可能透过双镜头做到任何与 VR/AR 有关的事。
但是这代表苹果“未来”真的不可能透过相机头加入 VR/AR 阵营吗?我们并不知道。但是,笔者早前引述苹果 CEO 库克的说法:VR 和 AR 两者,他们更重视的是 AR。而 AR 正是需要大量使用镜头作传感器的交互方式。
也许 iPhone 在今天的水平仍然不足以在 AR 做些什么事,但苹果在 iPhone 7 上开始,累积双镜头的算法,等候几年后的硬件爆发时,就可能是时候了。
虽然如此,也许目前的科技未能协调两者的矛盾,但在双镜头的带领下,未来手机摄影仍然不可避免的进入“智能”、甚至是“计算机视觉”的时代。
以往“爱范儿”也能造手机的时代已经改变,手机厂商将很难光以强大的供应链能力,以采购元件和把开源系统进小修小补,就能推出手机。所以,没有算法和人工智能技术的厂商,将会愈来愈吃亏(大家还记得有多少人吐槽华为的双镜头吧)(下图)。
苹果也是一样。早前有文章评价 iPhone 7 Plus 的虚化时,觉得这效果比起先前引入双镜头的手机厂商来说还是可以,朋友圈来的好评度颇高,但从摄影师的角度去看,这些照片(下图)距离相机还是有很长的距离。而且与通过光学效果实现虚化相比,苹果在现阶段的数码算法还不能达到这个高度。
很明显,苹果在这方面还有很长很长的路要走。
同样地,相机元件厂商未来也要面对巨大的挑战。以往只提供硬件平台的他们,将要进一步提更完善的相机算法方案,更可能要与手机芯片制造商合作,把计算能力和影像计算整合,并为未来的手机元件产业带来更大的冲击,就例如高通 (Qualcomm) 就准备好双镜头模组方案,手机厂准备打开钱包买新组件吧。
且让我们拭目以待,这一次的双镜头革命会如何改变手机生态吧。
(本文来源爱范儿)