360°全景立体影像是未来影像的一个发展趋势。现在的手机或相机所拍摄的照片都是平面影像。平面影像所用的镜头在100°附近。它所呈现的影像对于人眼来说比较容易识别,比较符合我们的视觉。但是100°的影像和360°影像是有区别的。
360°影像类似于球形,它所包含的图像信息要远比100°的图像多。这两者所用的镜头和技术都不一样,最终它们所包含的信息也不一样。而且立体影像可以为我们带来更好的360°体验——图片和视频可以滑动观看。立体影像有两个优势,即拍摄的信息更多,与以往看照片/视频的体验相区别。
其实360°全景立体影像并不是一个新的概念。这就好比在智能手机和笔记本电脑之前,早在1950年就出现了电脑,但是那时的电脑既非常庞大又非常昂贵。对于立体影像,其实早期也出现过这种技术,即多台相机通过复杂组合实现立体拍摄。那时,影像在拍摄之后要传到电脑上,由专业人士和专业软件进行处理,最后才能得到我们所看到的影像。因此这种方式无法大批量推广也无法让普通老百姓使用。针对这种情况,盈方微推出了全景影像解决方案,从而可以让客户做出非常小的设备来。
下图是该全景立体影像方案中的一些主要技术。左边是两个或一个全景摄像头,输入到中间的全景影像芯片。虽然盈方微是一家芯片公司,但是提供了全景APP算法。“其实今天我们说的解决方案,不仅仅代表说我们只是有一颗芯片。其实这个解决方案还包含了APP端和电脑端的全景算法。”日前在盈方微媒体见面会上,盈方微电子影像产品线产品市场经理杜云海向记者表示。
影像芯片的构架一般都是类似的,里面包含CPU、ISP和视频编解码等。盈方微这款芯片之所以称之为全景影像芯片,是因为它中间包含了两个重要模块,即全景矫正DSP和全景拼接模块。“一般市面上的影像芯片是没有包含这两个模块的。我们这个全景影像芯片是把这两个模块内置在了我们的芯片中。”杜经理表示。
所谓的全景矫正技术是指,一颗或两颗360°的镜头将图片送入到芯片内,这个图像是一个圆形图像,人眼是不能正常看的,必须要经过芯片内的鱼眼矫正技术,即把有畸变的图像拉伸或进行其他变形,使它更适合人眼观看。
全景拼接技术即对两个摄像头(双目)拍摄的图像进行拼接。经过拼接的图像在手机上或是其他软件上看,并不会发现这是两个摄像头拍摄的产品,而是一个全立体空间的产品。这种全景拼接技术基于的是一个很复杂的模型,而不是简单地把两张图像靠在一起,因为这是360°立体拼接。
全景影像芯片和全景APP算法两者缺一不可,只有将它们结合才能给终端客户提供真正的全景立体影像的体验,杜经理再次强调。
盈方微针对视频影像市场共推出了5个系列芯片,包括主打消费市场的C20、C23、Q3S三颗芯片,以及主打专业市场的Q34XX和Q35XX两个系列芯片。
C23的特性如下图所示。
1. 机内鱼眼矫正,这并不是在电脑端或手机端操作的,而是在全景影像芯片内部通过硬件DSP实现的。如果设备端可以自己做矫正,那么设备就不需要太多依赖于后端处理。如果不能在设备端处理这些影像的话,很多图像就要到电脑端去处理,这样就会使用户体验变差。这样,用户在拍摄完后,就可以直接在显示屏上观看或一键上传到视频网站。
2. 机内拼接30fps。如果拼接技术或算法优化得不好,图片滑动的时候会出现卡顿或者错位。盈方微机内拼接技术可以让大家根本感觉不到图像的拼接过程,而且在速度方面还不会有迟滞感。
3. 13M高性能ISP不是C23的特性,该公司另外一颗全景影像芯片可以支持到最高1300万的高性能ISP。ISP主要用来处理图像质量或图像信号,可以对一些复杂场景中拍摄的图像差异进行处理。比如正反两个摄像头所对应的灯光不一样,那么我们可以通过ISP来处理,使二者最后呈现的图像是一样的,从而使它们可以拼接在一起。
4. 支持WIFI和USB。这是整个解决方案中的一个重要部分。目前盈方微在推的一款产品是手机配件。这款产品使用非常方便,可以随身携带,往手机上一插,就可以当做全景相机。这就必须支持USB。另外,考虑到用户体验,这其中也加入了WIFI连接,即不仅可以插在手机上用,也可以脱离手机拿在手上用。
5. 低功耗。现在电子产品越来越小,大家也希望它能够用得久。盈方微对实现低功耗也做了大量工作。
全新的APP体验包括四个方面:多平台支持,一键分享,视频录像及编辑,多种模式视角。
多平台支持即对Android和苹果手机及Window和苹果电脑等提供全平台支持。
一键分享是从用户体验的角度来说的。如果拍摄的视频不能马上传送到视频网站上,而是要带回家,把卡取出插到电脑上,再打开软件进行转换,最后才能查看或上传到视频网站上,这种体验就非常不好。如果用户拍摄的照片和小视频能马上上传到微信上,这种体验才是成功的。一键分享背后的技术是机内矫正技术。
视频录像及编辑,即如果录制的视频很长或包含不想分享的部分,则可以在软件上做编辑、剪切和重新拼接。
多种模式视角(大角度模式、小行星模式、VR模式)可供用户根据个人喜好选择/切换。“作为一种新产品来说,必须首先把用户体验(包括配套软件)做好。如果用户体验做得不好,把性能做得再高也不会得到客户认可。”
盈方微解决方案基本归类于全景相机,包括双目鱼眼相机(720°,左右各360°,即全空间)、360°单目鱼眼相机(放在桌子上或对着前方,只能拍到上半部分)和手机配件形态(通过手机软件实时拍摄360°全景影像)。
全景影像不仅可用在消费电子和娱乐方面,而且在安防领域也有着非常重要的用途。立体安防监控,平常我们在一个房间内要监视整个房间,需要用到4个摄像头。而现在采用立体全景影像解决方案,只要用一个摄像头(挂在房间的中间)就可以看完。然后通过机内矫正技术,将图像拉直并进行拼接。
下图上面是环形查看方式(头和尾其实拼接在一起,可以滑动观看)。中间是类似传统安防领域的四分割,即好像有四个摄像头,其实只有一个摄像头。左边的圆形图像是原始图像——中间的图像可以看清楚,但旁边的图像却看不清。这就必须通过全景智能影像芯片的机内矫正技术实现四分割。
综上,不管是消费类电子还是安防监控,全景的概念可以为我们很多行业带来新的变化,给我们的用户带来更好的体验。
此外,除了消费类相机和安防监控,还有很多行业都需要这样的产品,比如车载监控(行车记录仪,车前方和车内可以同时记录,并且不会使安装更复杂)、VR内容提供(目前大多VR内容拍摄依赖于商业拍摄公司,全景立体影像解决方案有助于VR更快地真正落地)、无人机航拍、医疗、教育、网络直播等等。