图传延时对VR沉浸式体验的影响 为了理解图传延时与VR晕动症的关系,我们先来了解下VR延迟这个概念。VR延迟是指VR头盔显示设备的视觉观测与头部运动的不匹配。 不匹配就会导致用户产生头晕目眩的现象,这种症状叫做晕动症。简单说来,就是由于眼睛看到的与耳前庭系统所感受到的运动状态不一致,导致的体内系统紊乱,头晕、恶心等症状。比如我们晕船晕车、晕FPS游戏(First-person Shooting Game)等。
如图所示,当我们佩戴VR眼镜飞行时,图传延迟带来的晕眩感将极大地影响沉浸式飞行体验。除此之外,图传延时还将直接威胁无人机的安全: 对于无人机来说,按照10m/s的飞行速度,在200ms内,飞机的实际位置相对我们所监控的位置已经变化了2米。然而,10m/s的飞行速度仅是中下水平——有些无人机厂商宣称能飞120km/h (33m/s),那么很有可能我们在VR眼镜或手机上看到飞机还处于安全状态时,实际上飞机已经撞上了障碍物。所以在高延时的FPV飞行下,危险指数很高。 不仅如此,如图传画面出现卡顿滞后的情况,即画面停驻在某一帧或者前后几帧的画面重叠交错,试想如此不流畅的观感体验以及几近“盲飞”状态下的无人机将“十飞九炸”。 延时将来带来如此严重的后果,那么那种图传方式才是最安全且体验感最佳的呢? 对比模拟图传与数字图传的延时 图像传输过程的每一个步骤都会产生延时,但主要的延时由相机成像、图像压缩、信号编码及解码这几个过程组成。
模拟图传通信系统图
数字图传通信系统图
另外,根据部分飞友的实测和相关厂家的官方数据(精确的数值暂时无法获知,包括相关的厂家无法提供),在较理想的环境下,模拟图传延时大概100ms,数字图传大概300ms。 但是也有人认为,数字图传并非像文中所言,延时比模拟图传高,相反,数字图传目前已经能够实现近零延时。 图传的延时主要来自图传编码和摄像机成像,模拟图传因为没有编码过程,因此在延时上更有优势。不过,这并不代表数字图传不能做到更低的延时,大疆的 Lightbridge 2通过优化编码已经实现了50ms的延时;使用COFDM方案的设备,最低的端端延时40ms(这个没算摄像机的成像延时,一般70ms左右);而来自以 色列的Amimon,他们的WHDI技术可以做到延迟小于1毫秒,几乎是零延时。 只用模拟图传?其实是做不出来数字图传 Amimon之所以能做到几乎零延时,同样是因为没有编码,也就是没有压缩直接传输数据。 “就这样打比方吧:1080P不压缩的数据量在1920x1080x3x60/1024/1024 = 355.95Mbyte(编者注:1920x1080是分辨率;3是三原色,每个颜色由8bit来表示;60为刷新率),是byte,不是bps。这个数据量,我们现在家用的100mbps 的宽带都达不到,如果用H.264 压缩,在不怎么降低清晰度的情况下,数据量至少缩到十分之一,也就是35Mbyte 就可以搞定了,但是对于无线通信还是比较困难的,所以大家才会继续选择高倍率压缩。再压缩个5倍 ,就是7Mbyte 的数据量。如果刷新率降低到 30hz ,那数据量就只有3.5Mbyte 了。那码流只需要3.5Mbyte x8 = 28Mbps 就可以传输1080P 30帧的全高清了。所以不压缩的距离肯定远不了,要么就功率严重超标。”有业内人士向记者表示,信道其实传输很快,但是不编码距离传不远。 Amimon 的WHDI技术设定了一个无线高清晰度视频连接的新标准。它提供了一个高品质,无损无压缩的无线连接方式。其采用的MIMO技术和OFDM的调制方式能够 实现高达3Gbps的传送速率,支持无压缩的1080P图像,可以覆盖30米的范围,可以穿透墙壁,并且延迟小于1毫秒,支持5.1-7.1声道,100K的回传信道。 那为什么大多数无人机厂商还是选择模拟图传?因为自己没办法做数字图传啊!买别人的?又太贵了,大疆的Lightbridge 2零售价7999元,COFDM方案的设备售价几百到几万,而Amimon的设备售价在1万左右。而模拟图传,因为技术简单,市场成熟方案供应商和厂家很多。 目前,无线图像传输的技术体制可大致分为:模拟传输、数字/网络电台、GSM/GPRS、CDMA、数字微波、扩频微波、无线网、COFDM(正交频分复用)等。有人如此分析各个技术的自身优势: 模拟传输为淘汰的技术,其优势是价格低廉,但其为单载波技术,仅仅在通视环境下应用,不能在阻挡环境中和移动中使用。 数字/网络电台价格低,很多采用跳频技术,但本质上为单载波调制;有效传输速率有限,一般在100-300Kbps,无法传输高质量图像(大于2Mbps)。 GSM/GPRS、CDMA为移动通信公网技术,很成熟,但传输速率有限,一般在100Kbps级,无法传输高质量图像(大于2Mbps);保密机制不健全,如建设专用网,其小区制覆盖将意味着天价建设成本。 数字微波、扩频微波可以提供高速率链路,但均为单载波调制技术体制,仅仅在通视环境下应用,不能在阻挡环境中和移动中使用。 无线网技术发展很快。802.11FHSS(跳频调制)、802.11(b)DSSS(直序扩频)可以提供约1-5 Mbps净速率,但因它们的单载波调制 体制,仅仅在通视环境下应用,不能在阻挡环境中和移动中使用。802.11a(52载波)、802.11g在物理层采用了OFDM多载波调制,但载波数量 较少,如802.11a为52个子载波,实际应用中对比802.11FHSS表现出少量的“绕射”能力;它们一般应用于办公室内无线局域网,用于室外需配 置定向天线。 COFDM(正 交频分复用)调制技术是最新的无线传输技术,它是真正的多载波技术,子载波数量达到1704载波(2K模式),甚至8K模式,同时也真正在实际使用中实现 了“抗阻挡”、“非视距”、“动中通”的高速数据传输(2-20Mbps),表现出卓越的“绕射”、“穿透”性能。 拿航拍无人机玩FPV 其实图传画面与最后拍摄的视频是不一样的,所以用什么图传与所适用领域关系更大。摄像头拍摄的图像保存在内存卡里,也分享给图传,图传处理之后发给显示单 元,图传的类型不一样就会导致显示单元这边的图像质量的差别在航拍的时候,由于更注重画质,而对于拍摄人员当然是看到的是什么拍出来的就要求有一样的效果。而穿越机不一样,那玩意儿速度快,容错率低,不允许有延迟,只要能看清飞机正前方就可以了。 所以,一般来说,航拍无人机与FPV (First Person View,第一人称视角)无人机是泾渭分明的两个类别无人机,航拍无人机注重画面,FPV无人机热衷速度,用户群体也是截然不同的。 其实,FPV用模拟图传没什么问题,关键在于你的定位是怎样的,你的用户群体是谁,他们习惯的,又是什么。并仔细考量到底是画面重要,还是速度重要,以免最终两者都兼顾不到。 数字图传:大规模走进消费级还有待时日 航拍无人机由于成本以及技术问题大多使用的是WiFi Camera方案,数字图传技术通常更多地应用在军工领域以及广播电视电影。在国内,在消费级无人机领域,除了大疆几乎没有哪家使用了数字图传技术。 Lightbridge 2采用无线链路动态适应技术,平衡了距离、电磁环境和画质的冲突,能自动选择最佳信道,并在有需要时切换信道和调整视频带宽,保障视频的流畅性,有效降低 画面缺损和中断现象。结合高速处理器和先进的算法,Lightbridge 2将Lightbridge 1的150ms延时压缩到了50ms。 那为什么只有大疆的精灵有数字图传呢?这主要是因为大疆通过大量的出货量,能将数字图传的成本降下来,而其他人,则很难有这种能力。上述业内人士分析,其实最大的问题在于市场还不足够大,以至于一流芯片设计厂家不会量产数字图传专用芯片解决方案。 DJI 的这个数字图传架构是一个标准软件无线电的架构(MIMO天线+OP+LNA+数字Tuner+数字基带),把信号收下来后通过调谐器tuner 把高频RF 信号调谐到zero IF 或者LowIF,然后FPGA 对中频信号进行信道解码,解码完后再给视频编解码器解码到常规格式 ,再给到多媒体处理器转换成HDMI或者USB 提供给ipad,然后发射,就是这个反向过程。手机和WiFi也是这个架构。那为什么手机和WiFi的东西那么便宜。因为手机的市场大,所以做芯片的公司都针对射频和基带和电源管理分别出套片,然后这个量大啊,所以就很便宜。
Lightbridge2 基于器件方块图