本文将讨论需要处理离屏页面的各种用例，在嵌入式平台上实现帧合成器/分解器的不同方法以及这些方法各自的优缺点，并推荐一种使用OpenGL ES构架和图形处理单元(GPU)的具有高度可移植性和可扩展性的设计解决方案。
1.0 引言
用于处理离屏页面的视频帧合成与分解模块是视频通信、视频网络、视频安防等多媒体应用中最重要的软件组件之一。离屏页面是指没有在屏幕上显示的那些视频帧。
视频帧合成模块能够接入多个视频输入通道，每个通道可以有各自不同的属性，如像素格式、像素分辨率等。然后将来自这些通道的帧合成到单个或多个视频输出通道(同样可以有不同的属性)的输出帧上。当这种合成帧经编码并从一台设备发送出去时，接收设备中的帧分解模块将会完成相反的功能，即提取输入通道的视频帧中的合成帧。图1和图2显示了这些组件的功能描述。
《电子技术设计》网站版权所有，谢绝转载 {pagination} 2.0 用例 多媒体系统有许多不同的应用场合需要使用帧合成器/分解器功能性组件。下面的解释讨论了其中的一些使用案例。 2.1 视频通信系统 在涉及到双方进行高清视频呼叫的IP视频通信系统中(即在点到点视频呼叫中)，要求每台设备与另外一台设备交换从各自摄像机捕获到的视频帧。每台设备上可能会使用不同的视频压缩技术(如MPEG、H.264等)对捕获到的摄像机图像帧进行压缩/编码。压缩后的比特流再使用各种网络协议(如RTP、UDP)在网络上传送。 在接收端，首先要接收来自发送端的编过码的数据流，然后使用MPEG、H.264等视频解压缩算法进行解码/解压缩。最终在接收端显示解码后的帧。这样，呼叫双方都至少需要具有同时解码从网络上收到的帧和编码自己的摄像机捕获到的帧的功能。 在智能手机、平板电脑等典型的嵌入式系统中，实现点到点视频呼叫所需的这些编码/解码算法因所用的处理器架构而成为可能。这些算法要么在多内核CPU或低功耗数字信号处理器(DSP)上实现，要么使用硬件视频加速器实现。 但在视频会议情况下，会有多台设备进行视频呼叫。因此如果一台设备想要参与视频会议呼叫，它需要支持一个以上的解码实例来解码从多方收到的视频，还需要一个编码实例来编码自己摄像机的内容。 由于设备存在最多一路高清帧的编码和解码电路限制，低端平板电脑和智能手机不可能支持涉及多路高清帧解码和单路高清帧编码的会议呼叫。为了让这种系统支持高清视频会议，它们需要采用所有设备能够拨入的高端视频通信桥。图3显示了这种视频桥的功能。
《电子技术设计》网站版权所有，谢绝转载 {pagination} 2.2 外部显示器 对上述视频会议用例中与视频桥连接的每台设备来说，可能要求从输入的单路视频通道中提取/分解合成视频帧，并将它们显示到各台显示设备，或者出于演示等目的在接收终端的屏幕各窗口上显示。下面的图4就展示了这样的一个用例，其中来自用户A、C和D的帧被显示在用户A的LCD屏幕的各个独立窗口上，而来自用户B的帧显示在诸如HDMI电视机等外部显示器上。
《电子技术设计》网站版权所有，谢绝转载 {pagination} 2.3 3D视频会议 在如图5所示的3D视频会议应用案例中，要求将来自两个摄像传感器的输入帧合成在一起，经编码后在网络上以数据流的形式传输。接收端则要求提取/分解出来自每个摄像传感器的帧，以便将各个通道的帧渲染到显示器的不同通道上，实现立体观看体验。
《电子技术设计》网站版权所有，谢绝转载 {pagination} 3.0 实现 离屏帧合成器/分解器功能可以有多种实现方式： 3.1 使用独立于平台的算法 这种方法采用可以在CPU上运行的通用算法。虽然这种实现具有很好的可移植性，但会导致CPU负担过重。这是因为帧的合成/分解过程通常包含以下一些操作： ●缩放或重新调整视频帧尺寸(放大或缩小) ●输入视频帧在输出帧中的定位 ●输入帧的剪切 ●输出帧的剪切 ●输入通道的Alpha混合 ●输入/输出帧的旋转 在帧速率为30fps的视频流情况下，这些操作必须以1/30s即33.33ms的帧周期执行。如果帧的像素分辨率更高，比如720p、1080p，那么处理这些帧将成为CPU很重的负担。CPU负担的加重将导致不良的用户界面，因为I/O互动少了。如果处理器不能在如此短的帧周期内处理完一帧，那么在帧合成过程中有可能发生丢帧现象。
《电子技术设计》网站版权所有，谢绝转载 {pagination} 3.2 使用特殊平台缩放器 一些嵌入式处理器提供特殊平台缩放器的硬件实现，它们实际上是用硬件方式实现的多相过滤器，可以针对不同缩放比例提供可编程的过滤系数。 为了在应用程序中发挥这种特殊平台功能，CPU芯片供应商将提供定制的设备驱动程序。我们可以通过缩放器设备驱动程序使用这种缩放器来实现合成功能。应用程序可以利用不同的输入/输出剪切参数一次调整一个输入帧并合成到输出帧中。一旦缩放器调整好了一个输入帧的大小并将它放到输入帧中，它就会向CPU内核发出中断信号。 针对将N个输入帧合成到一个输出帧的应用而言，它必须在一个帧周期内完成N次尺寸调整操作。这些缩放器非常高效，可以在可接受的时间限制内完成缩放处理。合成帧的输出帧速率取决于单次缩放操作所占用的时间。 如果是N到1的合成、并且输入/输出帧具有相同的像素分辨率，那么
《电子技术设计》网站版权所有，谢绝转载
【分页导航】
《电子技术设计》网站版权所有，谢绝转载 {pagination} 2.0 用例 多媒体系统有许多不同的应用场合需要使用帧合成器/分解器功能性组件。下面的解释讨论了其中的一些使用案例。 2.1 视频通信系统 在涉及到双方进行高清视频呼叫的IP视频通信系统中(即在点到点视频呼叫中)，要求每台设备与另外一台设备交换从各自摄像机捕获到的视频帧。每台设备上可能会使用不同的视频压缩技术(如MPEG、H.264等)对捕获到的摄像机图像帧进行压缩/编码。压缩后的比特流再使用各种网络协议(如RTP、UDP)在网络上传送。 在接收端，首先要接收来自发送端的编过码的数据流，然后使用MPEG、H.264等视频解压缩算法进行解码/解压缩。最终在接收端显示解码后的帧。这样，呼叫双方都至少需要具有同时解码从网络上收到的帧和编码自己的摄像机捕获到的帧的功能。 在智能手机、平板电脑等典型的嵌入式系统中，实现点到点视频呼叫所需的这些编码/解码算法因所用的处理器架构而成为可能。这些算法要么在多内核CPU或低功耗数字信号处理器(DSP)上实现，要么使用硬件视频加速器实现。 但在视频会议情况下，会有多台设备进行视频呼叫。因此如果一台设备想要参与视频会议呼叫，它需要支持一个以上的解码实例来解码从多方收到的视频，还需要一个编码实例来编码自己摄像机的内容。 由于设备存在最多一路高清帧的编码和解码电路限制，低端平板电脑和智能手机不可能支持涉及多路高清帧解码和单路高清帧编码的会议呼叫。为了让这种系统支持高清视频会议，它们需要采用所有设备能够拨入的高端视频通信桥。图3显示了这种视频桥的功能。
【分页导航】
《电子技术设计》网站版权所有，谢绝转载 {pagination} 2.2 外部显示器 对上述视频会议用例中与视频桥连接的每台设备来说，可能要求从输入的单路视频通道中提取/分解合成视频帧，并将它们显示到各台显示设备，或者出于演示等目的在接收终端的屏幕各窗口上显示。下面的图4就展示了这样的一个用例，其中来自用户A、C和D的帧被显示在用户A的LCD屏幕的各个独立窗口上，而来自用户B的帧显示在诸如HDMI电视机等外部显示器上。
【分页导航】
《电子技术设计》网站版权所有，谢绝转载 {pagination} 2.3 3D视频会议 在如图5所示的3D视频会议应用案例中，要求将来自两个摄像传感器的输入帧合成在一起，经编码后在网络上以数据流的形式传输。接收端则要求提取/分解出来自每个摄像传感器的帧，以便将各个通道的帧渲染到显示器的不同通道上，实现立体观看体验。
【分页导航】
《电子技术设计》网站版权所有，谢绝转载 {pagination} 3.0 实现 离屏帧合成器/分解器功能可以有多种实现方式： 3.1 使用独立于平台的算法 这种方法采用可以在CPU上运行的通用算法。虽然这种实现具有很好的可移植性，但会导致CPU负担过重。这是因为帧的合成/分解过程通常包含以下一些操作： ●缩放或重新调整视频帧尺寸(放大或缩小) ●输入视频帧在输出帧中的定位 ●输入帧的剪切 ●输出帧的剪切 ●输入通道的Alpha混合 ●输入/输出帧的旋转 在帧速率为30fps的视频流情况下，这些操作必须以1/30s即33.33ms的帧周期执行。如果帧的像素分辨率更高，比如720p、1080p，那么处理这些帧将成为CPU很重的负担。CPU负担的加重将导致不良的用户界面，因为I/O互动少了。如果处理器不能在如此短的帧周期内处理完一帧，那么在帧合成过程中有可能发生丢帧现象。
【分页导航】
《电子技术设计》网站版权所有，谢绝转载 {pagination} 3.2 使用特殊平台缩放器 一些嵌入式处理器提供特殊平台缩放器的硬件实现，它们实际上是用硬件方式实现的多相过滤器，可以针对不同缩放比例提供可编程的过滤系数。 为了在应用程序中发挥这种特殊平台功能，CPU芯片供应商将提供定制的设备驱动程序。我们可以通过缩放器设备驱动程序使用这种缩放器来实现合成功能。应用程序可以利用不同的输入/输出剪切参数一次调整一个输入帧并合成到输出帧中。一旦缩放器调整好了一个输入帧的大小并将它放到输入帧中，它就会向CPU内核发出中断信号。 针对将N个输入帧合成到一个输出帧的应用而言，它必须在一个帧周期内完成N次尺寸调整操作。这些缩放器非常高效，可以在可接受的时间限制内完成缩放处理。合成帧的输出帧速率取决于单次缩放操作所占用的时间。 如果是N到1的合成、并且输入/输出帧具有相同的像素分辨率，那么
【分页导航】
《电子技术设计》网站版权所有，谢绝转载
上一篇：
台湾面板厂商引领今年4K电视面板出货量
-
微信扫一扫
一键转发 -
最前沿的电子设计资讯
请关注“电子技术设计微信公众号”
- 华为新通信系统专利发布，不同设备能利用人体通信互联 近日，华为公布了一项基于人体通信(HBC)的新专利，只要根据电子设备的结构和使用需求设置好信号电极和调整电路，满足了HBC需求，该专利系统可以应用于各种设备中···
- 锂离子电池之后，下一代的电池技术可能是什么？ 随着锂的开采和产量不断增长，锂已成为自人们认知到气候问题以来最值得关注却又矛盾重重的全球市场之一，那么哪些替代选择是最为可行的呢？
- Nature发布2024年值得关注的七大技术，中国学者的技术成 据EDN电子技术设计报道，《nature》发布了2024年值得关注的七大技术，其中，入选的大片段DNA插入技术由北京中国科学院高彩霞领导的研究人员开发，这也是自2018年首次评选以来，第一项来自中国学者的技术成果入选。
- 苹果Vision Pro国内炒至9万一台，首批体验者咋说？ 由于Vision Pro的首批发货量少，因此在“代购”市场，Vision Pro的价格甚至飙升至原价的4倍，近人民币9万元一台。令人吃惊的是，该商品显示已售5件。
- 像素不是越高越好？2023年十大“科学”流言你中招了几条 “身份证会被手机消磁”、“相机像素越高，拍出的照片越清晰”、“食用含碘盐可预防核辐射”……这些说法一直在网络上广为流传，但事实上它们都是流言，你中招了几条？
- 需要生成50%占空比方波，门控555第一脉冲过长怎么办？ 之前我的一个设计实例“该怎么让门控555非稳态多谐振荡器顺利得到使用？”解决了传统拓扑的555非稳态电路在启动时由RESET引脚门控从振荡关闭到振荡开启时产生的第一个脉冲过长的问题，不太传统的555非稳态拓扑也会遭受相同的第一脉冲问题···
- 可用于解决华为十大问题之一，4层深度储备池计算机问世 最近，上海科技大学的研究团队构建了首例全光深度储备池计算机，成功地解决了储备池光计算机的深度架构问题，在用于解决华为后香农时代的十大数学难题之一的非线性信道均衡问题时，取得了非常好的效果···
- 嵌入式产品的持续交付到底有没有意义？ 持续部署嵌入式软件一开始听起来不错，但您真的想持续向客户部署新软件吗？如果您正在制造汽车ECU、医疗设备，甚至微波炉或家用电器，您的客户真的需要频繁更新吗？
- 小米首款5G卫星移动终端入网 据博主数码闲聊站爆料，小米旗下首款5G卫星移动终端已经入网，支持卫星通信。值得注意的是，新机并不是超大杯的小米14 Ultra。
- 华为纯血鸿蒙正式发布，鸿蒙开发会是新的风口吗？ 如今经历了四年多的发展，鸿蒙系统已经日趋向成熟，最新的HarmonyOS NEXT的系统底座由华为全栈自研，它的内核为鸿蒙内核，而不再依赖Linux或Unix内核···
- 革命性的"乐高式"光子芯片 这种芯片将应用于先进的雷达、卫星系统、无线网络以及 6G 和 7G 电信的推广，并为先进的主权制造打开大门。
- 你是否也曾被高亮度LED眩光“闪瞎眼”？ 60年代中期，如果开车还亮着“刺眼的灯光”，是一项非常严重的违法行为...
- 2024年1月第3周新能源周销量 本周我们还是关注我们芝能热点品牌的情况，我们罗列了品牌和重点车型的情况···
- 与健康息息相关的分子马达（二） 细胞是一个包含多种分子马达的复杂系统，分子马达功能各异，协作完成细胞活动。但分子马达的功能异常或表达异常
- 拆解报告：酷态科10000mAh 30W快充移动电源 酷态科这款移动电源内置两节21700电池，总容量为10000mAH，体积小巧便携。移动电源两侧分别设有USB-C和USB-A接
- 华为FreeClip开放式耳机全球首拆 HUAWEI华为FreeClip开放式耳机在外观方面，采用极简主义几何设计，兼具了全天候舒适佩戴和时尚佩饰属性。在功能
- 神通552125软包电芯评测 这款神通552125软包电芯，我爱音频网分别在0.2C、0.5C以及1C三种倍率下进行测试，充电方面，1C倍率充电能在1小时2
- 华为FreeClip开放式耳机首发评测 作为华为旗下首款开放式耳机，FreeClip 采用了少见的「夹耳式」结构，整体呈 C 型，通过夹耳廓的形式固定在耳朵上
- 生物生命活动驱动者，与人类健康息息相关的分子马达(一） 分子马达由生物大分子构成，能够将化学能转化为机械能。分子马达作为具有特定结构的蛋白质，能够通过自身的运动
- 人形机器人之关键触觉传感器：刚性到柔性 触觉传感器是机器人进化的核心需要解决的问题，芝能科技将带你逐步了解触觉传感器的技术原理、技术路线、发展
- 拆解报告：美富达65W 2C1A氮化镓快充充电器 美富达这款65W充电器具备2C1A输出接口，并配有美标折叠插脚。充电器机身上没有标注任何产品信息。实测充电器
- 详细解读ACLR和ACPR 今天射频学堂将和大家一起抽丝剥茧一个射频指标——ACLR。
- 消失的她，GERBER失踪之谜 Gerber格式是线路板行业软件描述线路板（线路层、阻焊层、字符层等）图像及钻、铣数据的文档格式集合。明明有图
- OpenAI进军芯片行业 OpenAI，这个人工智能行业的当红小生，正积极探索半导体市场的机会。OpenAI首席执行官Sam Altman已开始与中东知
- Wi-Fi Alliance选用RUCKUS Wi-Fi 7平台作为Wi-Fi CERTIFIED 7互 RUCKUS Wi-Fi 7接入点为Wi-Fi CERTIFIED 7设备制定标准并支持全球互操作性
- 安霸发布前端AI开发者平台：Cooper Cooper开发者平台为工业应用、AIoT、智能视频分析和前端AI计算应用提供高能效解决方案。
- Microchip推出10款多通道远程温度传感器 MCP998x系列是单一供应商提供的最大车规级远程温度传感器产品组合之一
- 罗克韦尔自动化发布《可持续发展2023年度报告》 阐述在可持续发展方面的进展和成果
- Melexis首创Triphibian技术可实现MEMS压力敏感元件革新 Melexis今日宣布，推出首款采用全新专利Triphibian™技术的压力传感器芯片MLX90830。
- 上海首家第三方整车OTA测试实验室携手MVG 填补智能网联汽车测 MVG近日宣布，中国信通院上海工创中心（以下简称“上海工创中心”） 与浙江埃科汽车技术服务有限公司（以下简称“
- Transphorm发布两款4引脚TO-247封装器件，针对高功率服务器、可再 新推出的氮化镓场效应晶体管可作为原始设计选项或碳化硅（SiC）替代器件
- 全国产六核CPU商显板，米尔-芯驰D9360高性能高安全显控方案 今天给大家介绍一款国产厂商（芯驰科技）推出的六核高性能、高安全性芯片：D9-Pro，这款芯片有超强视频编解码能力，米
- 意法半导体与Sphere Studios联合打造全球最大的电影摄影机图像传 该影像传感器专为世界上最先进的摄影系统 Big Sky而定制，能够为拉斯维加斯的 Sphere球幕拍摄超高分辨率影像
- 美光率先上市基于LPDDR5X的 LPCAMM2内存模块，变革PC用户体验 LPCAMM2 内存模块以更高性能、更低功耗、更小的外形规格助力笔记本电脑实现更快速度、更小巧尺寸和更强续航
- 瑞萨推出其首款集成闪存的双核低功耗蓝牙SoC并实现最低功耗 全新DA14592 SoC和DA14592MOD模块支持众包定位等广泛应用，同时带来最低eBoM
- Vishay为其高性能红外接收器模块推出升级版 器件可提供即插即用方式替换现有解决方案，降低更宽电源电压范围内的供电电流，提高抗ESD可靠性、黑暗环境灵敏
