人类的智慧体现在可以通过感知、思考和行动来改变世界。首先，我们通过感官接收外界的信息和刺激，识别模型，并建立对世界的认知，形成信息系统。进而，通过思考加工和处理感知到的信息，形成理解和见解，来帮助解决问题，做出决策。最终，通过行动将感知和思考转化为实际的改变，逐步改变自然和社会环境，推动科学技术的进步、文明的发展和社会的演变。
现在，随着算力的高速提升和模型的演进，这个原本专属于人类的感知、思考和行动能力，正在逐渐实现向机器的转移，而每一个能力转移的拐点也都将产生新的范式。20世纪末期，诸如google、百度等伟大的公司使信息的生产和获取成本从边际成本转向固定成本，开启了互联网时代的新范式，而现在我们正处于思考和模型构建从人类转向机器的拐点。OpenAI和大模型使模型产生的成本从边际成本转化为固定成本，而这一拐点必将引爆模型的极大丰富，使模型和知识无处不在，并加速下一个拐点的到来，那就是以机器人和自动驾驶等技术为代表的行动无处不在的时代。这些新范式将重新定义人机交互的模式。
在模型和行动无处不在的新时代，智能视觉将变得必不可少，因为机器系统必须通过视觉等感官理解周围环境，做出相应的决策和行动——视觉信息为自动驾驶和机器人提供了关键的安全和避障能力，这是生死攸关问题。视觉对于人机交互也至关重要，未来的聊天机器人或者伴侣机器人不仅需要高智商，更需要高情商，而机器视觉可以通过捕捉人类的表情、手势和动作，从中理解人类的意图和情感，改善AI与人类的沟通和合作。另外，模型优化也可以借力智能视觉等感知技术，从现实生活中采集真实数据，形成更准确的模型，而不仅仅是依赖于文本描述和静态图像。
日前，Arm物联网事业部业务拓展副总裁马健（Chloe Ma）在Arm技术媒体沟通会上聚焦智能视觉并分享了Arm在该领域发布的新品及新生态计划。在她认为，智能未来，“视”不可挡。据介绍，Arm作为全球领先半导体IP供应商，其在计算的不同细分中的表现都不同凡响，更在智能摄像头市场以9成以上的市占率独占鳌头。马健强调：“在视觉成为边缘设备普世能力的未来，中国更是引领视觉技术发展的中坚市场，创新活跃度高涨，竞争激烈。中国客户促使我们以新的方式更好的支持他们的差异化创新。我们今天在中国市场发布全新Arm智能视觉参考设计，为视觉芯片及系统设计奠定坚实可靠的基础，并支持灵活配置，为客户降本增效，使视觉软硬件联合创新成为可能，加速系统开发进程。”
Arm物联网事业部业务拓展副总裁马健（Chloe Ma）
智能视觉技术对智慧家居、智慧城市、零售和智能制造等领域的应用日益广泛。在智能家居领域，除了安全监控、智能门禁和个性化的家庭环境体验外，在中国人口老龄化的情况下，关系到千家万户的用例是通过摄像头监测老年人的日常生活，睡眠质量等，并及时报警或提醒看护人员。在智慧城市方面，中国在将视觉技术应用于城市安全监控和智能交通管理方面都处于世界领先地位，智能视觉技术还可以应用于智能化的垃圾处理和回收，达到绿色环保的目的。在零售方面，通过智能摄像头和视觉分析技术，可以进行人流统计和行为分析，有助于优化商店布局，推广策略和服务响应，提升顾客体验和销售效益。在智能制造领域，智能视觉在监测和质量控制、自动化导航和定位、工艺控制和辅助操作等方面都具有广泛的应用，可以提高生产线的效率、质量和安全性，为制造业带来了更高的竞争力和生产效益。
智能视觉系统正在朝着以下几个方面的技术趋势发展。首先是云、边、端的协同，由于视频数据巨大的数据量以及诸如自动驾驶等应用的实时性要求决定了智能视觉系统需要能够将计算和决策任务分布在云、边和终端设备上，并实现协同工作。接着就是AI加持，未来的智能视觉系统将继续依赖深度学习模型和神经网络，提高图像的分析和识别能力，并利用强化学习和自主自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。“正像一副好的眼镜可以帮助近视散光的朋友们恢复1.5的视力，智能视觉系统也需要准确和高质量的图像处理，以支持更高效的特征提取，目标跟踪和检测，图像分析和理解以及图像的生成和合成。接着就是算力支持，由于复杂的模型和算法，大规模的图像数据处理实时性、高精度、高并发等要求，智能视觉系统需要提供越来越强大的计算资源和算力支持。智能视觉系统的广泛应用也引发了对隐私和安全性的关注，未来的趋势是采用加密、匿名化等技术手段保护用户的隐私，同时加强系统的安全性，防止被恶意攻击和滥用。”马健表示。
智能视觉芯片架构在过去几年中经历了一系列的演进，从功能固定难以编程的DSP和ASK，到通用性强易编程的CPU架构，到现在最先进的综合CPU、ISP图像处理器、NPU AI加速器，VPU视频编解码器、GPU图形处理器的异构SoC片上系统，已经逐步实现低功耗、高性能和高度集成的特点。适用于资源受限的边缘设备，比如智能手机、摄像头、XR、机器人和物联网设备等，为智能视觉成为一种普世的能力奠定基础。
“中国是人口大国，快速的城市化，从制造到零售等行业的自动化程度不断提高的趋势，加上机器学习和物联网的重大技术突破，使中国对视觉设备的需求以及在视觉技术方面的创新都稳步增长。”马健表示，“在Arm，我们一直在思考如何帮助智能物联和视觉界的创新企业降本增效，使他们能够站在巨人的肩膀上，将他们看到的新商机和酝酿的新想法更快、更有信心的转化成为量产的产品。这种思考的结果是我们从生产原材料，也就是处理器和系统IP向半成品的方式转变，也就是预先经过集成和验证的子系统。这种新的设计方式和产品形态选用Arm广泛应用于智能视觉领域的处理器和系统IP，构建出相对标准化的IP组合，并经过预先验证，辅以该子系统的Arm虚拟硬件，参考软件栈，形成了设计智能视觉系统的坚实的系统技术平台，使创新者们不需要从零开始，可以专注于产品的差异化，并快速将自己的想法转化为产品并推向市场，显著降低芯片开发的成本和风险，并大幅度缩短研发周期。同时，由于这种参考设计是半成品，我们也会根据应用的需求集成第三方IP，给予客户足够的灵活性和选择，以支持差异化创新。”
Arm携手安谋科技在中国市场发布了最新集Arm与安谋科技IP于一体的智能视觉参考设计。该方案的硬件参考设计包括CPU、ISP、NPU和VPU处理器选项以及将这些元件粘合在一起的子系统IP，Arm首次将Arm的IP与安谋科技的IP合在一起，并由安谋科技预先集成和预先验证。由于中国视觉市场在世界上的领先地位以及创新活跃度，Arm智能视觉参考设计将服务于中国市场。
Arm智能视觉参加设计由于以下原因而与众不同。首先它采用成熟的Arm CPU IP作为基础，Arm CPU在智能摄像头领域有九成以上的份额，已经用于诸多智能视觉品牌设备，用户可以对IP的质量和强大的软件生态系统充满信心。此外，此设计带有低功耗待机子系统，可以支持电池供电的视觉设备。安谋科技为此设计贡献的玲珑VPU提供了紧凑、多格式和高效的视频编解码器，以及周易NPU的高达4TOPS的ML加速，使该参考设计可以支持机器视觉的用例。
下面来看这个参考设计的主要组成部分。首先是Arm Corstone-1000和Corstone-300。Corstone是一套预先经过集成并验证的子系统，是Arm物联网解决方案的根基。Corstone子系统旨在加速芯片产品流片和量产，使设计者可以专注于增强自己的差异化。Corstone-1000是首款为Cortex-A设计的子系统，该方案基本配置是经过量产考验的Cortex-A35或Cortex-A53，并取得了Arm SystemReady IR认证，确保Linux等操作系统的开机即用，并简化软件开发。Corstone-300在智能视觉参考设计中，作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。
参考设计中的ISP选用的是Arm去年六月发布的Mali-C55，也是Arm迄今为止面积最小、功耗最低、且可配置性最高的ISP产品。Mali-C55提供升级的图像质量功能，可以在各种不同的照片和天气条件下工作。像其他Arm产品一样，Mali-C55拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的3A库以及全套调校和校准工具，并有Arm批准的ISP调优合作伙伴助力客户达到最优画质。
随后，安谋科技智能物联及汽车业务线负责人赵永超表示，在此次Arm和安谋科技的合作中，该智能视觉参考设计采用了安谋科技自研VPU和NPU。“玲珑”VPU作为编解码融合、灵活可配、可编程的多核视频处理器，不断在编码标准、编码质量、PPA（功耗、性能、面积）等各个方面进行提升，并保持与Arm架构以及多媒体生态的兼容，安谋科技目前已经完成了两代VPU产品的研发，增加了AVS2和AV1的格式，满足行业对标准的需求。除了增加格式之外，V5、V7的HEVC编码质量提升了15%，对比V5、V7，全新一代视频处理器“玲珑”V6、V8的H.264编码质量提升了10%，现已经全面达到并高于行业客户对编码质量的要求。
面对多样化的产品需求，“玲珑”VPU不断增强图像的前后处理能力，增加了按任意比例缩放优化的后处理，增加了OSD的前处理和YUV到RGB的后处理等。“玲珑”VPU软件可编程，因此，在硬件量产后仍然可以进行优化和迭代，并根据客户的需求进行升级。由于Arm系统层面上的无损压缩AFBC（Arm Frame Buffer Compression）的支持，“玲珑”VPU可以降低35%的带宽。综上，“玲珑”VPU可以为合作伙伴提供灵活的组合和选择。
在此次合作中，智能视觉参考设计也采用了安谋科技自研的NPU。“周易”NPU是灵活可配置的人工智能加速器，根据客户和市场需求配置出1-30TOPS的处理性能，在4TOPS的典型配置下，在16nm工艺上实现面积只有3mm2。“周易”NPU可以支持多种典型的深度学习框架，如Tensorflow、Caffe、Pytorch等，可以加速客户应用的部署。目前已经针对100多种算子算法进行了优化适配，并表现出了出色性能，包括常见的CNN网络以及Transformer网络，并已经完成了对ChatGPT大模型的适配。“周易”NPU已经在多家客户落地量产，产品应用涵盖了汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业应用。他认为，“周易”NPU能够为此次双方智能视觉的合作成功提供更强的人工智能能力，真正实现视觉应用的智能化。
随后，马健表示，Arm在移动基础设施、智能物联网方面的广泛部署也夯实了Arm架构的坚实生态。她并分享了另外一个好消息，就是Arm在发布智能视觉参考设计的同时，也开始组建Arm智能视觉合作伙伴计划，携手AI视觉、芯片设计、软件、算法、系统集成等伙伴共同打造基于Arm架构智能视觉应用的强大生态，因为生态合作伙伴的加持会进一步加速视觉硬件、软件和系统的开发。她补充道：“该计划已经吸引了10余家伙伴的加入，我们欢迎更多生态伙伴加入Arm智能视觉生态。”
智能视觉参考设计的目标受众通常是边缘AI领域公司的初创公司、跨界创新公司或者是希望进行垂直整合的系统公司。“由于种种原因，这些公司并不拥有涵盖所有芯片架构前端、后端设计师的庞大团队，他们在视觉领域的第一颗芯片通常要借力于芯片设计公司，通过这项生态计划，我们希望使芯片设计服务伙伴们能够访问并熟悉Arm的参考设计，并在参考设计的基础上快速流片，助力客户推出满足SystemReady和PSA安全标准的芯片。”她表示。
Arm智能视觉参考设计包含了云原生的开源视觉软件堆栈，但是该软件栈距离面向不同视觉市场的量产软件还存在着差距，这就需要智能视觉软件开发经验的合作伙伴来帮助客户适配不同的应用场景，为不同的OEM定制软件，并进行整合、测试和调优，达到量产水平。“这些软件合作伙伴通常已经有一个基础视觉堆栈，我们希望这些软件包都可以跑在Arm的视觉解决方案上。”
最后，还有系统集成伙伴，他们通常具有芯片设计、固件软件开发、创建FPGA甚至开发板的综合能力，可以提供一站式服务。“尽管Arm智能视觉合作伙伴计划刚刚启动，我们已经看到了业界的巨大的兴趣，所以我对此计划的发展趋势和势头充满了信心。这里我想着重强调的是，百度飞桨已经实现了基于飞桨的视觉模型库和Arm虚拟硬件的整合适配。诚迈科技作为软件设计合作伙伴加盟，更在日前成为中国第一个Arm批准的ISP调优伙伴。另外祝贺厦门星宸科技在月初通过了PSA安全认证，展示了智能视觉界领军者对安全和隐私保护重视程度的提高。在这里我也要感谢所有已经加入Arm智能视觉合作伙伴计划的伙伴们，并希望更多视觉领域的伙伴与我们携手，为加速智能视觉创新开发而服务。”马健表示。
总结
随着AI和大模型一日千里的发展，智能视觉技术将继续在所有垂直行业得到更广泛的应用，视觉将无处不在。在视觉成为一种普世能力的趋势下，预先集成、预先验证的标准化子系统，会为加速视觉产品设计和创新提供坚实的基础，这也是Arm和安谋科技携手为中国市场打造智能视觉参考设计的初衷。
Arm也希望有兴趣的客户能评估使用该设计，并在它的基础上更快地设计出更多创新的视觉系统。“实现这个愿景需要整个生态系统的协同合作，Arm欢迎更多的伙伴加入我们，共同创建智能视觉的未来。”马健说。
最前沿的电子设计资讯
