作者 : Steve Taranovich,EDN资深技术编辑
智能机器人性能的一个关键组成部分就是机器视觉(MV)技术,这是计算机与高速摄影镜头的完美结合。透过结合这两种技术,就可以执行复杂的检查任务及数字影像采集和分析,这些资料可以用来控制机器人手臂、对物体进行分类、对图案进行辨识,以及很多我们尚未想到的事情。
进入21世纪的这18年中,发生了一系列令人振奋的电子创新,其中包括专为工业(特别是智慧工厂)应用而开发的”智能”机器人。
5G通信的出现将使工厂能够从生产车间获取数据,从而改善质量并提高自动化程度。5G低延迟、加快的边缘运算,以及快速采样能力等,都将提高制造速度,并实现制造零部件的死循环在线检测。
据慧与科技(Hewlett Packard Enterprise,HPE)称,“边缘运算是一种分布、开放的IT架构,具有分布式处理能力,可支持行动运算和物联网(IoT)技术。在边缘运算中,设备本身可以处理数据,或透过本地计算机或服务器来处理数据,而不必传输到数据中心。”(图1)。
图1 加速的数据处理进展到在边缘设备上完成。(图片来源:《Trends in 3D Inspection: Edge Computing, Acceleration, and 3D Smart Sensors for IIoT》)
智能机器人性能的一个关键组成部分就是机器视觉(machine vision,MV)技术,这是计算机与高速摄影镜头的完美结合。透过结合这两种技术,就可以执行复杂的检查任务及数字影像采集和分析,这些资料可以用来控制机器人手臂、对物体进行分类、对图案进行辨识,以及很多我们尚未想到的事情。
联盟
首先,本文要从嵌入式视觉联盟(Embedded Vision Alliance)谈起,它将嵌入式视觉定义为将计算机视觉(CV)应用在机器上,而使其能够透过视觉手段来了解周围环境。
接下来,来看看机器人视觉感测架构的工业应用。机器视觉最佳和最复杂的一个方面就是3D成像,摄影镜头与其他支持设备相结合,可执行许多任务,包括影像讯号处理(ISP)、视讯传输、格式转换、压缩和分析等。
随后介绍一些来自微软(Microsoft)、英特尔(Intel)和Occipital的3D摄影镜头成像技术。
微软Azure透过云端运算提供了一个简洁的计算机视觉产品,利用这一平台为机器人带来了智慧优势。该公司官网上有一个示例可以说明他们是如何分析影像,其计算机视觉API非常引人注目。Jabil Circuit是他们的一个客户,已经将其工厂车间连接到云端,从《From the factory floor to the cloud: integrating predictive analytics with real-time manufacturing》一文中可以了解到他们如何将预测性分析与实时制造相结合。Jabil在其制造中采用了传感器、无线通信、精密机器、光学、自动化和机电一体化等技术。
在2018年末,微软宣布与Open Robotics和ROS工业联盟(ROS-I)合作,将机器人操作系统(ROS)导入Windows 10。
英特尔采用硬件方法来加速智能视觉的开发。即透过基于FPGA的加速器解决方案技术(归功于其2015年收购Altera),结合英特尔CPU,开发下一代视觉系统。
摄影镜头传感器技术正在不断改进,因此有一种趋势是用智慧因特网通信协议(IP)摄影镜头来取代模拟摄影镜头。此外,在与IP摄影镜头的新组合中,还有基于人工智能(AI)深度学习的视讯分析。FPGA特别适用于基于视觉的系统,因为它具有高性能功耗比、低延迟和灵活性等优点(图2)。
图2 FPGA具有支持不同传感器和机器视觉接口的灵活性。(图片来源:英特尔)
由于FPGA可以使用不同的影像传感器和机器视觉专用接口实现机器视觉摄影镜头设计,因此机器视觉技术可透过使用其来得到增强。FPGA还可用作边缘运算平台中的视觉处理加速器,借助人工智能深度学习功能来分析机器视觉数据输出。
可在机器人视觉摄影镜头中使用FPGA来增强和实现的其他领域包括:多个千兆以太网络(GigE)摄影镜头的使用,其中FPGA可以整合影像撷取、摄影镜头接口、通信和预处理等;在机器视觉摄影镜头和执行算法的主机之间建立讯框抓取器链路;利用德州仪器(TI)的Channel Link接口实现Camera Link的使用、USB 3视觉、CoaxPress,以及Thunderbolt等。
Occipital这家公司针对机器视觉的Occipital Tracking技术,具有6自由度(6DoF)位置追踪、绘图和障碍物感知等功能。该公司还有Structure传感器和Structure Core等产品可用于机器人系统。
Occipital利用Structure Core设计了一个袖珍型计算机视觉设备,具有板载广角摄影镜头、立体红外线功能、板载DSP,以及彩色模块。图3显示了三颗摄影镜头:一个160度视场角的广角摄影镜头和两个红外线摄影镜头。它还有一个板载惯性测量单元(IMU),以及一个用于运算深度并也具有可程序设计DSP的NU3000处理器。
图3 Occipital Structure Core是一种高阶深度传感器。(图片来源:Occipita)
高阶机器视觉和3D位移检测
康耐视提供3D雷射轮廓仪解决方案,例如3D位移传感器可用于产品的3D检测(图4)。
图4 康耐视DS1000和DS925B 3D雷射位移传感器。(图片来源:康耐视)
康耐视还拥有基于VISIONPRO VIDI深度学习的软件,可用于工厂自动化应用中的工业影像分析。该软件结合了人工智能、VisionPro和Cognex Designer软件,可以处理缺陷检测、纹理和材料分类、装配验证、变形零件定位,以及字符读取,包括失真打印。
进一步,我们还从从设计人员角度考察一些半导体公司,了解它们可以为定制和/或专有硬软件设计提供哪种解决方案,请点击。
(参考原文: Robotic vision electronics design for industry and space,by Steve Taranovich)