我们正处在向万物互联万物智能愿景转变的时代,这个愿景也可以称之为云连接的智能边缘。未来,在物联网当中所有的设备都会变得更加的自主并走向云化。同时,越来越多的数据将在本地进行处理。换言之,在未来万物互联的世界中,数十亿的事物都会变得更加智能、更加互联、更加安全。
为了实现这个愿景,有三个领域的创新至关重要,分别是嵌入式AI、连接和安全。日前,在STM32峰会上,意法半导体对此进行了详细解读。
我们正处在人工智能的革命中。目前,大部分市场仍然关注由大型数据中心所提供支持的人工智能。边缘人工智能也正成为广泛讨论的核心。因此,人工智能有着不同的形式,它会有不同的硬件和软件来进行支持。意法半导体微控制器和数字IC产品部(MDG)总裁Remi El-Ouazzane指出,这样一种场景正是STM32可以发挥作用的地方。
STM32将在使边缘人工智能成为现实方面发挥关键作用。当然,显而易见,边缘设备中将会运行嵌入式AI模型。STM32在此能提供很多优势:超低延迟,满足实时性应用;减少数据传输,产生更有意义的信息;增强隐私和安全,不在云中做数据共享;支持能源的可持续发展,低数据、低能耗;降低推理成本,以实现一类新的操作。
“多年以来,我们一直有一个愿景,就是将嵌入式AI变得无处不在。并且提供一个工具包来帮助开发人员进一步地完善自己的二次开发和产品组合。包括能在MCU或MPU上去优化运行软件模型的工具。”El-Ouazzane表示,“那么我们是怎么做的呢?首先,2017年,我们创建了一个测试芯片,我们开发了一种工具来优化嵌入式AI的模型。2019年,我们发布了STM32Cube.AI工具的第一个版本。然后它就成为了用于优化MCU的嵌入式AI模型的最受欢迎的工具。2021年,我们收购了NanoEdge AI Studio,推出了Tiny ML解决方案,以便解决工业上的问题。然后,2022年我们发布了STM32N6,这是我们第一款带有硬件神经网络处理单元的MCU,这款MCU将会成为我们在边缘人工智能生态系统发展中的一个关键要素。”
STM32Cube.AI是用于评估、转换、优化和部署来自任何AI框架的经过训练的神经网络模型,而不管训练的资源或数据集怎样。同时,ST也考虑到了内存占用和处理能力的限制,专门为MCU设计了适合ML工作负载的功能。同时,Cube.AI也为用户提供了评估和调整算法的功能,来达到所需的性能。在今年早些时候,ST也新推出了STM32 Cube.AI develop Cloud,这个网络端的应用程序可以在网页提供Cube AI的服务。而且还添加了两个有意思的功能。首先,这个模型可以提供来自AI开放框架的针对STM32优化的模型,来帮助客户加速新项目的开发。其次,为了帮助客户缩短开发周期,ST也推出了叫做Lite Board Farm的功能,它可以让用户在自己选择的STM32上去免费测试这个模型。
会后媒体问答环节,意法半导体执行副总裁、通用微控制器子产品部总经理Ricardo DE-SA-EARP进一步向本刊介绍道:“STM32Cube.AI云端开发者平台是一个非常重要的工具。这也是作为一家MCU厂商,我们向这个社会和客户所提供的一个非常强有力的解决方案。对于我们的开发者来说,这个工具使用非常简单,没有什么额外的注意点,只需要根据我们的指引来使用就行。但如果非要说有什么注意事项的话,那么就是开发者所使用的模型必须要能跟他们的MCU适配。
“与此同时,我也特别提到过,我们之所以提出云端MCU AI开发者平台这样一个工具,就是希望能够帮助开发者进一步加速他们的开发流程。所以就我们的云模板库来说,我们会经常进行实时的更新,并且在云模板库当中,我们开发者还可以通过学习了解如何在特定的应用场合当中进行神经网络MCU相关的开发。所以就这点而言,我们的云模板库的更新频率是非常频繁的。我们也希望能够抓住这个市场的机遇。我们刚刚更新了射频相关的1个模板库。目前既定下来是每年至少有4次的更新,当然也会根据这个行业的需求进一步加速我们的更新。
“就板库的更新频率来说,因为在板库当中,我们的开发者可以对标不同的MCU模板,最终选择比较合适的模型进行使用。所以,我们板库的更新是跟新产品的推出是同步的,一旦有新产品推出,我们就会去更新板库。”
ST并邀请到其合作伙伴固德威技术股份有限公司的智慧能源总监宁增坤来介绍其应用感受。据介绍,固德威是一家以光伏逆变器为核心的整体解决方案服务商,致力于把每座电站数字化、智能化,坚定地期望成为为推动全球能源变革的主要力量。
光伏行业对产品的稳定性及技术先进性都有着极高的要求,这也是固德威选择ST进行深入合作的重要原因之一。ST一贯保持在行业内的技术创新和领先优势,同时也积极地扩展整体生态系统的建设。比如STM32 MCU可以支持AI技术在MCU上运行,同时还提供了非常医用的AI工具STM32Cube.AI,该工具可以直接将算法模型转化成STM32 MCU上运行的C代码,这就大大地帮助了我们加速项目落地和升级迭代的工作效率。
目前固德威拥有多款产品使用了算力更强的STM32H7系列产品,并且利用AI算法提升了光伏逆变器的安全性能,保护了终端客户的资产安全。
然而,并不是所有客户都能像固德威一样有经验地去使用云平台。有些用户希望使用本地平台,去更好地访问边缘人工智能的功能。这也就是为什么ST创建了Nano Edge AI Studio。“Nano Edge AI Studio是基于我们初始想法的一种工具,我们可以帮助不具有任何数据科学技能和知识的专业人士,同时他们又没有办法去访问一些比较大型的技术文档,包括数据集,但是他们又想去做嵌入式AI开发的工作。Nano Edge AI Studio就可以帮助这些开发人员加快嵌入式AI解决方案的设计和开发。”El-Ouazzane介绍说。
随后,ST合作伙伴英伟达的发言人分享一个使用TAO进行模型优化,并且部署到STM32的案例。
据介绍,TAO 5.0是一个强大的模型训练以及优化的开源软件,支持图像分类、检测、分割等多种任务。模型优化可以在维持经济不降情况下大幅缩小模型的规模,提高运行速度。同时它提供了超过25个高质量产品级的训练模型,并提供了分割自动标记的功能,可以省去人工标记员的成本,加快标记速度。AutoML可以自动寻找最优的TAO参数,最大化模型的性能。
下面是一个完整的模型训练、优化、部署的流程。
“首先我们使用了NVIDIA TAO训练剪裁一个模型,输出为通用的ONNX格式,然后使用STM32 Cube.AI软件生成C代码,最后可以直接部署在STM32处理器上。”英伟达发言人介绍说。
然后,英伟达分享一个实际的应用案例。“首先STM32会判断视频流中是否有人,如果有人的话可能会唤醒我们的GPU做更复杂的后续处理,如果没有人的话,能保持GPU处于睡眠模式,这里我们使用TAO训练一个基于Mobilenet v2的模型,如果直接部署在STM32处理器上,只能取得1.3FPS的帧率,比较低,但是使用TAO进行模型优化剪裁之后,我们的帧率可以达到9FPS,大幅提高性能的同时,精度几乎无损失。”该发言人说。
然后,El-Ouazzane介绍了硬件端的更新。“很多客户都希望我们能提供性价比更高的解决方案,这样他们就能够在无处不在的边缘侧进行各种部署。很多客户希望能够使用功能强大的AI处理器,同时提高性价比。因此我们推出了STM32 N6。它是基于原有的STM32构建的,但是我们在里面添加了一个神经网络处理单元,我们称之为Neural-Art加速器,从而进一步地去提升它的性能。N6的价值主张独一无二,它能在市场通过传统MCU的功耗和成本,带来MCU级的人工智能的性能水平,特别是能进一步提升AI工作负载。”
N6带来了更好的高级功能和性能表现,如下图所示。
另外,ST在安全方面进行了大量投资,以保护客户的资产和数据安全性,其中也包括STM32 N6。
这个产品提供了AI子系统保护功能,实现了卓越的安全性能,并能得到STM32 Trust的环境,包括最近发布的Secure Manager。
STM32 N6的生态系统是怎样的?对于每个STM32和STM32 Cube来说,都会支持N6。ST的开发人员利用整个生态系统,包括STM32 Cube工具,比如MX、IDE以及programmer。对于STM32 N6以及Cube.AI来说,它能够跟工具套件紧密集成。“这能够让我们以一种更加便捷的方式去提供支持,特别是运行Neural Art加速器,从而实现更好的自动管理。对于开发人员来说,如果他们对于边缘AI技能不是特别擅长的情况下,我们的AI Model Zone,它能够帮助Neural Art加速器实现专用模型的优化。”El-Ouazzane表示。
现在,STM32 N6已在提供样品阶段,下一步是提供其α版本。
连接已无处不在。未来还会加速,无论是端到端的设备还是和云的通信。这也就推动了无线连接的市场,特别是在未来五年,体量会翻一番。
那么,STM32如何帮助客户加速这个势头呢?有四个因素可以帮助客户成功地从有线STM32迁移到无线STM32:软件无缝移植、内嵌安全性、原生云,以及供应链。
ST推出了STM32 WBA,这是其新一代2.4GHz的平台,第一款产品是WBA52。
为了加快这款产品的应用开发,ST合作伙伴庆科信息还将其做成了模组,该公司CEO王永虹对此进行了分享。据介绍,该公司在物联网行业有10多年行业经验,主要针对于中国的室内的智能家居物联网,提供一套完整的解决方案,从PaaS的云接入、SaaS服务、Wi-Fi模组、蓝牙模组到边缘计算的网关,这样一个整体系统,可以支持厂商快速地实现产品智能化和数字化的运营需求,满足需求。
今天,中国的工业物联网开始起步,大量的工业设备自动化设备需要接入到Internet。庆科经过内部很多的测试研发,最终选择了ST这款WBA产品,作为进军工业物联网的第一颗模组产品,这款模组产品有着非常丰富的外设,它采用最新的蓝牙5.3射频,具有超远的距离,然后它具有非常强的安全加密模块,从硬件到软件有一整套的完整加密套件来保证工业设备的安全可靠和其他的国内产品不一样的地方。
ST这款模组产品借助了ST Cube的生态系统,支持二次开发,让用户可以在这样一个SoC里面去扩展自己丰富的应用场景,所以是非常不错的一款产品。
随后,ST分享了一款全新的Sub-GHz的SoC方案——STM32WL3系列产品。我们知道Sub-GHz的应用很广泛,但也很分散,有着很多的通信协议,而且每个国家还有自己的射频法规,因此一款能够简化用户的设计,支持多种通信协议,同时可以灵活配置的统一平台就显得特别重要。STM32WL3正是这样一款产品。
WL3是一款新的Sub-GHz的SoC,它会在今年第四季度投入量产。同时WL3集成了两个射频单元的应用处理器,可以支持多种调制模式,还可以支持射频唤醒。WL3还增加了特别丰富的外设,像LC传感器和LCD断码驱动器。
WL3是一款基于Cortex-M0+内核的处理器,可以简化用户的设计方案,在支持多种协议模式的同时,提供更长的传输距离和更长的电池寿命。
下面以表计终端产品为例,看看WL3能够提供什么样的支持。首先WL3具备20dBm输出功率,可以扩展通信范围,减少网关数量,从而以降低基础设施布施成本。,其次,众所周知,计量产品需要以一节电池工作10年以上,这对产品的功耗是个很大的挑战。为了实现如此长的电池寿命,WL3中集成了一个全新的传感外设——WL3传感器,这种传感器在水表中可以用来读取水的流量,可以直接读取LC传感器的信号,并计算出水的流量。
同时,要强调的是,这一功能是在低功耗的状态下实现的,也就是说它具备超低的运行电流。此外,WL3集成了一个LCD驱动段码屏,可以节省整个表计设计的总BOM成本。从这些特性中可以看到,WL3还可以为任何以前传统的机械水表增加无线连接方案。除此之外,为了给智能家居应用提供更为充分的通用性,WL3的多调制射频设计了IO接口,因此它可以支持如Sigfox、W-Bus等多种协议。
WL3内部集成的LCD驱动器,可以优化热成本分配器的整个BOM成本。在智能城市智能农业当中,WL3提供了长距离的连接,它的双电源输出可以达到+20dBm,同时它还可以提供低至-132dBm的非常出色的灵敏度。
对于报警系统来说,一般射频的发射端和接收端都会有很大的功耗,在这个新产品中,有项创新设计可以帮助减少这些功耗。那就是WL3中还有一个超低功耗的射频设计,在接收模式下仅消耗4.2μA,这个射频设计可以使MCU处于低功耗的状态,然后在接收到无线信息的时候才将其唤醒。可以把它应用在类似产品追踪的设备当中,当进入应用的时候才将其唤醒。
此外,ST开发了一款高速率低功耗短距离的无线方案ST60。ST60的工作频率是60GHz。在两个设备之间提供低延迟不握手的非接触链接。ST60可以用于很多不同的应用场景。
工厂自动化可能是其最主要的应用方向。“如果你有大规模的生产设备,在一条装配线上,每一个设备都要通过物理的插入,然后再下载部件,然后运行测试,最后你再拔掉插头,送到下一个生产工序里头。”该发言人说,“如果你的产线配备了ST60非接触的链接,就可以大的简化这一工序,同时还可以提高装配线的一个整个吞吐量,并且可以通过这样强大的无线连接来提高整个生产产品线的可靠性。”
对此,ST合作伙伴Rosenberger就部署了一个解决方案。
该方案目前已经上市,可以通过一个密封的单元来提供电源供电和链接。ST60最重要的优点显然就是其类似于电感性能以及非金属的连接,ST60可以支持6.25Gbps的数据传输,适合千兆位以太网通信应用。同时ST60不需要额外的外部射频元件,只需要非常小的PCB面积,ST60还可以支持-40℃到105℃的宽温度范围,可以广泛运用于工业应用场景。
总而言之,ST60通过摆脱传统的电缆和连接器,打开了一个全新的高速连接的世界。
最后,ST还有另外一个连接方案EtherCAT。EtherCAT作为一种主流的工业控制总线协议,在工业控制的应用中被广泛的采用。ST的STM32MP1也推出了EtherCAT的主栈解决方案。
互联网设备和工业类应用有着越来越高的信息安全需求,进而为开发者带来一定的挑战。这个挑战来自于几个原因:
第一个原因是环境的变化,许多政府现在都在部署一些新的信息安全法规,有越来越多的应用,包括信息安全的认证。
第二个原因是开发者现在在用的软件框架,不一定把安全性完全考虑好。
第三个原因是信息安全是一个复杂的话题,学习信息安全需要有时间。ST为客户提供了一个可扩展的经过认证并负责维护的方案。在分享新方案之前,ST发言人回顾了几年前所发布的STM32 Trust。
STM32 Trust是ST的安全框架,STM32 Trust核心部分是12个安全功能,比如安全启动、安全升级、安全存储等等。这12个安全功能是为了让客户更容易满足其安全需求。ST是通过硬件、软件、服务和整个STM32 Trust生态系统来完成这些功能。STM32 Trust的另一个主要部分是认证,现在已过或正在过的有CC和PIC L3认证。另外,如果客户有对认证有更高的要求,类似EL5+,ST也可以提供支持。
ST设计新产品时会把这12个功能在硬件上考虑进去。ST产品最核心的部分是保护客户的代码,还有带TrustZone的带很强大的加解密模块的产品,可以配合开源的安全框架,不限于此,ST还有自己的安全框架Secure Manager。“ST抓住这个机会,开发了Secure Manager,ST会维护通过CC认证的安全方案。”该发言人说。但是,Secure Manager最主要的目标是什么?Secure Manager的目标是让客户用Secure Manager时,其开发流程能够变得更简单。通过在ST工厂中配置的数字身份,这个方案可以实现云端无缝连接。Secure Manager还利用了Trust Zone的技术,非常适合做这种多方IP的保护,在一个MCU里面,能够同时保护多个软件IP是个非常独特的功能。
第一块支持Secure Manager的STM32是ST今年年初发布的STM32 H5,该发言人也对此进行了介绍。
STM32 H5的第一个特点是,它是基于Cortex M33的性能最高的产品,它的主频可以达到250MHz,它的CoreMark的分数可以达到1023。
第二个特点是信息安全的能力。
第三个特点是这个新产品系列能实现成本和性能的平衡。STM32 H5提供给客户非常丰富的外设,以及非常丰富封装,所以STM32 H5符合从智能家居到工业自动化,从消费类设备到物联网的各种应用。
下面来看STM32 H5是怎么满足工业自动化的需求的。STM32 H5为工业4.0做好了准备,能够满足信息安全的需求,功能安全也是对工业类应用一个非常重要的功能,STM32 H5也可以满足。连接的外设也很多。STM32 H5开发者可以引用整个STM32 Cube生态系统的功能。
总结STM32 H5的特点就是,STM32 H5高性能MCU给客户多了一个非常灵活的选择。ST发布了两款STM32 H5,一个是带128k的Flash,另一个是带2M的Flash,还有STM32 H573能够支持Secure Manager。
随后,来自深圳古瑞瓦特的发言人介绍了应用体验。据介绍,古瑞瓦特是一家专注光伏逆变器储能系统、智慧能源管理系统的整体方案解决商。随着公司数10年的发展,该公司不断提高光伏及储能产品的可靠性、易用型以及持续稳定的工作。在产品监控平台设计过程中,要满足产品在高温干扰等恶劣环境下,多模块级联及通信可靠性以及监控数据的稳定性,STM32产品很好的解决了这些痛点。
从该公司最初设计光伏逆电器产品监控板,经历了单个项目独立设计到平台统一的过程。
10年之前,从最初的STM32F107满足不同项目监控通信的功能,后来统一到高性能的STM32F205,使得逆变器相关的产品所有项目平台化设计,极大提高了不同产品整体的稳定性及可靠性。到当下选用的高性能STM32 H5产品,可提供更大的RAM和Flash,以及更为丰富的接口资源,打通了逆变器、储能、新能源管理系统等多产品监控平台化设计,为后续10年设计打下了坚实的基础。
STM32除了提供通用平台的丰富产品,更重要的是提供丰富的软件生态系统和开发资源,后续H5拥有更多的串口资源,更大的Flash空间以及更高的主频和执行效率,同时更安全的策略。