|
集成4亿晶体管，采用12nm工艺，SH1580是一款高性能智能视觉SoC，自主研发的多态神经网络处理器具备4 ToPS算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果。 ——成都视海芯图微电子有限公司 |
近二十年处理器性能接近指数上升，内存DRAM发展跟不上，造成“存储墙”，视海芯图创新性使用“DRAM存算技术”进行神经网络运算和图像处理加速，解决其中的存储墙问题，实现超低功耗的算力芯片。
人工智能的发展与芯片的发展息息相关，从简单的BP神经网络到如今的百亿参数大模型，从结构化场景下的模式识别到AR/VR、元宇宙等终端应用，再到如今的GPT人机交互，每一次大的AI技术革命的背后都是算力的革命，而当前的算力革命就是DRAM存算技术，是Transformer是否能自顶而下，普遍进入广泛AI应用领域的关键。
以GPT为例，其基础架构Transformer贴切大脑海马体，计算类型属于数据密集型，系统访存成为系统瓶颈，给芯片带来了巨大的挑战。
由此，DRAM存算技术应运而生，它结合了3D集成工艺和创新架构，可以有效克服系统访存瓶颈，实现加速Transformer，同时极大减低芯片功耗。
SH1580得益于12nm先进制程，以及芯片本身的低功耗设计，独立电源域芯片架构，软硬件协调优化，使得其整体的功耗表现非常出色。在idle功耗模式下，功耗（LPDDR4 1GB）46mW；在S3功耗模式下，功耗仅6mW。
在工艺上，3D集成可以把DRAM/内存和计算逻辑进行垂直互联，百倍提高数据互联带宽。作为首批3D集成数字化芯片量产国内团队，视海芯图已经在DRAM存算技术领域深耕多年并将持续推进内存墙和功耗墙的突破。在架构上，电路定制、模型并行和数据并行等多种技术可以围绕Transformer结构进行定向加速。
据许达文先生介绍，在云端，Transformer甚至已经向ChatGPT一类的模型推进，带领我们进入通用人工智能的时代。这个Transformer也已经可以实现虚拟教师、AI智能对话，包括代码自动生成等功能。 在云端，Transformer有GPU的硬件支持。但在终端方面，面向机器人、智慧教育等场景，开发者可以通过知识增流，还有信息化方式把Transformer的模型做小，做轻量级。但在硬件支撑方面，终端产品不能通过Transformer来做，必须要加速，需要依赖于支撑人工智能加速的NPU部分。
“然而，现有大部分NPU面临的问题在于Transformer结构区别与传统的CNN结构不同。后者是可以是计算为核心的架构，但Transformer更多是以计算为中心的架构，这就给Transformer映射带来中断芯片的挑战。”许达文先生说，
SH1580：多模态智能芯片，Transformer加速SoC
SH1580集成4亿晶体管，采用12nm工艺，是一款高性能智能视觉SoC，自主设计了多态神经网络处理器（PTPU）和3D视觉ISP，配备了4核Arm CPU A53。
自主研发的多态神经网络处理器具备4 ToPS算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果。
除了芯片本身之外，视海芯图还提供了完整的工具链，包括量化部分、编译器、驱动、模拟器、调试器等。量化方面，不仅有混合精度量化，还有训练后的量化，以及量化感知的训练。在编译器方面，可同时支持CNN和Transformer，同时支持算子的融合，还有CPU和NPU两者的异构计算。
据公司创始人、董事长许达文介绍，视海芯图此次推出的新一代多模态智能芯片SH1580今年已经完成量产，现在已经出货达到1K以上的订单。
据透露，该团队获得舜宇光学、网易有道和虹软科技3家上市公司战略投资，已经与股东合作围绕IoT、元宇宙和车载方面的核心图像处理算法进行存算一体加速，研发领域通用芯片。
最前沿的电子设计资讯
