广告

国产FPGA SOC双目视觉处理系统开发实例-米尔安路DR1M90开发板

2025-02-20 米尔电子 阅读:
本系统基于米尔MYC-YM90X核心板构建,基于安路飞龙DR1M90处理器,搭载安路DR1 FPGA SOC 创新型异构计算平台,充分发挥其双核Cortex-A35处理器与可编程逻辑(PL)单元的协同优势。

1. 系统架构解析hoLednc

本系统基于米尔MYC-YM90X核心板构建,基于安路飞龙DR1M90处理器,搭载安路DR1 FPGA SOC 创新型异构计算平台,充分发挥其双核Cortex-A35处理器与可编程逻辑(PL)单元的协同优势。通过AXI4-Stream总线构建的高速数据通道(峰值带宽可达12.8GB/s),实现ARM与FPGA间的纳秒级(ns)延迟交互,较传统方案提升了3倍的传输效率,极大地提升了系统整体性能。hoLednc

国产化技术亮点hoLednc

全自主AXI互连架构,支持多主多从拓扑,确保系统灵活性与可扩展性hoLednc

硬核处理器与PL单元共享DDR3控制器,提高内存带宽利用率(可升级至DDR4)hoLednc

动态时钟域隔离技术(DCIT,确保跨时钟域的数据交互稳定性,避免时序错误hoLednc

国产SM4加密引擎硬件加速模块,为数据加密任务提供硬件级别的支持,提升加密处理效率hoLednc

hoLednc

                                                                 图一 系统架构框图 如图一所示,系统架构通过“低内聚,高耦合”的设计思想,通过模块化的设计方式,完成了以下工作。hoLednc

1.     通过I²C对OV5640摄像头进行分辨率,输出格式等配置。hoLednc

2.     双目图像数据进行三级帧缓存,FIFO——DMA——DDR。hoLednc

3.     客制化低延迟ISP(开发者根据场景需求加入)hoLednc

4.     VTC驱动HDMI输出显示hoLednc

 hoLednc

2. 系统程序开发hoLednc

2.1 DR1固件架构设计hoLednc

GUI设计界面,类Blockdesign设计方式,通过AXI总线,连接DR1的ARM核与定制化外设,包括以太网,RAM模块,PL DMA和VTC。hoLednc

hoLednc

                                                         图二  FPGA底层架构框图hoLednc

2.2 双目视觉处理流水线hoLednc

2.2.1 传感器配置层hoLednc

为实现高效的传感器配置,本系统采用混合式I²C配置引擎,通过PL端硬件I²C控制器实现传感器参数的动态加载。与纯软件方案相比,该硬件加速的配置速度提升了8倍,显著降低了配置延迟。hoLednc

// 可重配置传感器驱动IPmodule ov5640_config (    input wire clk_50M,    output tri scl,    inout tri sda,    input wire [7:0] reg_addr,    input wire [15:0] reg_data,    output reg config_done);// 支持动态分辨率切换(1920x1080@30fps ↔ 1280x720@60fps)parameter [15:0] RESOLUTION_TABLE[4] = '{...};hoLednc

该配置引擎支持多分辨率与高帧率动态切换,适应不同应用场景需求。hoLednc

2.2.2 数据采集管道hoLednc

系统构建了三级缓存体系,确保数据处理的高效性和实时性:hoLednc

像素级缓存:采用双时钟FIFO(写时钟74.25MHz,读时钟100MHz),实现数据的稳定缓存和传输。hoLednc

行缓冲:使用BRAM的乒乓结构(每行1920像素×16bit),减少数据延迟。hoLednc

帧缓存:通过DDR3-1066 1GB内存支持四帧循环存储,确保图像的持续流畅展示。hoLednc

// 位宽转换智能适配器module data_width_converter #(    parameter IN_WIDTH = 16,    parameter OUT_WIDTH = 96)(    input wire [IN_WIDTH-1:0] din,    output wire [OUT_WIDTH-1:0] dout,    // 时钟与使能信号);// 采用流水线式位宽重组技术always_ff @(posedge clk) begin    case(state)        0: buffer <= {din, 80'b0};        1: buffer <= {buffer[79:0], din};        // ...6周期完成96bit组装    endcaseendhoLednc

2.2.3. 异构计算调度hoLednc

系统通过AXI-DMA(Direct Memory Access)实现零拷贝数据传输,优化内存和外设间的数据交换:hoLednc

写通道:PL→DDR,采用突发长度128、位宽128bit的高速数据传输hoLednc

读通道:DDR→HDMI,配合动态带宽分配(QoS等级可调),确保不同带宽需求的动态适配hoLednc

2.2.4 VTC显示引擎深度优化hoLednc

PL DMA输出显示优化hoLednc

显示时序的优化对高质量图像输出至关重要。通过VTC(Video Timing Controller),本系统能够实现多模式自适应输出。hoLednc

    axi_hdmi_tx#(        .ID(0),        .CR_CB_N(0),        .DEVICE_TYPE(17), // 17 for DR1M        .INTERFACE("16_BIT"),        .OUT_CLK_POLARITY (0)     )    axi_hdmi_tx_inst (        .hdmi_clk (pll_clk_150),        //.hdmi_clk (clk1_out),        .hdmi_out_clk (hdmi_clk ),        .hdmi_16_hsync (hdmi_hs ),        .hdmi_16_vsync (hdmi_vs ),        .hdmi_16_data_e (hdmi_de),        .hdmi_16_data (/*hdmi_data*/ ),//        .hdmi_16_data (hdmi_data ),        .hdmi_16_es_data (hdmi_data),        .hdmi_24_hsync (),        .hdmi_24_vsync (),        .hdmi_24_data_e (),        .hdmi_24_data (/*{r_data,g_data,b_data}*/),        .hdmi_36_hsync (),        .hdmi_36_vsync (),        .hdmi_36_data_e (),        .hdmi_36_data (),        .vdma_clk (pll_clk_150 ),        .vdma_end_of_frame (dma_m_axis_last ),        .vdma_valid (dma_m_axis_valid ),        .vdma_data (dma_m_axis_data ),        .vdma_ready (dma_m_axis_ready),        .s_axi_aclk (S_AXI_ACLK ),        .s_axi_aresetn (S_AXI_ARESETN ),        .s_axi_awvalid (axi_ds5_ds5_awvalid ),        .s_axi_awaddr (axi_ds5_ds5_awaddr ),        .s_axi_awprot (axi_ds5_ds5_awprot ),        .s_axi_awready (axi_ds5_ds5_awready ),        .s_axi_wvalid (axi_ds5_ds5_wvalid ),        .s_axi_wdata (axi_ds5_ds5_wdata ),        .s_axi_wstrb (axi_ds5_ds5_wstrb ),        .s_axi_wready (axi_ds5_ds5_wready ),        .s_axi_bvalid (axi_ds5_ds5_bvalid ),        .s_axi_bresp (axi_ds5_ds5_bresp ),        .s_axi_bready (axi_ds5_ds5_bready ),        .s_axi_arvalid (axi_ds5_ds5_arvalid ),        .s_axi_araddr (axi_ds5_ds5_araddr ),        .s_axi_arprot (axi_ds5_ds5_arprot ),        .s_axi_arready (axi_ds5_ds5_arready ),        .s_axi_rvalid (axi_ds5_ds5_rvalid ),        .s_axi_rresp (axi_ds5_ds5_rresp ),        .s_axi_rdata (axi_ds5_ds5_rdata ),        .s_axi_rready  (axi_ds5_ds5_rready)           );hoLednc

动态时序生成器hoLednc

通过PL-PLL动态调整像素时钟,确保显示无卡顿、无闪烁,误差控制在<10ppm内。hoLednc

// VTC配置代码片段(Anlogic SDK)void config_vtc(uint32_t h_total, uint32_t v_total) {    VTCRegs->CTRL = 0x1;  // 使能软复位    VTCRegs->HTOTAL = h_total - 1;    VTCRegs->VTOTAL = v_total - 1;    // 详细时序参数配置    VTCRegs->POLARITY = 0x3;  // HS/VS极性配置    VTCRegs->CTRL = 0x81;     // 使能模块}hoLednc

 hoLednc

3. 硬件连接与测试hoLednc

硬件连接hoLednc

米尔的安路飞龙板卡采用2 X 50 PIN 连接器设计,可灵活插拔多种子卡,配合子卡套件,可扩展成多种形态,多种应用玩法。hoLednc

hoLednc

图三 使用模组、底板、子卡和线缆搭建硬件系统(使用米尔基于安路飞龙DR1M90开发板)hoLednc

显示测试hoLednc

实测双目显示清晰,无卡帧,闪屏。hoLednc

hoLednc

                                                            图四 输出显示效果hoLednc

系统集成hoLednc

在FPGA硬件描述文件的基础上,进一步在Linux下实现双摄,为复杂系统调度应用铺平道路。hoLednc

内核加载5640驱动下通过dma搬运ddr数据,在应用层中通过v4l2框架显示到HDMI上,完整数据流如下:hoLednc

FPGA DDR → AXI-DMA控制器 → Linux DMA引擎 → 内核dma_buf  → V4L2 vb2队列 → mmap用户空间 → 应用处理 hoLednc

三路DMA设备树HDMI、camera1、camera2代码片段:hoLednc

//hdmi        soft_adi_dma0: dma@80400000 {                compatible = "adi,axi-dmac-1.00.a";                reg = <0x0 0x80400000 0x0 0x10000>;                interrupts = <GIC_SPI 83 IRQ_TYPE_LEVEL_HIGH>;                clocks = <&axi_dma_clk>;                #dma-cells = <1>;                status = "okay";                adi,channels {                        #size-cells = <0>;                        #address-cells = <1>;                        dma-channel@0 {                                reg = <0>;                                adi,source-bus-width = <32>;                                adi,source-bus-type = <0>;                                adi,destination-bus-width = <64>;                                adi,destination-bus-type = <1>;                        };                };        };// cam1        mipi_adi_dma0: dma@80300000 {                compatible = "adi,axi-dmac-1.00.a";                reg = <0x0 0x80300000 0x0 0x10000>;                interrupts = <GIC_SPI 82 IRQ_TYPE_LEVEL_HIGH>;                clocks = <&axi_dma_clk>;                #dma-cells = <1>;                status = "okay";                adi,channels {                        #size-cells = <0>;                        #address-cells = <1>;                        dma-channel@0 {                                reg = <0>;                                adi,source-bus-width = <128>;                                adi,source-bus-type = <1>;                                adi,destination-bus-width = <64>;                                adi,destination-bus-type = <0>;                        };                };        };//cam2        mipi_adi_dma1: dma@80700000 {                compatible = "adi,axi-dmac-1.00.a";                reg = <0x0 0x80700000 0x0 0x10000>;                interrupts = <GIC_SPI 86 IRQ_TYPE_LEVEL_HIGH>;                clocks = <&axi_dma_clk>;                #dma-cells = <1>;                status = "okay";                adi,channels {                        #size-cells = <0>;                        #address-cells = <1>;                        dma-channel@0 {                                reg = <0>;                                adi,source-bus-width = <128>;                                  adi,source-bus-type = <1>;                                adi,destination-bus-width = <32>;                                adi,destination-bus-type = <0>;                        };                };        };hoLednc

        双路i2c OV5640设备树配置代码片段hoLednc

camera@3c {              compatible = "ovti,ov5640";              pinctrl-names = "default";            //   pinctrl-0 = <&pinctrl_ov5640>;              reg = <0x3c>;              clocks = <&ov5640_clk>;              clock-names = "xclk";            //   DOVDD-supply = <&vgen4_reg>; /* 1.8v */            //   AVDD-supply = <&vgen3_reg>;  /* 2.8v */            //   DVDD-supply = <&vgen2_reg>;  /* 1.5v */            powerdown-gpios = <&portc 8 GPIO_ACTIVE_HIGH>;            reset-gpios = <&portc 7 GPIO_ACTIVE_LOW>;              port {                  /* Parallel bus endpoint */                  ov5640_out_0: endpoint {                      remote-endpoint = <&vcap_ov5640_in_0>;                      bus-width = <8>;                      data-shift = <2>; /* lines 9:2 are used */                      hsync-active = <0>;                      vsync-active = <0>;                      pclk-sample = <1>;                  };              };          };hoLednc

 hoLednc

            hoLednc

性能测试hoLednc

性能实测数据。hoLednc

 hoLednc

指标 实测值 理论峰值
     
图像处理延迟 18.7ms ≤20ms
DDR吞吐量 9.2GB/s 9.6GB/s
功耗(全负载) 3.8W 4.2W
启动时间(Linux) 18s -

 hoLednc

 hoLednc

4. 场景化应用扩展hoLednc

该方案可广泛应用于以下领域:hoLednc

智能驾驶:前视ADAS系统,包含车道识别和碰撞预警hoLednc

工业检测:高速AOI(自动光学检测)流水线,提升检测精度和效率hoLednc

医疗影像:内窥镜实时增强显示,支持多视角成像hoLednc

机器人导航:SLAM(同步定位与地图构建)点云加速处理,提升机器人自主导航能力hoLednc

通过安路TD 2024.10开发套件,开发者能够快速移植和定制化开发,具体包括:hoLednc

使用GUI图形化设计约束工具,简化硬件开发过程hoLednc

调用预置的接口与处理器IP,加速产品开发上市时间,专注应用和算法的处理hoLednc

进行动态功耗分析(DPA)与仿真,确保系统的稳定性与高效性hoLednc

 hoLednc

0. One More Thing…hoLednc

这里,回到我们原点,回到我们开发设计国产 FPGA SOC的初衷 ,芯片也好,模组也好,都只是开始,无论是FPGA,SOC,或者SOM,**都是为了以更快,更好,平衡成本,体积,开发周期,开发难度,人员配置等等综合因素,做出的面向解决问题的选择,最终结果是降低成本和产品力的平衡。**安路飞龙系列的问世,让我们很欣喜看见国产SOC FPGA的崛起,希望和业界开发者一起开发构建国产SOC FPGA生态,**所以选择将系列教程以知识库全部开源,共同无限进步!**hoLednc

hoLednc

hoLednc

米尔电子可能只是其中非常非常小的一个数据集,但会尽力撬动更大贡献。hoLednc

获取完整工程链接和更多开发资料请联系support.cn@myir.cn。hoLednc

责编:Demi
文章来源及版权属于米尔电子,EDN电子技术设计仅作转载分享,对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。如有疑问,请联系Demi.xia@aspencore.com
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了