1. 系统架构解析
本系统基于米尔MYC-YM90X核心板构建,基于安路飞龙DR1M90处理器,搭载安路DR1 FPGA SOC 创新型异构计算平台,充分发挥其双核Cortex-A35处理器与可编程逻辑(PL)单元的协同优势。通过AXI4-Stream总线构建的高速数据通道(峰值带宽可达12.8GB/s),实现ARM与FPGA间的纳秒级(ns)延迟交互,较传统方案提升了3倍的传输效率,极大地提升了系统整体性能。
国产化技术亮点:
全自主AXI互连架构,支持多主多从拓扑,确保系统灵活性与可扩展性
硬核处理器与PL单元共享DDR3控制器,提高内存带宽利用率(可升级至DDR4)
动态时钟域隔离技术(DCIT),确保跨时钟域的数据交互稳定性,避免时序错误
国产SM4加密引擎硬件加速模块,为数据加密任务提供硬件级别的支持,提升加密处理效率
图一 系统架构框图 如图一所示,系统架构通过“低内聚,高耦合”的设计思想,通过模块化的设计方式,完成了以下工作。
1. 通过I²C对OV5640摄像头进行分辨率,输出格式等配置。
2. 双目图像数据进行三级帧缓存,FIFO——DMA——DDR。
3. 客制化低延迟ISP(开发者根据场景需求加入)
4. VTC驱动HDMI输出显示
2. 系统程序开发
2.1 DR1固件架构设计
GUI设计界面,类Blockdesign设计方式,通过AXI总线,连接DR1的ARM核与定制化外设,包括以太网,RAM模块,PL DMA和VTC。
图二 FPGA底层架构框图
2.2 双目视觉处理流水线
2.2.1 传感器配置层
为实现高效的传感器配置,本系统采用混合式I²C配置引擎,通过PL端硬件I²C控制器实现传感器参数的动态加载。与纯软件方案相比,该硬件加速的配置速度提升了8倍,显著降低了配置延迟。
// 可重配置传感器驱动IPmodule ov5640_config ( input wire clk_50M, output tri scl, inout tri sda, input wire [7:0] reg_addr, input wire [15:0] reg_data, output reg config_done);// 支持动态分辨率切换(1920x1080@30fps ↔ 1280x720@60fps)parameter [15:0] RESOLUTION_TABLE[4] = '{...};
该配置引擎支持多分辨率与高帧率动态切换,适应不同应用场景需求。
2.2.2 数据采集管道
系统构建了三级缓存体系,确保数据处理的高效性和实时性:
像素级缓存:采用双时钟FIFO(写时钟74.25MHz,读时钟100MHz),实现数据的稳定缓存和传输。
行缓冲:使用BRAM的乒乓结构(每行1920像素×16bit),减少数据延迟。
帧缓存:通过DDR3-1066 1GB内存支持四帧循环存储,确保图像的持续流畅展示。
// 位宽转换智能适配器module data_width_converter #( parameter IN_WIDTH = 16, parameter OUT_WIDTH = 96)( input wire [IN_WIDTH-1:0] din, output wire [OUT_WIDTH-1:0] dout, // 时钟与使能信号);// 采用流水线式位宽重组技术always_ff @(posedge clk) begin case(state) 0: buffer <= {din, 80'b0}; 1: buffer <= {buffer[79:0], din}; // ...6周期完成96bit组装 endcaseend
2.2.3. 异构计算调度
系统通过AXI-DMA(Direct Memory Access)实现零拷贝数据传输,优化内存和外设间的数据交换:
写通道:PL→DDR,采用突发长度128、位宽128bit的高速数据传输
读通道:DDR→HDMI,配合动态带宽分配(QoS等级可调),确保不同带宽需求的动态适配
2.2.4 VTC显示引擎深度优化
PL DMA输出显示优化
显示时序的优化对高质量图像输出至关重要。通过VTC(Video Timing Controller),本系统能够实现多模式自适应输出。
axi_hdmi_tx#( .ID(0), .CR_CB_N(0), .DEVICE_TYPE(17), // 17 for DR1M .INTERFACE("16_BIT"), .OUT_CLK_POLARITY (0) ) axi_hdmi_tx_inst ( .hdmi_clk (pll_clk_150), //.hdmi_clk (clk1_out), .hdmi_out_clk (hdmi_clk ), .hdmi_16_hsync (hdmi_hs ), .hdmi_16_vsync (hdmi_vs ), .hdmi_16_data_e (hdmi_de), .hdmi_16_data (/*hdmi_data*/ ),// .hdmi_16_data (hdmi_data ), .hdmi_16_es_data (hdmi_data), .hdmi_24_hsync (), .hdmi_24_vsync (), .hdmi_24_data_e (), .hdmi_24_data (/*{r_data,g_data,b_data}*/), .hdmi_36_hsync (), .hdmi_36_vsync (), .hdmi_36_data_e (), .hdmi_36_data (), .vdma_clk (pll_clk_150 ), .vdma_end_of_frame (dma_m_axis_last ), .vdma_valid (dma_m_axis_valid ), .vdma_data (dma_m_axis_data ), .vdma_ready (dma_m_axis_ready), .s_axi_aclk (S_AXI_ACLK ), .s_axi_aresetn (S_AXI_ARESETN ), .s_axi_awvalid (axi_ds5_ds5_awvalid ), .s_axi_awaddr (axi_ds5_ds5_awaddr ), .s_axi_awprot (axi_ds5_ds5_awprot ), .s_axi_awready (axi_ds5_ds5_awready ), .s_axi_wvalid (axi_ds5_ds5_wvalid ), .s_axi_wdata (axi_ds5_ds5_wdata ), .s_axi_wstrb (axi_ds5_ds5_wstrb ), .s_axi_wready (axi_ds5_ds5_wready ), .s_axi_bvalid (axi_ds5_ds5_bvalid ), .s_axi_bresp (axi_ds5_ds5_bresp ), .s_axi_bready (axi_ds5_ds5_bready ), .s_axi_arvalid (axi_ds5_ds5_arvalid ), .s_axi_araddr (axi_ds5_ds5_araddr ), .s_axi_arprot (axi_ds5_ds5_arprot ), .s_axi_arready (axi_ds5_ds5_arready ), .s_axi_rvalid (axi_ds5_ds5_rvalid ), .s_axi_rresp (axi_ds5_ds5_rresp ), .s_axi_rdata (axi_ds5_ds5_rdata ), .s_axi_rready (axi_ds5_ds5_rready) );
动态时序生成器
通过PL-PLL动态调整像素时钟,确保显示无卡顿、无闪烁,误差控制在<10ppm内。
// VTC配置代码片段(Anlogic SDK)void config_vtc(uint32_t h_total, uint32_t v_total) { VTCRegs->CTRL = 0x1; // 使能软复位 VTCRegs->HTOTAL = h_total - 1; VTCRegs->VTOTAL = v_total - 1; // 详细时序参数配置 VTCRegs->POLARITY = 0x3; // HS/VS极性配置 VTCRegs->CTRL = 0x81; // 使能模块}
3. 硬件连接与测试
硬件连接
米尔的安路飞龙板卡采用2 X 50 PIN 连接器设计,可灵活插拔多种子卡,配合子卡套件,可扩展成多种形态,多种应用玩法。
图三 使用模组、底板、子卡和线缆搭建硬件系统(使用米尔基于安路飞龙DR1M90开发板)
显示测试
实测双目显示清晰,无卡帧,闪屏。
图四 输出显示效果
系统集成
在FPGA硬件描述文件的基础上,进一步在Linux下实现双摄,为复杂系统调度应用铺平道路。
内核加载5640驱动下通过dma搬运ddr数据,在应用层中通过v4l2框架显示到HDMI上,完整数据流如下:
FPGA DDR → AXI-DMA控制器 → Linux DMA引擎 → 内核dma_buf → V4L2 vb2队列 → mmap用户空间 → 应用处理
三路DMA设备树HDMI、camera1、camera2代码片段:
//hdmi soft_adi_dma0: dma@80400000 { compatible = "adi,axi-dmac-1.00.a"; reg = <0x0 0x80400000 0x0 0x10000>; interrupts = <GIC_SPI 83 IRQ_TYPE_LEVEL_HIGH>; clocks = <&axi_dma_clk>; #dma-cells = <1>; status = "okay"; adi,channels { #size-cells = <0>; #address-cells = <1>; dma-channel@0 { reg = <0>; adi,source-bus-width = <32>; adi,source-bus-type = <0>; adi,destination-bus-width = <64>; adi,destination-bus-type = <1>; }; }; };// cam1 mipi_adi_dma0: dma@80300000 { compatible = "adi,axi-dmac-1.00.a"; reg = <0x0 0x80300000 0x0 0x10000>; interrupts = <GIC_SPI 82 IRQ_TYPE_LEVEL_HIGH>; clocks = <&axi_dma_clk>; #dma-cells = <1>; status = "okay"; adi,channels { #size-cells = <0>; #address-cells = <1>; dma-channel@0 { reg = <0>; adi,source-bus-width = <128>; adi,source-bus-type = <1>; adi,destination-bus-width = <64>; adi,destination-bus-type = <0>; }; }; };//cam2 mipi_adi_dma1: dma@80700000 { compatible = "adi,axi-dmac-1.00.a"; reg = <0x0 0x80700000 0x0 0x10000>; interrupts = <GIC_SPI 86 IRQ_TYPE_LEVEL_HIGH>; clocks = <&axi_dma_clk>; #dma-cells = <1>; status = "okay"; adi,channels { #size-cells = <0>; #address-cells = <1>; dma-channel@0 { reg = <0>; adi,source-bus-width = <128>; adi,source-bus-type = <1>; adi,destination-bus-width = <32>; adi,destination-bus-type = <0>; }; }; };
双路i2c OV5640设备树配置代码片段
camera@3c { compatible = "ovti,ov5640"; pinctrl-names = "default"; // pinctrl-0 = <&pinctrl_ov5640>; reg = <0x3c>; clocks = <&ov5640_clk>; clock-names = "xclk"; // DOVDD-supply = <&vgen4_reg>; /* 1.8v */ // AVDD-supply = <&vgen3_reg>; /* 2.8v */ // DVDD-supply = <&vgen2_reg>; /* 1.5v */ powerdown-gpios = <&portc 8 GPIO_ACTIVE_HIGH>; reset-gpios = <&portc 7 GPIO_ACTIVE_LOW>; port { /* Parallel bus endpoint */ ov5640_out_0: endpoint { remote-endpoint = <&vcap_ov5640_in_0>; bus-width = <8>; data-shift = <2>; /* lines 9:2 are used */ hsync-active = <0>; vsync-active = <0>; pclk-sample = <1>; }; }; };
性能测试
性能实测数据。
指标 | 实测值 | 理论峰值 |
图像处理延迟 | 18.7ms | ≤20ms |
DDR吞吐量 | 9.2GB/s | 9.6GB/s |
功耗(全负载) | 3.8W | 4.2W |
启动时间(Linux) | 18s | - |
4. 场景化应用扩展
该方案可广泛应用于以下领域:
智能驾驶:前视ADAS系统,包含车道识别和碰撞预警
工业检测:高速AOI(自动光学检测)流水线,提升检测精度和效率
医疗影像:内窥镜实时增强显示,支持多视角成像
机器人导航:SLAM(同步定位与地图构建)点云加速处理,提升机器人自主导航能力
通过安路TD 2024.10开发套件,开发者能够快速移植和定制化开发,具体包括:
使用GUI图形化设计约束工具,简化硬件开发过程
调用预置的接口与处理器IP,加速产品开发上市时间,专注应用和算法的处理
进行动态功耗分析(DPA)与仿真,确保系统的稳定性与高效性
0. One More Thing…
这里,回到我们原点,回到我们开发设计国产 FPGA SOC的初衷 ,芯片也好,模组也好,都只是开始,无论是FPGA,SOC,或者SOM,**都是为了以更快,更好,平衡成本,体积,开发周期,开发难度,人员配置等等综合因素,做出的面向解决问题的选择,最终结果是降低成本和产品力的平衡。**安路飞龙系列的问世,让我们很欣喜看见国产SOC FPGA的崛起,希望和业界开发者一起开发构建国产SOC FPGA生态,**所以选择将系列教程以知识库全部开源,共同无限进步!**
米尔电子可能只是其中非常非常小的一个数据集,但会尽力撬动更大贡献。
获取完整工程链接和更多开发资料请联系support.cn@myir.cn。