Aldec 4K超高清成像解决方案

采用TySOM-3-ZU7EV板(Zynq UltraScale+ MPSoC)

考虑到图像数据生产商(如CMOS图像传感器、实时在线视频流)和显示面板对图像数据分辨率不断增长的要求,4K UltraHD成像(2160p)事实上已成为当今的标准。如今,其应用包括但不限于消费电子产品、医疗、汽车和专业A/V广播,并且越来越广泛。虽然专门的桌面解决方案有足够的处理能力来克服UltraHD图像计算,特别是在访问云数据服务时,但在嵌入式边缘处理方面仍然具有挑战性,特别是在必须考虑低功耗的情况下。

Aldec公司推出了基于Zynq UltraScale+ mpsoc的TySOM-3-ZU7EV原型板,该板包含了所有必要的连接性和处理能力,以高达60fps的数据速率获取、处理和显示高分辨率4K图像数据。

Aldec客户端不必在网络通道带宽和图像数据质量之间进行选择,因为4K处理包已经满足了这两个要求,提供了两个独立的基于Linux的解决方案,专注于两种不同类型的图像广播:

解决方案1:无损原始图像数据(QSFP+传输)
解决方案2:低比特率编码图像数据(TCP/IP以太网传输,视频编解码器单元-VCU编码/解码)

图1:Aldec的4K成像解决方案概述

每个解决方案还包含一个特殊的单板版本,其中图像数据仅从图像源(例如,支持4K的摄像头)运行到连接到同一TySOM板的显示器(HDMI或DP)。

无损原始图像数据广播

该项目的主要目标是演示使用高速QSFP+连接在源设备和目标设备之间传输非接触式高带宽图像数据的能力,该连接由板上QSFP+外设连接和利用高速点对点Xilinx ' Aurora通信协议的片上串行收发器支持。根据内部像素数据表示,2160p@60Hz数据速率的结果带宽约为1gb /s,这是目前广泛使用的1gb以太网无法达到的要求。

设计中使用的主要硬件组件和功能:

  1. Leopard Imaging LI-IMX274MIPI-FMC(v1.1),基于索尼IMX274成像仪作为视频源设备;
  2. 具备4K功能的监视器,具有HDMI/DP接口作为视频显示设备;
  3. Zynq UltraScale+内置硬件块:DP 1.2a控制器(高达2160p@30Hz), *Mali GPU;
  4. Zynq UltraScale+PL端软IP块:MIPI CSI2接收SS、HDMI 2.0发送SS(高达2160p@60Hz),极光发射/接收卫星;
  5. 符合QSFP+标准的铜缆或光缆。

*马里GPU仅用于单板GUI版本。

图2:无损图像数据流

  • 单板4K直通(Zynq MPSoC Base TRD)

用于单板设计的Linux演示应用程序以无GUI命令行应用程序或更高级的基于qt的GUI应用程序的形式提供,该应用程序具有对索尼IMX274图像传感器的额外用户控制。这两个应用程序都支持在HDMI(高达2160p@60)或DP(高达2160p@30)监视器上显示图像。基于qt的演示应用程序使用内置的Mali GPU进行图形硬件加速。< / p >

  • 双板4K QSFP+直通

板对板通信利用基于低级别GT的Aurora通信协议完成,该协议允许传输满足低延迟和高数据带宽要求的大量图像数据。此外,它还可以通过替代价格过高的专用千兆以太网实现(通常用于高带宽数据传输)来降低总体系统成本。类似地,对于单板版本,数据流由Linux用户空间应用程序控制,每一方都必须单独配置。

低比特率编码图像数据广播

与原始图像广播不同,编码图像数据更适合通过工业标准千兆以太网传输。芯片内置的VCU负责视频编码和解码内存到内存的任务,提供低比特率和可接受的图像质量。VCU支持两个最流行的视频压缩标准,如H.264/AVC -高级视频编码和H.265/HEVC -高效率视频编码,高达2160p@60数据速率。整个图像数据流假设像素数据以NV12格式表示,即YUV 4:2:0的两平面版本。

设计中使用的主要硬件组件和功能:

  1. Leopard Imaging LI-IMX274MIPI-FMC(v1.1),基于索尼IMX274成像仪作为视频源设备;
  2. 具备4K功能的监视器,具有HDMI/DP接口作为视频显示设备;
  3. Zynq UltraScale+内置硬件模块:DP 1.2a控制器(最多2160p@30Hz)、VCU、**马里GPU、PS 1Gbit以太网控制器;
  4. Zynq UltraScale+PL端软IP块:MIPI CSI2-RX SS、HDMI 2.0 TX SS(高达2160 p@60hz);
  5. USB3.0或SATA HDD作为文件I/O的非易失性存储器。

**Mali GPU用于单板GUI版本,仅显示DP。

有6个预定义的预设用于配置VCU编码器和解码器硬件:AVC(低、中、高)和HEVC(低、中、高),其中目标比特率为10/30/60 Mbit/s,适用于AVC和HEVC标准的低/中/高。其余部分的压缩设置(如配置文件,速率控制,GoP等)是相同的所有使用的预设。

图3:压缩图像数据流

  • 单板4K直通(Zynq MPSoC VCU TRD)

    用于单板VCU设计的Linux演示应用程序以无GUI命令行应用程序或更高级的基于Qt的GUI应用程序的形式提供,并对VCU进行额外的用户控制。这两种应用程序都支持在DP上显示图像(最多2160p@30)显示器,请注意HDMI(高达2160p@60)仅对无GUI的应用程序支持。在这两种情况下,用户应用程序都使用具有OpenMAX集成层和VCU CtrlSW中间件的底层Gstreamer框架进行操作。

支持以下VCU数据流模式:

  1. 记录:VCU编码器用于将实时图像数据存储到磁盘存储器上的.mp4文件中(仅限摄像头);
  2. 显示:VCU编码器/解码器在循环中用于将图像数据从摄像机传递到显示器。在文件I/O的情况下,只使用VCU的部分解码器;
  3. 流:摄像机图像数据通过VCU解码器传递,然后使用TCP/IP协议通过网络传输到特定的IP/端口。在文件I/O.mp4的情况下,文件数据绕过VCU,因为它已经为以太网传输编码。

4K超高清成像中的光流运动检测

在ADAS和视频处理应用中,运动检测是目标检测的关键元素。在视频中有很多方法可以找到移动的物体。其中最可靠的是光流。为了使TySOM用户的开发过程更容易,Aldec已经将光流添加到4K成像参考设计中,在实时4K视频中突出移动对象。这个演示的硬件设置与上面解释的4K成像演示相同。

图4:4K超高清成像中使用光流的Aldec检测

问我们一个问题
x
问我们一个问题
x
验证码图片 重新加载验证码
输入的数据不正确。
谢谢你!你的问题已经提交。请允许1-3个工作日的人回答你的问题。
发生内部错误。你的问题没有提交。请使用反馈表
我们使用Cookie是为了确保为您提供最佳的用户体验,并为您提供我们认为与您相关的内容。如果您继续使用我们的网站,您同意我们使用Cookie。有关Cookie和其他网站信息使用的详细概述,请参阅我们的隐私政策
Baidu