Aldec 4K超高清成像解决方案

采用TySOM-3-ZU7EV板(Zynq UltraScale+ MPSoC)

考虑到图像数据生产者(如CMOS图像传感器、在线视频流)和显示面板对图像数据分辨率的需求不断增长,4K超高清成像(2160p)实际上成为了今天的标准。目前,其应用范围已不仅限于消费电子、医疗、汽车、专业视听广播等领域,而且越来越广泛。虽然专门的桌面解决方案有足够的处理能力来克服超高清图像计算,特别是在访问云数据服务时,但在嵌入式边缘处理方面,尤其是在必须考虑低功耗的情况下,它仍然具有挑战性。

Aldec公司推出了基于Zynq UltraScale+ mpsoc的TySOM-3-ZU7EV原型板,该板包含了所有必要的连接性和处理能力,以高达60fps的数据速率获取、处理和显示高分辨率4K图像数据。

Aldec客户不需要在网络通道带宽和图像数据质量之间做出选择,因为4K处理包已经满足了这两个要求,提供了两个独立的基于linux的解决方案,它们专注于两种不同类型的图像广播:

解决方案1:无损原始图像数据(QSFP+传输)
解决方案2:低比特率编码的图像数据(通过以太网传输TCP/IP,视频编解码器- VCU编码/解码)

图1:Aldec的4K成像解决方案概述

每个解决方案还包含一个特殊的单板版本,其中图像数据简单地从图像源(例如4k功能的摄像头)运行到连接到同一TySOM板的显示器(HDMI或DP)。

无损原始图像数据广播

该项目的主要目标是演示使用高速QSFP+连接在源设备和目标设备之间传输非接触式高带宽图像数据的能力,该连接由板上QSFP+外设连接和利用高速点对点Xilinx ' Aurora通信协议的片上串行收发器支持。根据内部像素数据表示,2160p@60Hz数据速率的结果带宽约为1gb /s,这是目前广泛使用的1gb以太网无法达到的要求。

设计中使用的主要硬件组成及特点:

  1. 豹成像LI-IMX274MIPI-FMC (v1.1)基于索尼IMX274成像仪作为视频源设备;
  2. 4K-capable显示器,具有HDMI/DP接口作为视频显示设备;
  3. Zynq UltraScale+内置硬件块:DP 1.2a控制器(高达2160p@30Hz), *Mali GPU;
  4. Zynq UltraScale+ pl侧软IP块:MIPI CSI2 RX SS, HDMI 2.0 TX SS(高达2160p@60Hz), Aurora TX/RX SS;
  5. QSFP+兼容铜或光缆。

*马里GPU仅用于单板GUI版本。

图2:无损图像数据流

  • 单板4K直通(Zynq MPSoC Base TRD)

用于单板设计的Linux演示应用程序以无GUI命令行应用程序或更高级的基于qt的GUI应用程序的形式提供,该应用程序具有对索尼IMX274图像传感器的额外用户控制。这两个应用程序都支持在HDMI(高达2160p@60)或DP(高达2160p@30)监视器上显示图像。基于qt的演示应用程序使用内置的Mali GPU进行图形硬件加速。< / p >

  • 双板4K QSFP+直通

板对板的通信是利用低级的基于gt的Aurora通信协议完成的,该协议允许传输大量的图像数据,满足低延迟和高数据带宽的要求。此外,它还可以通过取代通常用于高带宽数据传输的价格过高的专有千兆以太网实现来降低系统的总体成本。类似地,对于单板版本,数据流是在Linux用户空间应用程序的控制下,每一边都必须单独配置。

低比特率编码图像数据广播

与原始图像广播不同,编码图像数据更适合通过工业标准千兆以太网传输。芯片内置的VCU负责视频编码和解码内存到内存的任务,提供低比特率和可接受的图像质量。VCU支持两个最流行的视频压缩标准,如H.264/AVC -高级视频编码和H.265/HEVC -高效率视频编码,高达2160p@60数据速率。整个图像数据流假设像素数据以NV12格式表示,即YUV 4:2:0的两平面版本。

设计中使用的主要硬件组成及特点:

  1. 豹成像LI-IMX274MIPI-FMC (v1.1)基于索尼IMX274成像仪作为视频源设备;
  2. 4K-capable显示器,具有HDMI/DP接口作为视频显示设备;
  3. Zynq UltraScale+内置硬件块:DP 1.2a控制器(高达2160p@30Hz), VCU, **Mali GPU, PS 1Gbit Ethernet控制器;
  4. Zynq UltraScale+ pl侧软IP块:MIPI CSI2-RX SS, HDMI 2.0 TX SS(高达2160 p@60hz);
  5. USB3.0或SATA硬盘作为文件I/O的非易失性内存存储。

**马里GPU用于单板GUI版本与DP仅显示。

有6个预定义的预设用于配置VCU编码器和解码器硬件:AVC(低、中、高)和HEVC(低、中、高),其中目标比特率为10/30/60 Mbit/s,适用于AVC和HEVC标准的低/中/高。其余部分的压缩设置(如配置文件,速率控制,GoP等)是相同的所有使用的预设。

图3:压缩图像数据流

  • 单板4K直通(Zynq MPSoC VCU TRD)

    用于单板VCU设计的Linux演示应用程序以一种无GUI命令行应用程序或更高级的基于qt的GUI应用程序的形式提供,该应用程序具有对VCU的额外用户控制。这两个应用程序都支持在DP(高达2160p@30)监视器上显示图像,注意HDMI(高达2160p@60)只支持gui较少的应用程序。在这两种情况下,用户应用程序使用底层Gstreamer框架与OpenMAX集成层和VCU CtrlSW中间件进行操作。

支持以下VCU数据流模式:

  1. 记录:VCU编码器用于存储实时图像数据到磁盘存储的mp4文件(仅限相机);
  2. 显示:VCU编码器/解码器在循环中用于将图像数据从摄像机传递到显示器。在文件I/O的情况下,只使用VCU的部分解码器;
  3. 流:摄像机图像数据通过VCU解码器,通过TCP/IP协议通过网络传输到特定的IP/端口。在文件I/O .mp4文件数据绕过VCU,因为它已经编码为以太网传输。

在4K超高清成像中使用光流的运动检测

在ADAS和视频处理应用中,运动检测是目标检测的关键元素。在视频中有很多方法可以找到移动的物体。其中最可靠的是光流。为了使TySOM用户的开发过程更容易,Aldec已经将光流添加到4K成像参考设计中,在实时4K视频中突出移动对象。这个演示的硬件设置与上面解释的4K成像演示相同。

图4:在4K超高清成像中使用光流的Aldec检测

问我们一个问题
x
问我们一个问题
x
验证码图片 刷新验证码
输入错误的数据。
谢谢你!你的问题已经提交。请允许1-3个工作日的人回答你的问题。
发生内部错误。你的问题没有提交。请使用反馈形式
我们使用cookie以确保我们给您最好的用户体验,并向您提供我们认为将与您相关的内容。如果您继续使用我们的网站,即表示您同意我们使用cookie。关于cookies和其他网站信息使用的详细概述载于我们的网站隐私政策
Baidu