使用Zynq US+ FPGA进行深度学习

由于在物体识别和分类方面具有人类水平的准确性,深度学习算法在边缘物联网应用中越来越受欢迎。包括但不限于安全摄像头中的人脸检测与识别、视频分类、语音识别、实时多目标跟踪、字符识别、手势识别、财务预测和医疗诊断系统。深度学习算法是机器学习的一个子集,其灵感来源于人脑神经网络。将生物神经网络概念应用到机器学习中,在解决以前不可能解决的学习问题方面已经证明了强大的有效性。特别是,卷积神经网络(CNNs)已经显示出敏捷和可靠的图像检测和识别的计算机视觉应用。这种网络的深层可以创建一个神经网络,用于创建深度学习中的模型。

正如听起来的那样,在物联网边缘设备中实现这些算法需要处理系统来支持这种计算量大、功耗低的多层网络。CPU无法达到预期的性能,因为它们需要大量的CPU操作和内存带宽。因此,fpga、asic和gpu作为边缘处理核心的需求越来越大。fpga由于其可重新配置能力、并行性和能源效率,在计算密集型图像和语音识别应用中得到了更好的表现。我们已经在一个单独的主题中详细分析了机器学习应用的gpu和fpga在这里

使用FPGA开发深度学习应用程序可能听起来很困难。在Aldec,我们通过使用CNN向客户提供现成的基于FPGA的目标检测解决方案,为客户快速启动项目铺平了道路。在这些应用程序中,深度学习处理单元(DPU)被实现到FPGA端进行加速,这导致3个通道输入的速度为45 fps。事实上,FPGA越大,我们可以添加的DPU单元越多,从而带来更好的性能。TySOM-3A-ZU19EG嵌入式原型板具有1143K逻辑单元,可实现多个(1-3)DPU,这对于许多通道处理应用至关重要。下图显示了演示的结构和输出屏幕上的结果。

TySOM-3A-ZU19EG嵌入式原型板

用户可以使用实时摄像机或预先录制的视频作为参考设计的输入。连接外部摄像头,Aldec提供FMC-ADAS具有5x FPD链路和HSD连接器的卡。它可以用作Aldec的扩展ADAS应用它有几个摄像头输入。预先录制的视频可以通过micro SD卡、SATA或云提供给单板。

除了目标检测应用程序外,Aldec还为人脸检测、手势检测、行人检测和分割提供SDx平台。这些演示设计作为我们基于Zynq的原型板客户的参考设计提供。这些设计使用不同的输入进行测试,例如USB摄像头、FMC-ADAS卡(使用FPD III链接连接到blue eagle摄像头)以及存储在SD卡上的预录视频。有关性能分析,请参见下表。


应用程序名称

输入 性能
TySOM-3A TySOM-3
FMC-ADAS 高达30 FPS 高达30 FPS

手势检测

视频 最高18帧/秒 高达17 FPS
FMC-ADAS 高达30 FPS 高达30 FPS

行人检测

视频 最高25fps 最高25fps
FMC-ADAS 高达30 FPS 高达30 FPS

分割

视频 高达24 FPS 高达24 FPS
FMC-ADAS 高达10fps 高达10fps

流量检测

视频 最高36 FPS 高达35 FPS
FMC-ADAS 高达30 FPS 高达30 FPS

表1。基于DNN的TySOM-3A和TySOM-3设计性能分析

主要特点

  • 既包括TySOM-3A-ZU19EGTySOM-3-ZU7EV
  • 包括参考设计和如何创建DNN设计的说明
  • 基于ADAS的解决方案包括FMC-ADAS卡还有192度宽镜头的蓝鹰相机
  • 高达40帧每秒的性能在每个视频频道
  • 预构建和准备使用文件预加载到SD卡

解决方案内容

问我们一个问题
x
问我们一个问题
x
验证码图片 刷新验证码
输入的数据不正确。
谢谢你!你的问题已经提交。请允许1-3个工作日的人回答你的问题。
发生内部错误。你的问题没有提交。请使用反馈表
我们使用cookies来确保为您提供最佳的用户体验,并为您提供我们认为与您相关的内容。如果您继续使用我们的网站,您同意我们使用cookie。有关Cookie和其他网站信息使用的详细概述,请参阅隐私政策
Baidu