基于Jacinto™TDA2x SoC和深度学习的实时mmWave和相机传感器融合系统设计

+荐课 提问/讨论 评论 收藏 分享
你好。 我是Liu Xu。 我是Wesley。 今天,我们带来了关于相机 和77千兆赫的演示 和系统设计以及基于TDA2x 和AWR1843处理器的 雷达传感器融合解决方案, 通过深度学习算法来检测人员和环境, 以实时方法进行。 在本视频中,我们是会介绍整个硬件框图, 包括汽车级生产合格的 嵌入式处理器,我们将会看到 雷达传感器,电源,信号链 和其他标准组件,您可以从TI.com中轻松获取 一站式服务。 此外,我们还想提出一个简单 但可扩展的软件框架,以使用此方法解决 看似复杂的任务。 希望您通过观看来获取灵感。 我们将快速浏览硬件框图和组件连接, 然后深入了解具体的雷达信号 处理链和软件框架 参考设计… 实验室演示涵盖静态和动态场景, 单个或多个人移动缓慢或快速。 我们最后会总结技术创新。 硬件系统包含一个TI 77千兆赫MMV雷达 传感器。 AWR1843可实现三个发射 和四个接收天线的单片实现, 这些天线具有很多的计算结果, 可生成高质量的3D点云, 您可以通过USB或LVDS传输。 另一方面,TDA2x SoC从低成本汽车摄像头捕获一个2D图像通道, 其中TI…链接服务具有100万像素分辨率, 具有100万像素分辨率, 25 FPS,红色FOB,最后, 在HDMI屏幕上呈现输出处理算法。 此处提供的所有芯片,包括其他电源 和标准组件(内存除外) 均可在TI.com上订购。 从技术上讲,仍然有外围设备 和相当大的CPU和GPU功能 保留给其他功能, 在本演示中会说明。 例如,360度3D视图就是这种情况。 而且,雷达和摄像机之间的接口 和未来算法可以在需要时 主要从一辆汽车升级到热图。 AWR1843器件是一款高度集成的 汽车级单芯片FMC多普勒雷达传感器, 能够在76至81千兆赫RF频段工作。 AWR1843采用TI的低功耗45纳米RF CMOS工艺制造, 是一款三通道,四…系统, 内置PLL A2D,C674x DSP,Cortex-R4(F)MCU 和相关的雷达处理硬件加速器 采用独特的方式在小型封装中 提供前所未有的集成度,但具有超高的 计算性能,适用于动态配置 和信号处理算法。 此外,TI还为TIMM波形感应 提供了一个统一的软件平台, 可提供简便的设置和快速的开箱 即用评估和开发。 关于本视频中情况下…的人, 同时考虑状态对象 和电影对象是 一个很大的挑战, 例如,由于[听不清],水 或[听不清]应该远远超过感动的人。 为了解决这个问题,该项目中的信号处理 通过多普勒信息聚集到 两个单独的信道。 这里并行处理后分别 通过[听不清]和角度估计 算法。 最后在输出到TTL2处理器 之前将功率和分组组合在一起。 具体而言,该设置被配置为 在方位角和仰角方向上具 有120度FOV的10米范围内, 以25 FPS生成数百个3D点云。 作为雷达点云接收器,Jacinto家族成员 TDA2x是生产中的汽车级异构架构SOC, 包含两个Cortex-A15,两个DSP, 四个EVE,四个Cortex-M4,两个3D GPU, 一个2D GPU,一个1080p 60硬件视频编解码器, 提供计算能力和其他即时 图像处理硬件模块帮助。 TIDL代表TI深度学习, 它是嵌入式深度学习框架的一个方式, 具有一套从培训到推理的两个工具包, 并始终保持性能与成本 以及设计中的效率与功耗之间的关系。 因此,当针对大规模扩展多任务 和所需的多算法…为汽车 和非常广泛的工业应用 添加计算部署时,两者结合在一起使TI解决方案 成为一项非凡的成就。 在本演示中,Cortex-M4 RDU子系统运行TI RTOS, 驱动摄像头传感器捕获 立即处理成像显示模块, 并且将平均DSL路由器控制为服务器来 记录数据。 DSP和EVE子系统运行这个铃声 TIDL…用于卷积神经网络… 对象的检测和跟踪 算法。 另一方面,Cortex-A15运行 Linux以从雷达传感器传递3D点云 并校准,点云聚类,分组, 最后渲染探测器融合 对象结果,包括ID,位置,距离, 速度和GPU的行为。 其他CPU卡通过高效的 IBC机制相互通信和共享数据。 在实时性能方面, 整个系统的运行速度为25 FPS,分辨率为百万像素高清摄像头, 低延迟时间约为100毫秒。 总之,技术信息 - 我们介绍如何利用ti.com广泛的产品线 来设计一个综合的多模态 传感器融合嵌入式系统, 其具有更低的系统成本和功耗但高性能, 包括77千兆赫MMWave雷达传感器,EP SoC,PMIC, FPDLink-III SerDes和其他标准组件, 适用于汽车和工业市场的替代品, 这也是一种创造性的 雷达传感器信号链式处理算法, 同样可以处理强反射静态 和弱运动物体,以便在同一帧处为两个类别 生成密集点云。 它是一种融合算法,在检测精度增强 和远程深度测量以及速度方面 相互补充相机 和雷达传感器。 它是在TI汽车级生产合格SoC上 快速有效地部署基于深度学习的 神经网络的范例, 通过演示对象检测, 跟踪,点云聚类和分组, 以实时速度进行边缘推理。 它是一个参考软件框架, 用于跨异构SoC架构内的 不同CPU内核划分复杂的软件组件和算法, 并充分利用Linux和RTOS。 最后,它是一个实时解决方案, 可以将3D点云与2D图像一起可视化 同时智能地收集 现场拥挤的数据。 [叮] [声效]
课程介绍 共计1课时,11分35秒

基于 Jacinto™ TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

SoC TDA2x Jacinto 传感器融合 mmWave 实时 深度学习

本视频概述了基于 Jacinto TDA2x 和 AWR1843 处理器的摄像机和 77Ghz mmWave 雷达传感器融合解决方案的演示和系统设计。 该设计由深度学习算法授权,可以实时检测处于混乱环境中的人员。 该视频介绍了整个硬件框图,其中包括汽车级,生产合格的嵌入式处理器 SoC,mmWave 雷达传感器,电源,信号链和其他标准组件,可以从 TI.com 轻松获得

  • 相关产品
  • 技术支持

推荐帖子

阵列信号发生器
做一个100个单独可控的信号发生器,对于芯片选型方面大家有什么好的建议。是单片机还是FPGA?以及具体型号(方波信号即可  频率能到MHz就行)(另外输出在uV与mV级,除了电阻分压 还有什么方法呢?) ...
zhangbohnu TI技术论坛
msp430中斷疑問
中断的使用是否一定要进入LPM模式? 使用TI范例TA来做修改 int ta=0; int main(void) {   WDTCTL = WDTPW + WDTHOLD;                 // Stop WDT &nbsp...
jk4857 微控制器 MCU
今天调试485,用示波器观察,测得485差分波形图,顺便截图,分享一下
这是电脑232转485发的数据 , 19.2K 以上是一帧数据的图 差不多500MS发送一次,从机没有应答,只有主机发送 [ 本帖最后由 hong7817 于 2012-5-11 15:21 编辑 ]...
hong7817 微控制器 MCU
解决MCU启动异常的问题
         当对产品进行快速上下电测试时,若未能满足MCU的上下电要求,MCU往往会出现无法启动甚至锁死的问题。对于单电源供电的MCU来说,电路无需整改,本文推荐给您一颗LDO,可以解决MCU启动异常问题。   对于需要进行掉电保存或掉电报警功能的产品,利用大容量电容的储能作用,为保存数据和系统关闭提供时间,往往是很多工程师的选择。而在不需...
灞波儿奔 微控制器 MCU

59477cq

深度学习很火热,基础性的讲解非常好

2019年11月25日 18:16:09

大明58

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年11月19日 08:32:33

zly1986ZLY

课程不错,学习了,真棒!

2019年11月06日 20:10:59

zx1988ZX

好好学习,天天向上!

2019年10月30日 20:02:58

06010601

学习基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年10月22日 20:14:17

nick_liu1129

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年09月24日 21:15:03

hellokt43

学习基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年08月15日 10:06:23

shakencity

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年08月05日 13:52:55

分享到X
微博
QQ
QQ空间
微信

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新文章 手机版

站点相关: EEWORLD首页 EE大学堂 论坛 下载中心 Datasheet 活动专区 博客

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved