基于Jacinto™TDA2x SoC和深度学习的实时mmWave和相机传感器融合系统设计

+荐课 提问/讨论 评论 收藏 分享
  • 课程目录
  • 相关资源
  • 课程笔记

你好。 我是Liu Xu。 我是Wesley。 今天,我们带来了关于相机 和77千兆赫的演示 和系统设计以及基于TDA2x 和AWR1843处理器的 雷达传感器融合解决方案, 通过深度学习算法来检测人员和环境, 以实时方法进行。 在本视频中,我们是会介绍整个硬件框图, 包括汽车级生产合格的 嵌入式处理器,我们将会看到 雷达传感器,电源,信号链 和其他标准组件,您可以从TI.com中轻松获取 一站式服务。 此外,我们还想提出一个简单 但可扩展的软件框架,以使用此方法解决 看似复杂的任务。 希望您通过观看来获取灵感。 我们将快速浏览硬件框图和组件连接, 然后深入了解具体的雷达信号 处理链和软件框架 参考设计… 实验室演示涵盖静态和动态场景, 单个或多个人移动缓慢或快速。 我们最后会总结技术创新。 硬件系统包含一个TI 77千兆赫MMV雷达 传感器。 AWR1843可实现三个发射 和四个接收天线的单片实现, 这些天线具有很多的计算结果, 可生成高质量的3D点云, 您可以通过USB或LVDS传输。 另一方面,TDA2x SoC从低成本汽车摄像头捕获一个2D图像通道, 其中TI…链接服务具有100万像素分辨率, 具有100万像素分辨率, 25 FPS,红色FOB,最后, 在HDMI屏幕上呈现输出处理算法。 此处提供的所有芯片,包括其他电源 和标准组件(内存除外) 均可在TI.com上订购。 从技术上讲,仍然有外围设备 和相当大的CPU和GPU功能 保留给其他功能, 在本演示中会说明。 例如,360度3D视图就是这种情况。 而且,雷达和摄像机之间的接口 和未来算法可以在需要时 主要从一辆汽车升级到热图。 AWR1843器件是一款高度集成的 汽车级单芯片FMC多普勒雷达传感器, 能够在76至81千兆赫RF频段工作。 AWR1843采用TI的低功耗45纳米RF CMOS工艺制造, 是一款三通道,四…系统, 内置PLL A2D,C674x DSP,Cortex-R4(F)MCU 和相关的雷达处理硬件加速器 采用独特的方式在小型封装中 提供前所未有的集成度,但具有超高的 计算性能,适用于动态配置 和信号处理算法。 此外,TI还为TIMM波形感应 提供了一个统一的软件平台, 可提供简便的设置和快速的开箱 即用评估和开发。 关于本视频中情况下…的人, 同时考虑状态对象 和电影对象是 一个很大的挑战, 例如,由于[听不清],水 或[听不清]应该远远超过感动的人。 为了解决这个问题,该项目中的信号处理 通过多普勒信息聚集到 两个单独的信道。 这里并行处理后分别 通过[听不清]和角度估计 算法。 最后在输出到TTL2处理器 之前将功率和分组组合在一起。 具体而言,该设置被配置为 在方位角和仰角方向上具 有120度FOV的10米范围内, 以25 FPS生成数百个3D点云。 作为雷达点云接收器,Jacinto家族成员 TDA2x是生产中的汽车级异构架构SOC, 包含两个Cortex-A15,两个DSP, 四个EVE,四个Cortex-M4,两个3D GPU, 一个2D GPU,一个1080p 60硬件视频编解码器, 提供计算能力和其他即时 图像处理硬件模块帮助。 TIDL代表TI深度学习, 它是嵌入式深度学习框架的一个方式, 具有一套从培训到推理的两个工具包, 并始终保持性能与成本 以及设计中的效率与功耗之间的关系。 因此,当针对大规模扩展多任务 和所需的多算法…为汽车 和非常广泛的工业应用 添加计算部署时,两者结合在一起使TI解决方案 成为一项非凡的成就。 在本演示中,Cortex-M4 RDU子系统运行TI RTOS, 驱动摄像头传感器捕获 立即处理成像显示模块, 并且将平均DSL路由器控制为服务器来 记录数据。 DSP和EVE子系统运行这个铃声 TIDL…用于卷积神经网络… 对象的检测和跟踪 算法。 另一方面,Cortex-A15运行 Linux以从雷达传感器传递3D点云 并校准,点云聚类,分组, 最后渲染探测器融合 对象结果,包括ID,位置,距离, 速度和GPU的行为。 其他CPU卡通过高效的 IBC机制相互通信和共享数据。 在实时性能方面, 整个系统的运行速度为25 FPS,分辨率为百万像素高清摄像头, 低延迟时间约为100毫秒。 总之,技术信息 - 我们介绍如何利用ti.com广泛的产品线 来设计一个综合的多模态 传感器融合嵌入式系统, 其具有更低的系统成本和功耗但高性能, 包括77千兆赫MMWave雷达传感器,EP SoC,PMIC, FPDLink-III SerDes和其他标准组件, 适用于汽车和工业市场的替代品, 这也是一种创造性的 雷达传感器信号链式处理算法, 同样可以处理强反射静态 和弱运动物体,以便在同一帧处为两个类别 生成密集点云。 它是一种融合算法,在检测精度增强 和远程深度测量以及速度方面 相互补充相机 和雷达传感器。 它是在TI汽车级生产合格SoC上 快速有效地部署基于深度学习的 神经网络的范例, 通过演示对象检测, 跟踪,点云聚类和分组, 以实时速度进行边缘推理。 它是一个参考软件框架, 用于跨异构SoC架构内的 不同CPU内核划分复杂的软件组件和算法, 并充分利用Linux和RTOS。 最后,它是一个实时解决方案, 可以将3D点云与2D图像一起可视化 同时智能地收集 现场拥挤的数据。 [叮] [声效]
课程介绍 共计1课时,11分35秒

基于 Jacinto™ TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

SoC TDA2x Jacinto 传感器融合 mmWave 实时 深度学习

本视频概述了基于 Jacinto TDA2x 和 AWR1843 处理器的摄像机和 77Ghz mmWave 雷达传感器融合解决方案的演示和系统设计。 该设计由深度学习算法授权,可以实时检测处于混乱环境中的人员。 该视频介绍了整个硬件框图,其中包括汽车级,生产合格的嵌入式处理器 SoC,mmWave 雷达传感器,电源,信号链和其他标准组件,可以从 TI.com 轻松获得

猜你喜欢 换一换

推荐帖子

晶圆厂产能不足到底指的什么呢
晶圆厂产能不足这样的说法我们经常见到,特别是那种工艺比较高的,制程比较新的芯片比如最近就有说“高通受台积电28nm产能不足困扰,而其主要客户华为和中兴已将部分订单转向联发科方案”我一直没搞清楚,这些个产能不足到底是怎么回事,到底是根本就生产能力跟不上,还是说做出来的硅片良品率上不去呢?望熟悉这方面的坛友能够解答下我的疑惑。...
wstt 微控制器 MCU
使用一个 LDO 为双电源运算放大器电路供电
      设计注意事项 1. 根据共模、输出摆幅和线性开环增益规格,确定运算放大器的线性范围。 2. 设置可调 LDO 输出来匹配运算放大器的线性范围。 3. 根据温度性能选择 X7R 电容器。 4. 在负电源不可用的情况下,另一种解决方案是使用低噪声负偏置发生器 (LM7705)       设计注意事项 1. 根据共模、输出摆...
qwqwqw2088 模拟与混合信号
汽车电子中的DSP和FPGA应用
1 引言 20 世纪末,全球范围内兴起的信息革命浪潮,为汽车工业的突破性发展提供了千载难逢的机遇,信息技术的广泛应用是解决汽车带来的诸如交通拥挤、交通安全、环境污染、能源枯竭等问题的最佳途径。同时,随着汽车电子技术的发展,电子组件所占整车成本的比例也逐步上升。据统计资料表明,目前,在欧美国家生产的汽车上,电子组件已占到汽车总成本的20%~30%,并且,车用电子组件还以每年8.8%的速度快...
Aguilera 微控制器 MCU
CC3200机智云的Demo问题
按照TI论坛的步骤将CC3200接入机智云,我想问一下为什么用CCS不能打开gagent.h呢,是不是机智云的Demo只能用IAR打开 ...
yanhk 无线连接

59477cq

深度学习很火热,基础性的讲解非常好

2019年11月25日 18:16:09

大明58

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年11月19日 08:32:33

zly1986ZLY

课程不错,学习了,真棒!

2019年11月06日 20:10:59

zx1988ZX

好好学习,天天向上!

2019年10月30日 20:02:58

06010601

学习基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年10月22日 20:14:17

nick_liu1129

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年09月24日 21:15:03

hellokt43

学习基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年08月15日 10:06:23

shakencity

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年08月05日 13:52:55

分享到X
微博
QQ
QQ空间
微信

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新文章 手机版

站点相关: EEWORLD首页 EE大学堂 论坛 下载中心 Datasheet 活动专区 博客

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2023 EEWORLD.com.cn, Inc. All rights reserved