基于Jacinto™TDA2x SoC和深度学习的实时mmWave和相机传感器融合系统设计

+荐课 提问/讨论 评论 收藏
  • 课程目录
  • 相关资源
  • 课程笔记

你好。 我是Liu Xu。 我是Wesley。 今天,我们带来了关于相机 和77千兆赫的演示 和系统设计以及基于TDA2x 和AWR1843处理器的 雷达传感器融合解决方案, 通过深度学习算法来检测人员和环境, 以实时方法进行。 在本视频中,我们是会介绍整个硬件框图, 包括汽车级生产合格的 嵌入式处理器,我们将会看到 雷达传感器,电源,信号链 和其他标准组件,您可以从TI.com中轻松获取 一站式服务。 此外,我们还想提出一个简单 但可扩展的软件框架,以使用此方法解决 看似复杂的任务。 希望您通过观看来获取灵感。 我们将快速浏览硬件框图和组件连接, 然后深入了解具体的雷达信号 处理链和软件框架 参考设计… 实验室演示涵盖静态和动态场景, 单个或多个人移动缓慢或快速。 我们最后会总结技术创新。 硬件系统包含一个TI 77千兆赫MMV雷达 传感器。 AWR1843可实现三个发射 和四个接收天线的单片实现, 这些天线具有很多的计算结果, 可生成高质量的3D点云, 您可以通过USB或LVDS传输。 另一方面,TDA2x SoC从低成本汽车摄像头捕获一个2D图像通道, 其中TI…链接服务具有100万像素分辨率, 具有100万像素分辨率, 25 FPS,红色FOB,最后, 在HDMI屏幕上呈现输出处理算法。 此处提供的所有芯片,包括其他电源 和标准组件(内存除外) 均可在TI.com上订购。 从技术上讲,仍然有外围设备 和相当大的CPU和GPU功能 保留给其他功能, 在本演示中会说明。 例如,360度3D视图就是这种情况。 而且,雷达和摄像机之间的接口 和未来算法可以在需要时 主要从一辆汽车升级到热图。 AWR1843器件是一款高度集成的 汽车级单芯片FMC多普勒雷达传感器, 能够在76至81千兆赫RF频段工作。 AWR1843采用TI的低功耗45纳米RF CMOS工艺制造, 是一款三通道,四…系统, 内置PLL A2D,C674x DSP,Cortex-R4(F)MCU 和相关的雷达处理硬件加速器 采用独特的方式在小型封装中 提供前所未有的集成度,但具有超高的 计算性能,适用于动态配置 和信号处理算法。 此外,TI还为TIMM波形感应 提供了一个统一的软件平台, 可提供简便的设置和快速的开箱 即用评估和开发。 关于本视频中情况下…的人, 同时考虑状态对象 和电影对象是 一个很大的挑战, 例如,由于[听不清],水 或[听不清]应该远远超过感动的人。 为了解决这个问题,该项目中的信号处理 通过多普勒信息聚集到 两个单独的信道。 这里并行处理后分别 通过[听不清]和角度估计 算法。 最后在输出到TTL2处理器 之前将功率和分组组合在一起。 具体而言,该设置被配置为 在方位角和仰角方向上具 有120度FOV的10米范围内, 以25 FPS生成数百个3D点云。 作为雷达点云接收器,Jacinto家族成员 TDA2x是生产中的汽车级异构架构SOC, 包含两个Cortex-A15,两个DSP, 四个EVE,四个Cortex-M4,两个3D GPU, 一个2D GPU,一个1080p 60硬件视频编解码器, 提供计算能力和其他即时 图像处理硬件模块帮助。 TIDL代表TI深度学习, 它是嵌入式深度学习框架的一个方式, 具有一套从培训到推理的两个工具包, 并始终保持性能与成本 以及设计中的效率与功耗之间的关系。 因此,当针对大规模扩展多任务 和所需的多算法…为汽车 和非常广泛的工业应用 添加计算部署时,两者结合在一起使TI解决方案 成为一项非凡的成就。 在本演示中,Cortex-M4 RDU子系统运行TI RTOS, 驱动摄像头传感器捕获 立即处理成像显示模块, 并且将平均DSL路由器控制为服务器来 记录数据。 DSP和EVE子系统运行这个铃声 TIDL…用于卷积神经网络… 对象的检测和跟踪 算法。 另一方面,Cortex-A15运行 Linux以从雷达传感器传递3D点云 并校准,点云聚类,分组, 最后渲染探测器融合 对象结果,包括ID,位置,距离, 速度和GPU的行为。 其他CPU卡通过高效的 IBC机制相互通信和共享数据。 在实时性能方面, 整个系统的运行速度为25 FPS,分辨率为百万像素高清摄像头, 低延迟时间约为100毫秒。 总之,技术信息 - 我们介绍如何利用ti.com广泛的产品线 来设计一个综合的多模态 传感器融合嵌入式系统, 其具有更低的系统成本和功耗但高性能, 包括77千兆赫MMWave雷达传感器,EP SoC,PMIC, FPDLink-III SerDes和其他标准组件, 适用于汽车和工业市场的替代品, 这也是一种创造性的 雷达传感器信号链式处理算法, 同样可以处理强反射静态 和弱运动物体,以便在同一帧处为两个类别 生成密集点云。 它是一种融合算法,在检测精度增强 和远程深度测量以及速度方面 相互补充相机 和雷达传感器。 它是在TI汽车级生产合格SoC上 快速有效地部署基于深度学习的 神经网络的范例, 通过演示对象检测, 跟踪,点云聚类和分组, 以实时速度进行边缘推理。 它是一个参考软件框架, 用于跨异构SoC架构内的 不同CPU内核划分复杂的软件组件和算法, 并充分利用Linux和RTOS。 最后,它是一个实时解决方案, 可以将3D点云与2D图像一起可视化 同时智能地收集 现场拥挤的数据。 [叮] [声效]
课程介绍 共计1课时,11分35秒

基于 Jacinto™ TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

SoC TDA2x Jacinto 传感器融合 mmWave 实时 深度学习

本视频概述了基于 Jacinto TDA2x 和 AWR1843 处理器的摄像机和 77Ghz mmWave 雷达传感器融合解决方案的演示和系统设计。 该设计由深度学习算法授权,可以实时检测处于混乱环境中的人员。 该视频介绍了整个硬件框图,其中包括汽车级,生产合格的嵌入式处理器 SoC,mmWave 雷达传感器,电源,信号链和其他标准组件,可以从 TI.com 轻松获得

推荐帖子

泪奔狂促!!!MSP430系列开发工具!!
http://www.deyisupport.com/question_answer/f/55/t/13378.aspx 通过本地购买渠道,人民币支付皆可 !有发票! 购买请发EMAIL到market@duojingcai.com 或致电+86-18611305056 张小姐进行订购;注明从DEYISUPPORT获悉!...
luhuaneda2 TI技术论坛
CC2652怎么使用中断接收数据或者是接收事件
本帖最后由 Marsham 于 2021-9-8 16:50 编辑 之前没用过TI的芯片,看了例程里面,回调和阻塞都是要主动读数据,事件里面也没有接收事件,怎么使用中断来读取数据呢。 ...
Marsham TI技术论坛
铁氧体磁珠揭秘
        过滤高频电源噪声并干净地分享相似电源供电轨(即混合信号 IC 的模拟和数字供电轨),同时在共享的供电轨之间保持高频 隔离的一种有效方法是使用铁氧体磁珠。铁氧体磁珠是无源器 件,可在宽频率范围内过滤高频噪声。它在目标频率范围内具 有电阻特性,并以热量的形式耗散噪声能量。铁氧体磁珠与供 电轨串联,而磁珠的两侧常与电容一起接地。...
qwqwqw2088 模拟与混合信号
毕业论文急需资料
谁买了lm3s6432的开发板啊?能发点资料给偶不?要写毕业论文啊  都不知道怎么写  先谢谢各位了啊  ...
liuyanping625 微控制器 MCU

59477cq

深度学习很火热,基础性的讲解非常好

2019年11月25日 18:16:09

大明58

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年11月19日 08:32:33

zly1986ZLY

课程不错,学习了,真棒!

2019年11月06日 20:10:59

zx1988ZX

好好学习,天天向上!

2019年10月30日 20:02:58

06010601

学习基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年10月22日 20:14:17

nick_liu1129

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年09月24日 21:15:03

hellokt43

学习基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年08月15日 10:06:23

shakencity

基于 Jacinto? TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

2019年08月05日 13:52:55

分享到X
微博
QQ
QQ空间
微信

EEWorld订阅号

EEWorld服务号

汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新文章 手机版

站点相关: EEWORLD首页 EE大学堂 论坛 下载中心 Datasheet 活动专区 博客

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2023 EEWORLD.com.cn, Inc. All rights reserved