基于Jacinto™TDA2x SoC和深度学习的实时mmWave和相机传感器融合系统设计

你好。 我是Liu Xu。 我是Wesley。 今天，我们带来了关于相机 和77千兆赫的演示 和系统设计以及基于TDA2x 和AWR1843处理器的 雷达传感器融合解决方案， 通过深度学习算法来检测人员和环境， 以实时方法进行。 在本视频中，我们是会介绍整个硬件框图， 包括汽车级生产合格的 嵌入式处理器，我们将会看到 雷达传感器，电源，信号链 和其他标准组件，您可以从TI.com中轻松获取 一站式服务。 此外，我们还想提出一个简单 但可扩展的软件框架，以使用此方法解决 看似复杂的任务。 希望您通过观看来获取灵感。 我们将快速浏览硬件框图和组件连接， 然后深入了解具体的雷达信号 处理链和软件框架 参考设计… 实验室演示涵盖静态和动态场景， 单个或多个人移动缓慢或快速。 我们最后会总结技术创新。 硬件系统包含一个TI 77千兆赫MMV雷达 传感器。 AWR1843可实现三个发射 和四个接收天线的单片实现， 这些天线具有很多的计算结果， 可生成高质量的3D点云， 您可以通过USB或LVDS传输。 另一方面，TDA2x SoC从低成本汽车摄像头捕获一个2D图像通道， 其中TI…链接服务具有100万像素分辨率， 具有100万像素分辨率， 25 FPS，红色FOB，最后， 在HDMI屏幕上呈现输出处理算法。 此处提供的所有芯片，包括其他电源 和标准组件（内存除外） 均可在TI.com上订购。 从技术上讲，仍然有外围设备 和相当大的CPU和GPU功能 保留给其他功能， 在本演示中会说明。 例如，360度3D视图就是这种情况。 而且，雷达和摄像机之间的接口 和未来算法可以在需要时 主要从一辆汽车升级到热图。 AWR1843器件是一款高度集成的 汽车级单芯片FMC多普勒雷达传感器， 能够在76至81千兆赫RF频段工作。 AWR1843采用TI的低功耗45纳米RF CMOS工艺制造， 是一款三通道，四…系统， 内置PLL A2D，C674x DSP，Cortex-R4（F）MCU 和相关的雷达处理硬件加速器 采用独特的方式在小型封装中 提供前所未有的集成度，但具有超高的 计算性能，适用于动态配置 和信号处理算法。 此外，TI还为TIMM波形感应 提供了一个统一的软件平台， 可提供简便的设置和快速的开箱 即用评估和开发。 关于本视频中情况下…的人， 同时考虑状态对象 和电影对象是 一个很大的挑战， 例如，由于[听不清]，水 或[听不清]应该远远超过感动的人。 为了解决这个问题，该项目中的信号处理 通过多普勒信息聚集到 两个单独的信道。 这里并行处理后分别 通过[听不清]和角度估计 算法。 最后在输出到TTL2处理器 之前将功率和分组组合在一起。 具体而言，该设置被配置为 在方位角和仰角方向上具 有120度FOV的10米范围内， 以25 FPS生成数百个3D点云。 作为雷达点云接收器，Jacinto家族成员 TDA2x是生产中的汽车级异构架构SOC， 包含两个Cortex-A15，两个DSP， 四个EVE，四个Cortex-M4，两个3D GPU， 一个2D GPU，一个1080p 60硬件视频编解码器， 提供计算能力和其他即时 图像处理硬件模块帮助。 TIDL代表TI深度学习， 它是嵌入式深度学习框架的一个方式， 具有一套从培训到推理的两个工具包， 并始终保持性能与成本 以及设计中的效率与功耗之间的关系。 因此，当针对大规模扩展多任务 和所需的多算法…为汽车 和非常广泛的工业应用 添加计算部署时，两者结合在一起使TI解决方案 成为一项非凡的成就。 在本演示中，Cortex-M4 RDU子系统运行TI RTOS， 驱动摄像头传感器捕获 立即处理成像显示模块， 并且将平均DSL路由器控制为服务器来 记录数据。 DSP和EVE子系统运行这个铃声 TIDL…用于卷积神经网络… 对象的检测和跟踪 算法。 另一方面，Cortex-A15运行 Linux以从雷达传感器传递3D点云 并校准，点云聚类，分组， 最后渲染探测器融合 对象结果，包括ID，位置，距离， 速度和GPU的行为。 其他CPU卡通过高效的 IBC机制相互通信和共享数据。 在实时性能方面， 整个系统的运行速度为25 FPS，分辨率为百万像素高清摄像头， 低延迟时间约为100毫秒。 总之，技术信息 - 我们介绍如何利用ti.com广泛的产品线 来设计一个综合的多模态 传感器融合嵌入式系统， 其具有更低的系统成本和功耗但高性能， 包括77千兆赫MMWave雷达传感器，EP SoC，PMIC， FPDLink-III SerDes和其他标准组件， 适用于汽车和工业市场的替代品， 这也是一种创造性的 雷达传感器信号链式处理算法， 同样可以处理强反射静态 和弱运动物体，以便在同一帧处为两个类别 生成密集点云。 它是一种融合算法，在检测精度增强 和远程深度测量以及速度方面 相互补充相机 和雷达传感器。 它是在TI汽车级生产合格SoC上 快速有效地部署基于深度学习的 神经网络的范例， 通过演示对象检测， 跟踪，点云聚类和分组， 以实时速度进行边缘推理。 它是一个参考软件框架， 用于跨异构SoC架构内的 不同CPU内核划分复杂的软件组件和算法， 并充分利用Linux和RTOS。 最后，它是一个实时解决方案， 可以将3D点云与2D图像一起可视化 同时智能地收集 现场拥挤的数据。 [叮] [声效]