ADAS - 车用全景解决方案 TID3X - 2

继续观看,请前往德州仪器官网登陆myTI账号 登录myTI 登录说明 及FAQ 还没有myTI账号?现在注册

为广大用户更方便地访问EEWORLD和TI网站, 享受TI官方渠道便利,TI教室将与官方myTI进行连通,初次登录可能需要1~2分钟时间,还请大家多多支持。
如需帮助或查看详情请点击

展开字幕 关闭字幕 时长:16分27秒
评论 收藏 分享 上传者:hi5
目前下面来介绍一下 TDA3 环视全景的一个解决方案 目前 TDA3 是目前功耗最低 成本最低的一个 3D 全景的解决方案 TDA3 做 3D 全景的几个优势非常明显 首先是对成本和性价比 要求非常高的一些低端 面向于低端市场的一些应用 首先 TDA3x 里面 没有 A 系列的 ARM A 系列的处理器 只有 M 系列处理器 可以认为它的整个系统架构 和单片机是相似的 另一方面的话 不同频率不同核心数量的选择 可以在 TDA3 里面 也可以分为中高低端三个层次 此外低功耗的一个芯片能力 对散热和整个系统硬件结构 降低了很多很多需求 最后由于 TDA3 中不仅是带有 ARM 的 M 系列处理器 还有 TI 最擅长的DSP处理器EVE处理器 他们都会提供他们最擅长的一些 图像相关的计算 最终实现一个目标检测和车道线检测 运动物体识别等等 额外的图像处理能力 取决于你对额外处理能力的需求 你可以选择 TDA3 系列频率更高 或者说频率更低的一些处理器 快速上手也是一个非常重要的一点 我们目前结合多个第三方 提供了多种平台的一个设计 就像图上所示 TDA3 处理器只有15毫米乘以15毫米 整个板卡的设计将会非常紧凑 右下角是我们的一个第三方设计的一个 环视全景的一个评估平台 这是一个非常小的一个滑板车 在滑板车上附带有四路摄像头 同时接入到 TDA3 中 实现一个 3D 全景 这个滑板车 我们目前是可以在网上订购到的 它具有以下几个特点 首先是它的工业设计 它有防水外壳 可以具体安装到车机上 另一方面的话 它也可以对接不同型号 不同电压的摄像头 此外整个这个参考设计是 使用汽车级元器件进行设计 可以快速的在实车上安装 并且进行测试和调试 而且最重要的是这一套系统 可以再由 VisionSDK 原生支持 不需要做任何的 软件上的一些调整即可运行 下面我们对比一下传统的 GPU 全景 和 TDA3 没有 GPU 的 全景的一个系统框图 首先这里是一个传统 GPU 全景 通常是将摄像头经过 ISP 处理之后 转化成 YUV 格式 通过芯片同轴线 或者说 LVDS 传输到芯片中 由 ARM 的 CortexA 系列的 处理器控制 GPU 进行一些图像的渲染 车模的渲染 最终输出到显示去 可以看到涉及到 ARM 的 A 系列处理器之后 整个系统的发热量 和复杂度有非常高的提升 接下来的话我们看一下 TDA3 全景的一个 BOM 最优的设计 我们将选用输出为 raw data 的传感器 将 raw data 通过 ser 芯片 传输到 TI 提供的四合一的 ser 芯片 也就是 FPD Link 96 系列 然后由 CSI 接口接入到 TDA3 中 有 TDA3 中的 ISP 进行一个分时的一个 ISP 的 raw data 的一个处理 将处理后的结果交由硬件加速 硬件加速 做更进一步的 3D 全景效果 硬件加速器做完的全景效果 最后会由 DSP 进行贴图 最终输出到屏幕上 也就是说剩余的像 Cortex M4 EVE 还有其他剩余的计算资源 都可以用来做其他的一些 图像处理算法 目前我们对 raw sensor 的支持是这样 我们目前已经支持 少数几款车厂和 TIER1 最主流的芯片 在之后的一段时间内 我们将会陆陆续续支持 所有的目前市场上最主流的芯片 最主流的 sensor 下面我们将会挨个看一下 就是目前3D全景和2D全景中 对全景系统的一些 常见系统的一些缺点 而 TDA3 是怎么克服这些缺点 首先是对亮度均衡 有的供应商把亮度均衡作为他们 算法的一个优势之一 而 TDA3 的话 整个系统由于 ISP 使用了 统一的 ISP 进行分时处理 我们的寄存器和包括像曝光时间 或者说是一些白平衡的一些参数 这些参数都是汇集在同一个地方 汇集到同一个地方的好处就是 我可以做相同时间的曝光 这样的话就完全不会出现 两两摄像头之间出现白平衡 或者说是亮度的一个差异 从根本上解决了亮度均衡的一个问题 这也是目前 TDA3 ISP 最明显的一个优势 如果说你仍然是采用 四个分立的 ISP 在摄像头中 他们的曝光时间是完全不可控的 另外你也很难说能够控制四路 图像是在同一时间进行曝光 这个是分立 ISP 可能会带来的问题 而采用统一的 ISP 处理 通过 FPD Link 可以实现 硬件上的信号电平的控制的曝光 以及四路镜头完全相同的曝光时间 可以保证整个系统的亮度的完全均衡 接下来的话是宽动态 有的人可能就会有疑问 就是如果说你采用相同的曝光 那么如果某一路特别亮 某一路特别暗怎么办 这就是 ISP 解决的第二个问题 内置的 ISP 因为收取的是 raw data 的 sensor 所以说可以在芯片中做 非常复杂的宽动态的计算 对这个宽动态的计算 可以保证在相同曝光时间 各个摄像头它对 它的曝光水平是一致的 可以保证相同过渡区域的亮度是一致 但是在高亮区域 将会做一个宽动态的一个处理 在黑暗的区域也会做一个提升的处理 这样既不会显得整个图像有突兀 这样既不会显得整个图像有突兀 也能够充分发挥 ISP 里面宽动态的特性 另一个挑战就是对车模质量的一个挑战 有很多车厂包括客户最终端的消费者 他们对车模的质量有非常高的要求 人们总是不喜欢坐在车里 看到一个像塑料玩具车 一样的车模在旋转 这样的话给人一种不安全 包括车厂也会要求在 openGL 渲染的时候 需要把光照以及车门 车窗 车轮 包括车内的一些景象 进行一个非常精细化的设计 而这样的设计对 GPU 的负荷提升非常高 在 TDA3 整个3D全景过程中 我们将不会用 GPU 或者说 openGL 来做这件事情 所有的车模我们都会在 PC 机端 离线进行计算 计算完成之后由 DSP 贴图实现 这样的话可以将在 PC 上 我们实现一个非常非常复杂的一个车模 贴至我们现有的一个3D全景中 这样的话可以百分之百回避掉 GPU 它对三角形个数 对光照反射以及像复杂纹理 或者说其它一些定制化的需求 那么如何不使用 GPU 来实现一个3D全景 这个是 TI 目前最领先的一个技术 也是充分发挥了芯片中每一个硬件的功能 在 ISP 的设计之初 我们对鱼眼的畸变 或者说对普通镜头的一个镜头的畸变 有一个硬件的一个畸变矫正加速器 而这个加速器它的输入是一个网格 也就是说你告诉它 它的畸变应该怎么样纠正 它将会把输入的图像 进行一个正确的纠正 然而如果我们对 3D 全景 有一个深度的认识之后 你会发现输入的图像 是一个鱼眼畸变的图像 你需要做的是一个将鱼眼展平的过程 展平之后 你需要再将展平的图像 进行一个透视变换 透视变换之后 再将透视变换的图像 进行一个碗形的变换 形成一个 3D 的碗形 所以说我们跨过这么多步 直接将鱼眼图变换为 3D 的碗形 这也是硬件加速器所支持的一个操作 这样的话 我们将四张输入的鱼眼图像 分别变换成对应的碗的形状 DSP 分别贴至他所应该处的位置 并且由 DSP 来处理 他们之间的过渡区域 这些系数都将由 PC 进行计算 计算生成之后存入 DSP 也就是说就像这个流程图一样 我们将镜头畸变参数存入 Flash 中 系统启动过程中 我们会将 Flash 中的这些参数 解压缩到内存中 DDR 中 将这些查找表依次传递给畸变矫正模块 由这个模块进行一个 对鱼眼图像的一个反畸变 并且进行一个碗形的一个变换 最终由 DSP 将车模 以及各个四路之间的一个过渡 最终贴图形成一个3D全景 这一套流程是目前其他车 其他芯片或者说是目前 常见 GPU 方案中所难以见到的 也就是说我们充分发挥了 单片机中一个非常高效的硬件模块 由这个模块来鱼眼变换 做碗形变换 做 GPU 所需要做的事情 下面这些图片是我们 在实际车辆上 和实际的玩具车上 进行的一些测试的抓图 左上角是一个非常常见的一个 车机的一个 UI 界面 我们可以通过点击右侧的 摄像头的标志来切换各个视角 左上角是一个 后视摄像头的一个展平输出 这个展平输出也是由 那个畸变矫正模块输出的 也就是说畸变模块 可以分时的将四路图像转成碗形畸变 也可以将鱼眼图像转成展平图像 也可以将展平图像转成俯视图像 然后右面是我们对 目前一些车模的进行一些图像的抓取 我们可以在 PC 上 做一些非常复杂的模型 非常复杂的光照 这些都可以在 PC 上进行实现 最后由 DSP 进行一个贴图 最右侧我们可以通过在 PC 上修改车模的颜色 比如说我需要转向灯 打开转向灯或者说打开车门 或者说轮胎转动 这些操作都可以在 PC 上实现 然后下面我们可以看到 有一些非常复杂的功能 这些功能也是我们在和第三方 或者说是在和我们的客户 进行一些合作的截图 一个是对动态碗的一个变换 比如说我们在距离左右侧 或者说前后侧的车辆 或者说障碍物的距离 在全景中会看出一个非常 奇特的一个现象 而这个现象是由于碗的设计 和实际的空间位置不匹配导致的 如果说我们可以通过超声波方式 测量到周围的距离 这样的话我们动态的调整碗的形状 就可以实现真实的一个 3D全景 接下来的话我们也可以通过 超声波或者说毫米波的方式 融合车机传来的一些参数 在全景图像中进行绘图 更进一步的 我们和一些客户已经合作 作出了一些像 停车辅助 停车线识别的这些功能
课程介绍 共计4课时,2小时4分45秒

ADAS - 车用全景解决方案 TID3X

TI ADAS 全景 TID3X

分享到X
微博
QQ
QQ空间
微信

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新文章 手机版

站点相关: EEWORLD首页 EE大学堂 论坛 下载中心 Datasheet 活动专区 博客

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2017 EEWORLD.com.cn, Inc. All rights reserved