1.1 具有DS90UB960解串器集线器和TDA SoC的多摄像头系统:聚合和复制

+荐课 提问/讨论 评论 收藏
  • 视频加载中。。。
大家好,欢迎收看960解串器集线器系统级用例 培训系列的第1单元。 在本单元中,我们将了解960集线器 如何融入摄像头模块 以及视频处理的端到端系统,以及如何在系统级 利用聚合和复制功能。 让我们从多摄像头系统的 传统架构开始说。 以一个汽车应用程序为例, 例如环绕视图。 在该应用中,通常在车辆的周边放置 四个摄像机, 例如在四个角落处。 每个摄像机都具有宽视野, 通常是鱼眼镜头,因此可以将来自四个摄像机的视频 拼接成单个视图, 有时也称为360视图视频。 相机模块通常基于LVDS的, 因此它们由图像传感器和串行器 如913、933或953设备组成。 所有摄像机都被送入一个ECU, 后者对所有摄像机流进行反序列化、同步,然后 将其馈送到某种视频处理设备中, 该设备可以是系统级芯片,简言之就是SoC或FPGA。 这种系统的设计者面临着许多挑战。 我们举几个例子。 挑战第一,在视频处理设备上 找到足够的引脚, 从四个摄像头提供RGB数据。 挑战第二,在PCB上 为所有IC和所有支持电路寻找空间。 挑战第三,同步摄像机输入, 因为定时在四个独立传感器上实现的, 并且可能随时间漂移。 输入960解串器集线器中心以帮助 解决其中一些挑战。 在先前看到的具有单个解串器集线器的 传统多摄像机系统中替换四个解串器 解决了上一张幻灯片中 突出显示的挑战。 第一,所有四个摄像机流 都被打包成一个CSI-2端口。 这称为聚合。 该功能的主要优点之一 是它减少了视频处理设备上所需的 端口和引脚数量,例如SoC或FPGA。 每个摄像机流都有自己的虚拟通道。 因此,使用例如DMA,将视频处理设备上的 通道分离成单独的存储块是很容易的。 第二,PCB的所需空间大小 从四个或五个器件 和周围电路大幅减少到单个器件。 第三,与其在每个传感器上 对传感器一侧计时,并且 必须强制同步,960集线器 可以被配置为使用一个共享振荡器 以同步时钟模式工作, 然后所有传感器使用共享时钟。 我们需指出这没有 详尽列出所有潜在功能和优点, 因此我们推荐观众到960产品页面 获取更多详细信息。 让我们仔细看看如何实现 同步时钟。 如前所述,参考时钟由960生成, 它拥有系统中唯一的 振荡器。 然后通过反向通道 将该参考时钟发送到消毒器,例如953s。 只要后通道参考时钟可用, 串行器就会锁定它。 同样的机制也被用于帧同步信号, 它同时通过反向信道GPIO发送, 以触发跨越多个传感器的 同时曝光。 这里我们展示配置的一些细节。 在串行器上,通过模式引脚上的 带电压选择同步模式, 在960解串器集线器上 通过寄存器位字段设置。 当相机流在960上聚合到 单个CSI-2数据流时,以这样的方式完成 使得CSI-2接收器 容易分离出流。 这是使用被称为虚拟通道的CSI-2协议功能 完成的。 在此图中,解串器集线器上的 四个接收端口分别从摄像机A、 B、C和D接收视频。 为每个接收端口分配一个 虚拟通道ID,并映射到CSI输出端口。 在该示例中,来自摄像机A和B的数据 被打包成CSI分组,并被发送到CSI端口0。 并且来自摄像机C和D的数据被发送到CSI端口1。 当CSI分组由摄像机数据形成时, 数据头被附加到 每个包含虚拟通道ID的数据包里。 然后在CSI接收器处使用该数据头信息 来分离出通道,并且例如 将它们发送到不同的存储器区域。 通过CSI-VC_MAP寄存器,为每个接收输入端口 分配虚拟通道ID VCID, 默认就是端口号。 因此在上面的例子中,摄像机A、 B、C和D分别具有VCID 0、1、2和3。 在前面的例子中,我们将摄像机A、B、C和D 以2×2的方式聚合在一起。 每个CSI端口两个摄像头,以实现最大的 摄像头分辨率。 在此示例中,所有摄像机都聚合并克隆 在CSI端口0和CSI端口1上, 这是以支持的总分辨率为代价的, 但具有一些有趣的应用。 例如,双用途相机处理和数据记录。 接下来的几张幻灯片更详细地解释了 这些应用。 就克隆配置而言,一旦系统启动 并运行单个CSI端口,剩下要做的就是 启用第二个CSI发送器 并启用其中一个控制寄存器中的复制模式位。 该方框图显示了如何在一个系统中使用 960复制模式,该系统在两个不同视频处理器上 以两种不同的方式 处理相同的多通道视频。 让我们回到四个摄像头输入的 原始示例。 即汽车环绕视图应用。 在该框图中,该处理程序 在SoC编号2中执行, SoC编号2可以是使用通过复制模式传播到CSI端口1的 聚合四通道视频的TDA2P或TDA3设备。 如前所述,环绕图中的视图 是360视图,这是通过拼接 多个摄像机输入获得的。 在这个应用程序中,最终输出 对于人类观众来说是非常重要的。 并且这个最终输出确实被发送到显示器。 因此,图像质量和针迹的无缝性 是应用的焦点。 同时,处理四通道视频的 另一个目的可以是检测 场景中的对象, 这可能是自动停车应用中的情况。 该过程在SoC编号1上执行 其使用传播到CSI端口0的 聚合四通道视频。 这也可以是TDA2P或TDA3设备。 然而,这种处理 与传统的环绕视图非常不同。 物体检测通常涉及机器学习 甚至深度学习。 适合于人工智能的图像 可以以非常不同的方式被预处理。 这些图像对人类用户有吸引力, 可能不会被发送到显示器。 用于第二克隆的多声道视频流的 另一个应用是数据记录。 随着自动或半自动驾驶的进步, 这变得越来越普遍。 例如,为实际驾驶场景中 用于训练深度学习网络的庞大数据库 做出贡献。 在该框图中,聚合视频数据 通过CSI端口0同时发送到SoC编号1, 可能用于环绕视图和/停车辅助算法。 SoC编号1可以是TDAP或TDA3设备。 同时,聚合视频 通过CSI端口1发送到板载或板外的 大容量存储设备。 这可能涉及在到达存储之前
课程介绍 共计2课时,18分35秒

具有 DS90UB960 解串器集线器和 TDA SoC 的多摄像头系统: 系列培训

SoC 摄像头 集线器 TDA DS90UB960 解串器

该培训涵盖了视频处理系统中 DS90UB960 解串器集线器的多个系统级使用案例,该系统包括摄像头,SerDes 链和TI 视觉处理 SoC。 培训的目的是教育观众对 UB960 功能的创造性使用,并提供有助于快速开始开发和避免典型陷阱的提示和技巧。 本单元重点介绍聚合和复制用例。

推荐帖子

分享DSP28335+FPGA驱动7寸液晶屏硬件原理图和ucGUI显示源码
1、FPGA主要实现7寸LCD的控制,使用sdram作为lcd的显存,使用512M的Nand的flash存放大量的图片数据。 2、28335主要将移植ucOS-II操作系统,通过ucGUI控制屏幕的显示和电机的控制。 3、外设USB主机主要作为U盘等,USB的通信。 4、外设USB从机和网卡将实验板上的数据实时地发送到PC机或外部机群。 上传几次都失败!!!!!!!!!!!!!!!!!!!...
huchl 微控制器 MCU
请教28035 AD 顺序采样
本帖最后由 yukang1744 于 2015-1-25 23:31 编辑 28035,开发板示例代码采用同步采样方式,我改成顺序采样,结果不进入中断服务子程序,这个问题已经折磨我好几天了,请大神们看一下。代码如下: void Motor_ADC_Config(void) {    InitAdc();  // For this example, ...
yukang1744 微控制器 MCU
【TI首届低功耗设计大赛】无线家居控制系统-结题篇
        经过几个月的学习和设计,今日勉强完成了设计。       本设计的项目名称为无线家居控制系统,侧重与远程控制电器产品,并且各个控制模块都是通过无线方式通信;本项目定位于家居应用,将来加入更多的传感器和更复杂的算法就可以实现真正意义上的智能家居,相信将来大家都能够使用上智能家居产品,让...
stormbreaker 微控制器 MCU
高速单片机硬件关键参数设计概述
      随着单片机的频率和集成度、单位面积的功率及数字信号速度的不断提高,而信号的幅度却不断降低,原先设计好的、使用很稳定的单片机系统,现在可能出现莫名其妙的错误,分析原因,又找不出问题所在。另外,由于市场的需求,产品需要采用高速单片机来实现,设计人员如何快速掌握高速设计呢?      硬件设计包括逻辑设计和...
qwqwqw2088 微控制器 MCU

推荐文章

瑞萨电子推出适用于汽车应用的低功耗蓝牙SoC 2025年03月28日
3月25日,先进半导体解决方案供应商瑞萨电子株式会社(Renesas Electronics Corporation)推出业界领先的新型蓝牙芯片DA14533,将无线电收发器、Arm® M0+微控制器、内存、外设和安全功能集成在一个紧凑的SoC设计中。 图片来源:瑞萨电子 DA14533是该公司低功耗蓝牙®(Bluetooth® Low Energy)系统集成芯片(...
​Microchip PolarFire® SoC FPGA通过AEC-Q100汽车级认证 2025年03月27日
Microchip PolarFire® SoC FPGA通过AEC-Q100汽车级认证 稳健型低功耗方案满足严苛环境下的汽车可靠性标准 Microchip Technology Inc.(微芯科技公司)的 PolarFire®片上系统(SoC)FPGA 已获得汽车电子委员会 AEC-Q100 认证。 AEC-Q 标准是集成电路的指南,通过压力测试来衡量汽车电子元...
瑞萨电子推出全新低功耗蓝牙SoC,为车载应用带来更低能耗 2025年03月25日
瑞萨首款车规级低功耗蓝牙SoC DA14533 带来业界卓越的低能耗、小尺寸和系统成本效益 瑞萨电子今日宣布推出业界卓越的全新蓝牙芯片——DA14533。该芯片将射频收发器、Arm® M0+微控制器、存储器、外设和安全功能集成在一个紧凑的片上系统(SoC)设计中。作为瑞萨低功耗蓝牙®SoC产品家族中首款通过车规认证的器件,DA14533具备先进的电源管理功能,可简化...
Conformal AI Studio 可将 SoC 设计师的效率提升 10 倍 2025年03月20日
新一代套件包括 AI 驱动的等价验证、ECO 自动化和低功耗静态签核产品 随着 SoC 设计日益复杂,形式等效性检查面临更大挑战。为此,Cadence 推出了 Conformal AI Studio——一套全新的逻辑等效性检查(LEC)、自动化ECO(Conformal ECO)和低功耗静态签核解决方案。 Conformal AI Studio 结合人工智能和机...
分享到X
微博
QQ
QQ空间
微信

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

 
机器人开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新文章 手机版

站点相关: EEWORLD首页 EE大学堂 论坛 下载中心 Datasheet 活动专区 博客

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2025 EEWORLD.com.cn, Inc. All rights reserved