1.2 用 IWR1642 进行人员数量统计的演示说明

我是TI毫米波雷达技术支持 工程师 我叫尹志兴（音译） 前面我的同事已经给大家介绍了TI的毫米波雷达 的应用和基本的介绍 包括TI的 一个芯片 接下来 我会给大家介绍 TI在工业领域的一个特定的应用 刚才我看到在线的朋友很多人问到的一个问题就是 TI的毫米波雷达在工业领域和楼宇监控方面有什么应用 下面的讨论是TI的毫米波雷达在楼宇自动化里面的应用 那针对这方面的应用呢TI也推出了一个参考设计 所以接下来我们会从这方面展开 跟大家讨论一下 这边是基于IWR1642 IWR就是我们在工业领域应用的一个雷达的芯片 这是一款单机电集成的方案 我们在单机电集成的工业领域IWR1642雷达芯片上做 了一个设计叫做people counting的示例 就是数人头我们会在一些商场啊 楼宇啊 去数当前的人数 或者过去一段时间的人流量有多少 这种应用 在这个课题中呢我们会从以下几方面来作介绍 首先给大家介绍在楼宇自动化里面 我们为何推广我们的毫米波雷达传感器 第二是TI目前的一个参考设计 叫做人员的运动跟踪以及人员的人头清点 清点数量 第三 针对这个参考设计 我们展开给大家讲讲我们的底层的信号处理 还有高层方面的跟踪模块 第四方面有一个视频给大家演示 同时客户拿到我们的demo之后怎么做一个定制化和调试 然后得到客户想要的更好的效果 最后预留一定的时间给大家做答疑 首先我们来看看第一部分 从这个PPT当中大家可以看到我们列出了 四张图 都是在楼宇自动化和楼宇监控 领域的四个典型应用 比如第一个 就是非法入侵 一般在公司里面啊 或者家庭里面啊 都有一个敏感的区域 需要监控当前有没有人接近这个区域 监控然后告警目前这个摄像头用的比较多 第二就是人数的统计 人流量的统计 第三就是自动门的开关和控制 第四就是数字摄像头的监控 这四个 应用大家在生活中是随处可见 司空见惯的 针对这四个方案 我们的目标是要找到一个可靠性高并且 尺寸小 价格低 易于安装的一个模块来满足这些应用场景 但是我们现在普遍用的摄像头的话 就会存在一些不足 比如摄像头 会受到天气环境的影响比如我的摄像头装在外面或家里 然后外面有雾霾天 家里有火警引起的大雾的影响的话 可能我的摄像头就无法工作呢 第二就是在 一些特殊的场合会涉及到道德隐私的问题 比如在我的厕所 我的卧室 我是不希望安装摄像头的因为涉及到个人隐私的问题 第三方面 随着智能化的一个推广 我们不仅要做监控的工作还要增加一些智能的分析 所以智能分析这个领域我们一旦增加的话呢 摄像头这块我们需要一些更高端的算法 要应对这些算法的话我们需要增加一个更加 主频更高的处理器这对我们的成本也有一定的提升 第四方面 我们的摄像头一直处于工作的状态 一直工作的话是一直需要把数据存下来 这样对数据存储的能力的要求对数据传输的带宽的需求 都是有一定的提升 这样对我成本的一个增加也是显而易见的 第五 摄像头在我们的应用中 比如数人头啊 就是在密集的区域数人头的话会存在一个比较高的误检和漏检 这种错误的概率也是需要迫切去提升的 最后大家可能会说摄像头现在用的很广 但有一些朋友和客户已经在用雷达方案了 比如24G 相对比TI提出的77G的方案呢 它是已经大规模的量产 但是24G存在一个问题 就是视频带宽是不足的 这样也会影响它的分辨率 非常不能满足我们的需求 第二 24G的不足是天线的设计尺寸会非常大 这样整个模块的尺寸会很大不易于我们的安装 和利用 这样我们针对这些应用不足 我们用Ti的77G的雷达也这方面存在一些相关的优势 然后才会去推广首先我们针对天气这一块 雷达是不受天气环境温度 也不受大雾雾霾这些影响的 第二 我们雷达不像摄像头 一直去监控你 所以不会涉及到道德隐私的问题它可以安装在卧室 可以安装在厕所去监控整个人的行为比如 我可以监控这个老人和小孩 他当前的状态比如这个老人是否有摔倒 还是正常的站立坐姿这种问题 但是不存在隐私的问题所以是可以被大众接受的 第三 TI的1642这款芯片是一个 单机电集成的方案内部是集成了一个600兆赫兹主频的 DSP 所以后面我即使加一些高级的智能分析的算法 都是可以在单片里面完成的不需要再外加一个处理器 这样我的成本也可以降下来 第四就是如果我的雷达和摄像头融合一起使用的话呢 我的摄像头是不需要一直打开的只有我的雷达监控到 有一个非法入侵的时候有一个可疑目标接近我的时候 我才去触发我的摄像头去工作 这样有两个好处 一个是 监控存储空间的需求不需要那么大 第二就是我传输的带宽也不需要那么大 第三就是我的功耗 因为我的摄像头不是一直工作的 所以我的功耗也能降下来所以总共我从成本和功耗 都是在使用了TI的雷达后有一定的降低 同时融合了摄像头之后呢我们可以降低误检和漏检的概率 就是我们刚才讲到的数人头里面如何跟我们的雷达一起融合 两个一起做检测检测结果再做一个数据的结果的融合的话 我的漏检和错检的概率就会降低 跟现在已有的大众普遍用的24G的雷达相比来说呢 77G有一个更高的带宽就是我们的77G里面有一个4G的 射频带宽 所以从距离分辨率这块来说的话呢 可以达到 厘米级别的 所以分辨率是非常高的 可以满足人流量密集的时候我的一个检测的概率 我的精确度和准确度是可以得到很大的提升 那另外一个就是我77G 我的天线可以做的更小所以我整个模块可以做到更小 所以我现在的普遍应用包括车载 家庭的应用我的模块更小 就更方便安装了 这里列出来楼宇自动化方案中已有存在的这些 不足和限制 以及TI毫米波雷达在这方面的优势 所以TI才会在楼宇自动化里面推广TI 77G的毫米波雷达技术的应用 那下面我们看看针对这块应用 我们会有参考设计比如我们有人员的跟踪 和人员数量的清点这一块 这个参考设计目前可以在TI的官网上获得的 这个参考设计中集成了两个基本的配置 和测试用例在里面 其中的一个用例是针对一般的楼宇里面的会议室的测试 一般会议室比如六米的一个宽度 一个维度就够了 所以我们有一个6米的测试用例 大家从PPT右边的中间这个图 可以看到 这是我们在实验室测试的一个场景 那在这个场景中我们看到会有四个人的存在 有墙面 也有桌子 椅子 电脑等等 这些东西的存在但对于这种应用来说的话 我们需要知道当前会议室里面有几个人 右边是我们检测出来的结果 从检测结果中可以看到我们已经把四个人的一个位置 我们这边是一个照片所以没办法体现出它的速度信息 其实我们已经把速度信息和输出来了 从这个图我们可以看到当前会议室中有几个人在显示 同时还有每个人的方位信息 大概的一个位置然后呢 我们也可以看到 我们已经把相应的墙面啊 桌子啊 椅子啊 电脑啊 我不感兴趣的静态的杂波已经滤掉了 这个参考设计中集成了两个算法在里面 一个是静态杂波的去除 还有一个是 对目标的一个分组和跟踪 跟踪的效果我们可以从PPT右边下方的 这个图 我们是在过道里面去测试 把雷达放在过道的一个角落上面 然后去测试 当前或过去一段时间通过这个雷达的人流量 从图中可以看出 在远处的话 我们看到有一个人走过来我们已经可以检测到他 在我们右边的蓝色的方框里面 可以检测到这人已经在14米左右的距离 可以检测到了 对于普通的过道来说呢 已经可以满足要求了 对于走到我近处的这两个人呢 他们是并肩走过来的 我们也能很好的分辨这两个人的存在 可以说明我们的77G毫米波雷达的分辨率是非常高的 同时在右边的检测结果我们可以看到两条线 这两条线是走进来的这两个人的运动轨迹 这就是刚才讲到的算法中集成的一个跟踪的模块 可以同时检测我当前区域当前的人数 也可以跟踪我当前区域的人运动的一个轨迹 这就是我们在参考设计中所集成的两个典型的测试用例 那除了距离 以及我刚才讲到的两个比较高级的功能以外 在距离的分辨率上我们可以达到4.8厘米及12厘米的一个距离精度 在速度和速度分辨率这块 我们也是 非常适合这样的场景那在系统的功耗这方面 大概是在2瓦左右 或许大家会问到说 那你们的参考设计在People counting里面的性能如何呢 跟踪的精确度和准确度如何呢 所以我们也做了一个相关的测试 测试场景中 比如每平方米有三个人的应用场景的话呢 我们测量的准确度可以高达93%以上 这个就是我们测量的一个性能 这是我们参考设计中集成的两个典型用例 针对不同的应用需求和测试场景的话呢 我们是需要对这个参考设计中的配置和参数去做调整的 这一块我们会在后面讲到 我们接下来往下来看 我们的people counting和tracking的参考设计的话呢 是基于我们的TI的IWR1642的EVM评估板实现的 这个1642是基于调频连续波的毫米波雷达的 集成芯片 里面的工作射频是可以从76到81G赫兹 然后内部也集成了射频前段是两个发送天线 和四个接收天线 然后也集成了ADC 数字信号处理器 C674X 它的主频可以达到600赫兹 那么MCU是内部集成了一个Cortex R4 主频可以达到200兆赫兹 所以1642是一款从射频到AD 到数字信号的处理 到MCU的控制 都是一个完全单芯片的集成方案 所以我们数人数的解决方案的软件 都是单片里完成的从前端数字信号的一个 射频信号的 输入到ADC数据的一个采集 到雷达信号的一个处理 和静态杂波的一个干扰消除 输出一个点云的信息 到最终的高级的目标的一个跟踪和分组 都是在1642这个单芯片方案中完成的 最终我们会把检测的结果 比如人数啊 或者人员的位置啊速度啊这些信息 通过我的USB口输出到PC上 PC上有一个TI提供的显示的软件 把结果给大家很直观的显示出来 所以 我们的雷达能够带来的一个好处 就是数人数相对于目前已有的解决方案 能够带来的好处我们刚才在第一页slide就讲到了 类似它可以解决一些道德隐私的问题 它是不受环境的影响的 所以基于这些好处以及数人数的参考设计 它可以做一个更加广泛的应用推广 比如去做现在智慧城市里面用到的智能灯控 所谓智能灯控就是我可以用雷达监测当前 有没有人或物体经过我这个区域 来监测我的灯的开关 这就是我们的智慧城市里面智能灯控的 去达到节能的作用 比如我们再举两个例子比如motion detect 就是运动检测我们可以用在家里啊 家里比如有个敏感的区域我可以检测这个区域 比如现在我们社会上经常会有这种类似的报道 就是家里没有人家里的小孩 家里的大人 在卧室或厨房干什么事 比如小孩从阳台的窗户爬上去 就发生意外了 这种时候我们可以用我们的雷达去监控 这种危险的区域 一旦有人靠近的话呢 可以去告警 可以提示我们的家长 然后这样有一个警示的信息 这就是一个类似的应用 第三我给大家说一下就是我们现在用的很多的 因为很多家庭里面也会用这种数字IP 去做监控 在这方面我们可以把摄像头跟我们的雷达 做融合 提升我们整个的一个使用的体验 提升我们对隐私的敏感问题的解决 等等 这就是数人数的一个参考设计 以及它可以做推广的一些领域 那数人数这块 我们相关的一些资料 比如我们参考设计的 文档啦 软件的资料啊 硬件的芯片的资料 都可以从我们TI的官网上去下载 嗯 数人数这块 我们下面会有一个 从比较高层的一个大概的介绍 包括数人数底层实现的一个原理 首先来看看数人数底层的算法 实现的一个流程 这块实现的话 是分成两大部分 第一部分是在我的DSP上去做的 第二部分是在我的ARM上做的 在DSP上做的是基本的雷达信号的处理 比如我采集到的原始的数字信号 然后再输入到我的DSP之后 做一个距离速度以及方位 信息的提取 以及刚才讲到的 数人数中也集成了一个静态杂波的干扰消除 这个模块也是在我的DSP上去做的 那最终DSP上处理完 输出的话是一个 点云的信息 每个点上还有具体的 一个距离和多普勒的速度 以及角度以及每个点上检测到的信噪比信息 我得到这些信息后我会通过共享memory的方式 给到我的ARM ARM再通过共享memory去获取 它需要做后面的分组目标的聚类 以及目标的跟踪都是在我们的ARM上做的 那后面大概给大家讲一下ARM上的分组聚类和跟踪 模块的比较高级的介绍 这张图是 它是我们刚才看到的测试 测试结果的输出和显示 左边的是点云信息 是我们 DSP处理输出的每个点的一个显示 从中可以看到 大概在三个方位会有 会有反射的信息 但这个三个方位 我们不知道各个 方位的点到底是几个目标 一个两个还是三个目标信息的存在 所以我们这些点云经过输出到 我们的ARM上做一个跟踪和分组后 这边就可以得到三个具体的几个目标信息 会有三个目标的显示图中的三个不同的圆圈 三个不同颜色的圆圈就代表三个不同的目标 的一个检测 那后面来看看我们在ARM上做的一个高级的分组和追踪的 一个比较高的介绍 从这个图的右边 我们可以看到 右边从下往上看 有一个大概的介绍 就是我们从模拟的前端到数字前端 到距离和速度的一个FFT到检测 这些都是在前面讲到的DSP上面去做的 DSP上输出的电云信息会带有距离和速度角度方位检测的 信噪比 这些电云信息会进入到我的跟踪模块里面去 它来做目标的一个定位和目标的一个跟踪 那我在这里面有相应的算法 比如说 我们会有目标的一个卡尔曼滤波 还有一个卡尔曼的目标预测 和目标的一个分类和上报 这些都会在我的跟踪模块里面做到 跟踪模块经过一系列的算法处理跟踪输出后 会有目标的信息 目标信息的话呢 针对每个目标 我们输出每个目标中心点的速度 中心点的一个方位 距离 还有这个目标当前 聚集的反射点速是多少 等等这些信息再输出到我更上层 所谓的目标的分类 因为我们也有在线的朋友问到说 目前 我们TI的雷达能不能做目标的分类 能不能做材料的一个区分 在这块 如果客户感兴趣的话呢 可以在拿到demo之后做一个更加上层的一个 算法的定制和研究分析 因为TI目前发布的参考设计是没有目标分类这块的 算法和软件的存在 所以跟踪模块最终输出是一个 目标的列表 里面有目标带有的信息 这个是我们的tracking module 给大家的一个介绍当然更加详细的信息呢 比如跟踪模块的整个算法的介绍和流程 大家可以看看我们数人数参考设计里面的文档 里面有算法的更加细节的介绍和流程的实现 下面我们看下这个跟踪模块 它实现的对外的可配的参数的细节 因为跟踪模块包括目标的分类和跟踪 针对不同的目标和场景 它的算法需要适配 参数需要调节 所以这边的参数提供了相关可配信息 比如说我们这里列出来的主要几点 其中最上面两点 就是我们系统可以支持的的最大输出的点数 大概是250点 这是可配的 第二是目前最大输出的跟踪目标数 大概是20个 然后是支持的目标的一个径向速度 径向速度 大概是初始的就是从静止 开始跟踪 然后最大的径向速度是20米每秒 支持的目标加速度是5米每秒左右 然后我现在的系统支持的一个周期 大概是50毫秒 所以它的刷新率 大概是在20赫兹 这是参考设计默认的一些支持的配置在里面 大家拿到之后可以细节再看一下