3D 扫描技术介绍

Hello 亲爱的朋友 大家好 我是TI台湾的DLP应用工程师我叫Frank 那今天的直播大概会花1.5个小时 那前一个小时主要是做presentation的部分 然后 介绍有关DLP 还有SDK的部分 还有它的应用 那最后还会介绍我们新的IC叫DLPC347X系列 那介绍完之后 我们大概0.5个小时做Q&A 所以各位如果还没有上厕所 可以先去上厕所 因为我们议程大概是1.5个小时 那我们即将要开始 在这之前我们稍微自我介绍一下我是Frank 那之前大概做这个应用有好几年的时间 那之前主要适合介绍做support DLP投影机的部分 那近几年其实在供应应用上有很多很多客户有这样需求 那DLP在这部分应用其实被很多供应应用所采纳 经常有需要非常高的精准度的需求 所以DLP在这应用上呢 可以提供到micrometer的等级的能力 所以这是为什么今天为各位稍微介绍一下DLP的3D扫描的部分 那其中我们会介绍一个3D的SDK 就是TI提供的SDK 那这个SDK部分呢 我们主要是在讲说 SDK其实是给一个概念 当然不是告诉大家一定要去用它而是说你们可以去参考 然后了解DLP的一些能耐 好 那废话不多了 我们就直接开始了 我稍微讲一下今天的agenda是什么 第一个我会稍微介绍一下3D扫描技术的各个技术的介绍 还有应用部分 那第二部分我介绍一下关于DLP的3D扫描是如何使用的 以及它应用部分 第三部分的话 因为TI有提供3D SDK 那这SDK的话有很多人其实一开始还对于3D扫描不是很了解的话 尤其针对结构光不是很了解的话 3D SDK这一块可以让大家比较快速地进入这个领域 然后很快速拿到诀窍 那最后的话 当然是跟大家更新一下 今年我们才新推出的DLPC347X 系列的3D扫描 3D列印的新的功能 让大家了解一下 那我们先针对3D扫描技术来介绍一下 首先要谈3D扫描之前呢我们要看一下 3D的应用其实还蛮多的 首先画面上就有很多第一个当然很多像是工业应用 像是一些产线上的即时扫描 检测部分 或者是一些逆向工学 或者是一些机构检测部分 然后或者是一些人因工学包含一些指纹扫描或脸部辨识的部分 然后还有一些AOI 一些比较高精密度的一些零件检测 或者是品质检测 然后还有一些医疗用的像是口腔扫描 或者是牙齿扫描等等应用 好 相信大家对这些应用已经有大概的了解 也大概都听过这些应用需要用到3D的技术 可以很多人在进入这个门槛的时候通常有一个很大的问题就是 它不晓得该怎么样用哪个技术来使用在它想要的应用范围内 所以我在这边给大家讲一些概念有些key factor让大家先了解一下 首先大家一定要先知道就是说你的FOV 你的扫描范围大小 这个非常重要 因为通常定义扫描范围大小时候基本大概限制住你使用的技术是哪些类型 首先比如说 我们看最左边这个好了 这个传送带Conveyor 大概通常都30公分左右 如果30公分的Conveyor你要扫描路径大概在这个range 因为你必须扫描在上面所有的物件 所以扫的面积都是30公分这个range 那30公分能够应用的范围其实就不太多了 因此定义FOV这件事情 就可以限制掉很多的技术了 所以FOV通常是我们要限制的一个范围 FOV包含什么呢 就是说你可以扫描的 XY的面积是多少以及你要工作的距离 比如说从扫描头到物件的距离是多少 比如说一公尺 那最短一公尺 最长到多长呢 大概比如说是1.3公尺好了 所以你要扫描物件呢就是从一公尺以后呢 的30x30x30的一个立体空间内你都要能扫描得到 而且它精度肯定要求到 比如说是100micrometer 或者是50micrometer等等这个range 这是我们通常定义的 FOV这个规格 接下来我们定义第二个规格就是解析度 那很多人会 那我XYZ 需要多少的解析度 可是这有很多的问题 就是说通常我们定义空间解析度的时候 在技术端来说的话其实XY它基本上不是一个主要的限制 因为XY的限制主要来自于camera 通常你如果要很高解析度你就用好一点的camera就好 这个通常不会是个很大的问题 但是Z轴确是个技术的限制的主要原因 所以你要定义一个使用范围通常你最主要定义Z轴就好了 比如说今天我们要扫描一个比如说我们今天看得是个AOI好了 AOI扫描这个物件可能上面的是一个零件 零件呢 它有没有翘脚 或者有立碑这个行为在呢 你可能要的是一个50micrometer精准度就够了 可是你讲的是零件下面那个锡膏在打件前有个锡膏先上 那锡膏精准度你可能要求就是几micrometer 甚至到零点几micrometer 这种等级的 这是完全另一回事 所以这样子的话 大大地限制住你能使用得技术范围内 那XY通常不是个问题 所以通常定义XYZ的时候 我们会建议把XY跟Z分开定成两个规格 这样对我们来说比较好选择 那最后一个的话 最重要就是速度 很多的话肯定就是 速度简单讲是用钱累积出来的 所以如果你很高速 通常就是你要用很贵的一些机器或设备去搭配 所以 速度这件事情通常跟钱较大关系 比如说我们今天要做一个real time扫描 像是第二个应用好了 第二个应用很特殊 我扫描一个物件它高峰件可能是一个一公尺长的物件 可是我扫描的精准度可能要在30micrometer或更好 可是要一公尺又扫描30micrometer 这种要求其实非常非常困难 在各技术上都是很困难的 所以 通常我们会说那可不可以一个 view只扫比如说10公分好了 我精准度可以到20micrometer 然后我用拼接的方法 每一个view拼接 拼接起来误差只要落在30micrometer就好了 像这样的范围 可是你拼接的话 就是所谓的要real time扫描 就是可能要到手持式这种程度 手持式的话 就是要到速度这种要求 所以我手持要够稳 再稳定地扫描它 扫描整个面 然后拼接起来 那这个肯定要有非常好的一些同步运算的hardware去配合它 所以扫描速度 也会列为一个非常重要的一个T factor 那加上拼接的技术 目前全世界拼接技术要做到很完善其实不太容易 所以这个演算法非常昂贵的 所以这个有非常大的技术门槛在里头 那我再重复一下 T factor第一个就是FOV 要扫描的尺寸 工作距离等等 你扫描物件的大小 这是很重要的T factor 第二个就是解析度 建议将XY跟Z分开来定义 最后定义就是速度 OK? 你的速度要求定义 你有可能用到一些影像拼接的一些演算法 这又是另外一个很大的门槛 好的 那我们刚刚讲了那么多应用其实最终还是要来选择适用哪个技术 所以你还是要了解各技术的优缺点是什么 当你如何选择它 才可以使用在你的应用范围内 上面大概有分成四大类 那这四大类大概是涵盖大部分一些主流的3D扫描技术 那最左边这个就是stereo camera 两个camera或者三个camera去3D扫描 应用其实很多 尤其应用在一些比较偏向consumer的应用 其实还蛮多的 这个很清楚就是它非常非常便宜然后精密度比较差一点 大概是公分等级 往右边看的话是TOF 那TOF目前的应用其实还蛮多的 偏向在minimeter的等级 比如说gesture应用 或是一些人身体扫描应用其实都是没有问题的 那它的好处就是非常便宜 其实价位是稍微中价位 比stereo稍微贵一点 它是中价位 那解析度大概在minimeter这个range 然后往中间看 中间往上看的话就是Laser Laser scan大概存在好几十年了 算是工业应用上非常早期的一个技术 那如果你只是做一个所谓的高度检测的话 一个点或是一条线的高远测 Laser line scan是非常非常low cost 而且它非常容易做到micrometer等级比如说5micrometer等级 对它来说是非常容易的 可是如果你要做到一个面 一个3D面的话 困难度就会变得非常的高 因为再怎么样它也只能scan一条而已 如果要scan到一个面的话 代表它还有另外一轴出现 另外一轴就需要用到一个移动马达 那移动马达的话 如果你要维持到micrometer等级的一个精准度的话 可能要上万美金这么贵 所以它整个成本会非常非常昂贵 如果要扫描到一个面的程度的话 这是为什么近几年非常广泛讨论structured light 的3D扫描技术 structured light的3D扫描技术呢 基本上我们要分成两大类 第一大类我们叫固定式的pattern 另外一个当然非固定式pattern 我们可以跳到下一页看一下 这是全部的比较表 我们大概挑一些各技术的重点 stereo camera最重要的当然就是便宜 非常低价位 第二个呢 它的outdoor performance是非常强大 几乎其他技术很难跟它比拼 如果你要用到户外的话stereo camera 基本上是非常简单的一个技术 又便宜 然后用户外光的能量来看就好所以stereo camera基本上是非常好用 那它功能等级以上没什么问题 那另外是TOF TOF的话它最大的好处就是它价位稍微贵一点点而已 但是它针对扫描速度使用上是非常好的 因为TOF有flight 取得的 flight shift的时间多少呢 对应的就是距离 所以它不需要任何的 大家可以演算法去符合它 也不要说需要decoding的动作 简单得到的flight shift的时间就是深度资讯 那很可惜它最大缺点就是它扫描速度就是 虽然它每秒做三四个（听不清） 但是因为升时速会严重影响到你的扫描速度 所以它就会有很大问题说 如果升时速很大的话 比说说现在可能80x60的sensor 你可能可以每秒30Hz 可是问题要做到800x600的话 那可能每秒就会后变得非常非常慢 那再加上如果遇到一些convision 它的表面反射的程度不是很好 或者有些noise convision的话 你可能要开一些filter 当filter情况下它速度会可能是非常大幅地下降 比如原本30Hz 可能变成每秒2Hz而已 所以这就是它的一个限制 不过在一般应用 gesture 应用其实没什么问题 而在一些短距离应用的话 或是中距离应用其实还ok的 长距离是跟能量有关 所以大部分应用大概在几公尺内还是实用的 目前在一些gesture 或者是在些游戏机的应用其实还蛮多的 既然提到一些structured light Laser如果是单条的话应该不算structured light 但是如果多条的话也算structured light的一种 那刚刚有提过 它精密度到micrometer可是如果到3D的话 其实困难度很高的 因为它扫描速度变得非常非常慢 structured light今天最主要提到的是这个 我们叫固定式pattern 跟非固定式pattern 就是可程式化pattern 固定式pattern的代表作最明显的就是DOE的solution 简单讲就是iPhone10现在用的solution就是这种固定式pattern 它的原理很简单就是镭射光打在一个三色的面上会产生一些镭射光斑 那么镭射光斑呢 我们就要识别这个镭射光斑就可以了 那每一个的DOE的装置产生镭射光斑是独一无二的 所以它在整个highway中 它会coding所有立体中间 比如说你要coding 1000成 然后用highway去解析 所以它这个技术有个最大的问题 就是在说因为它是光斑那个斑你要用camera去解析它 通常一个点可能至少3x3的点去解析它 所以 比如说用inmega的跟minimeter等级差不多 然后它速度呢 是它的好处 为什么呢 因为速度通常 主要是在camera上 那速度是因为它现在只能用highway来做recoding 如果你用软体做 recoding的话 变成是说 你要recoding那个image是困难度非常非常高 所以目前呢 你要DOE搜寻 基本上可能都是要用highway搜寻才能达到快速的效果 你要给code 然后DOE这个技术基本上你都要专用IC 才能够解决这个问题 才能到速度这个问题 不然的话你的速度会变的非常非常的慢 而且你软体复杂度变得非常非常高 所以你用highway的话你速度可以变快 然后软体就会变得loading非常小 现在的问题就是说你的effort就完全要投资在highway上 那接下来讲说 有没有一些可以得到非常高解析度 软体effort又很小 然后又可以很快速的方法 有的 这是目前我们主要应用在工业应用上的话DLP是很大的优势 那DLP精密度基本上可以用到micrometer的等级 我们等一下可以好好讨论下 为什么用programmable的pattern可以得到这么高精准度 当然速度还是限制在camera上 因为DLP技术其实非常非常快 那我们运放的distance差不多是短距离到中距离这个range 我们的软体复杂度大概是到中等或到稍微高一点看你演算法的复杂程度 那cost也会稍微高一点点 那这个3D技术各技术的介绍部分 那我们来看一下