预约试听:15323438773
  


技术分享

News

机器视觉:机器的机器视觉"需要怎样的视觉感知能力

日期: 2017-07-25
浏览次数: 259

机器视觉:机器的机器视觉"需要怎样的视觉感知能力

无论明与暗,无论光与影,也无论万水千山还是沧海桑田,在我们的镜头里都是数字与数据。让机器睁开眼睛看世界……

前期讨论了“机器的机器视觉”研究的最终目标和实现路径。其中,“机器的机器视觉”的最终目标概括为以下三项:

1、被动式、实时、高精度、低功耗的三维图像生成能力;

2、被视物体和场景的空间及运动的快速感知和智能识别能力;

3、所见即所得的自动视觉学习、归纳、总结的能力。

以上三项目标的实现路径为按照前后顺序,依次完成。同时,前文还重点讨论了机器视觉的三维图像生成能力是“机器的机器视觉”实现的前提和必要条件。

既然三维图像生成能力是“机器的机器视觉”实现的前提和必要条件,那现有的机器视觉的三维图像生成能力能否满足“机器的机器视觉”的需要,如果不满足采用什么样的技术方式和技术路线能够实现“机器的机器视觉”的三维图像生成能力?“机器的机器视觉”的三维图像生成能力的最终目标是什么?以上问题就是本篇重点讨论的问题。

 

1“机器的机器视觉”的三维图像生成能力的目标

按照前期的思路,在谈论“机器的机器视觉”的时候,首先用人眼作为参照,给“机器的机器视觉”提出了三个远大的理想和奋斗目标,所以,在讨论“机器的机器视觉”的三维图像生成能力的时候,我们还是以人眼作为参考,给它订立一个相对容易实现的小目标。我们认为,“机器眼”或称“机器的机器视觉”在视觉生成方面的努力方向和奋斗目标应该像智慧生物的眼睛一样,具备以下几项功能:

1、成像过程的自动化;

“机器眼”的三维成像过程必须实现高速全自动,该过程包括:图像采集、图像预处理、图像传输、图像三维运算、图像显示、数据存储等,以上过程的自动化是一个复杂的系统工程,可能涉及的技术包括:自动调焦、自动曝光控制、图像预处理和自适应算法、图像压缩、高速采集和传输通讯、三维自动生成、图像存储等等,以上过程的全自动,需要付出极大努力。同时,成像过程的自动化还包含另一层更重要的意思,就是无论何时、无论何地、无论拍的对象是啥、无论任何拍照环境,都能自动完成三维成像。

2、生成数据的三维化;

“机器眼”的最终输出数据一定是包含三维尺寸的数据或表示三维空间几何的结构化数据,同时,还需要有表面纹理特征的相关数据,以及其它与视觉相关的数据。只有基于三维数据的“机器眼”,才能在后续的视觉识别和视觉理解方面最终达到智慧生物的水平。

3、生成过程的实时化;

“机器眼”的三维成像过程的采样速度要求应该不低于人眼的每秒24帧,目前,二维图像的技术指标已经超过该指标,但在三维快速成像和建模方面还有很大差距。

 4、生成方法的被动化;

“机器眼”的三维成像方式应该像智慧生物一样采用被动成像方式,在智慧生物中,除了在完全黑暗环境下生存的蝙蝠采用主动超声波进行空间和物体的识别,绝大多数生物都采用简单可靠的被动光学成像方式形成视觉,其道理在于被动成像具有低能耗、结构简单、隐蔽性好的特点,而机器视觉技术当前还很难做到这一点。以无人汽车为例,目前广泛采用多线激光雷达进行空间感知,这种方式容易对外界产生干扰,相互之间也会产生干扰,同时设备昂贵复杂。对于“机器眼”采用电磁波、激光、红外光等主动成像方式用于三维成像时,可以在一些特定场合下作为被动成像的一个替代,最佳选择应该还是首选被动成像。

5、生成算法的通用化;

“机器眼”在三维成像时,为了满足对全自动成像的要求,自动适应各类环境和光照条件,需要三维运算实现通用化,在不同场景、不同被视物、不同光照条件下都能够自动完成三维成像。就像工业传感器一样,只要接上电源,就可以通过标准输出接口,采集到传感器的测量数据,无需另外编制专用程序和采用其它各类不同的辅助措施完成三维成像。

 6、生成结构的小型化。

“机器眼”的三维成像系统,需要实现集成化和小型化。目前,手机拍照已经基本实现集成和小型化,但是还未具备三维图像的采集和输出功能。一般利用平面图像进行三维空间解算或采用扫描或结构光方式进行三维运算,需要耗费大量运算资源,基本都需要与台式计算机或服务器相连接,前端图像采集和后端三维运算设备硬件庞杂,体积大,难以实现小型化。现在为加快运算速度,降低对服务器资源的依赖,流行的做法是采用GPU、FPGA等芯片进行并行运算,可有效减少硬件资源。未来由于三维运算的通用算法出现,为开发专业三维运算芯片提供了有利条件,有了三维运算芯片,就可以实现“机器眼”的三维嵌入式运算和结构的小型化。

 

以上6项要求和目标,是实现“机器眼”的必由之路,在技术飞速发展的今天,这六项要求有些已经不同程度的局部实现,还有些经过努力可以在不远的将来得到实现。上述6项要求的核心是三维运算的通用化,当实现了这个主目标后,其它次级目标就会相对容易完成和实现。

 

2现有机器视觉的三维图像生成能力综述

既然三维运算实现通用化是“机器眼”或“机器的机器视觉”获得三维感知的必要条件,我们就需要分析一下现有机器视觉技术在三维感知上具有哪些技术手段?这些技术存在哪些技术上的优势和短板?我们需要选择哪条技术路线可以实现三维运算的通用化? 

 

目前,机器视觉技术可以产生三维数据的大致有以下几种手段:

 

⒈  来自激光测距原理的激光扫描仪和激光雷达

 

该类技术和应用已十分成熟,例如,激光测距、激光扫描、激光雷达等,这些设备的三维生成是基于单点位移传感器的距离测量,同时依靠高速旋转和高速数据采集而产生三维数据,用于物体外部轮廓测量和距离测量等,广泛应用于逆向工程、三维检测和重现、无人汽车、自动测量等。

 

激光扫描仪和激光雷达在三维生成方面的缺点是对被测物不能从整体上快速全面的把握其形貌特征,扫描时间长,不能适应动态测量的要求,数据量大,三维空间运算需要耗费大量计算资源,且大多需要人工干预,难以满足自动检测和在线检测的要求。由于激光扫描仪和激光雷达三维点云数据量大,占用大量存储空间,一般用于精细三维建模,不适用于及时三维识别,不能实现快速匹配和三维数据检索。

⒉    光截图三维测量技术

光截图三维测量技术是通过线激光建立激光平面,将三维问题变为二维问题降维进行解决。该技术的测量过程是由一个线激光发生器产生一个激光平面,通过与该平面成一定角度布置的数字摄像机成像后,对图像进行二值化处理,得到被测物体与该激光线交线的图像,该激光平面与二维图像像素之间具有唯一的对应关系,通过标定可实现该物体激光切线的三维空间尺寸的精确测量。

该类检测技术适用于特定场合和特定物体的高速在线三维尺寸测量,其在三维生成方面的缺点是只针对独立的激光平面,不能整体把握被视物的三维特征,使用范围和测量范围有限,需要提前进行标定,对测量物和测量环境有特定的要求,激光对被测物有干扰。

⒊    双目视觉测量技术

人眼之所以能够快速判断被视物体的远近和大小,是由于人类拥有固定间距同时可动态调焦调角度的两只眼睛,同时还拥有一个图像处理运算速度目前最快速的计算机都难以企及的大脑的缘故。如果有两只固定距离和焦距的相机对同一物体同时成像,其两个图像上的成像点位置与被测物上的测量点,存在着唯一的对应关系,按照两个图像的之间的视差进行计算就可以获得被视物测量点的三维空间位置坐标,这就是双目视觉测量原理。目前3D电影基本采用该方法进行拍摄和立体重现。

使用双目相机进行三维生成目前是最热门的研究项目,该技术最早来源于航空测量的相关技术,在航测过程中,相机相当于在空中进行平行移动,对于连续拍摄的两张图像来说,就相当于平行双目相机测量系统,但在实际三维生成过程中,一般图像匹配运算量大,且双目匹配的匹配点存在大量和普遍的歧义性,且无法自动消除,需要人工手动干预来实现三维建模,该方法无法实现三维的自动生成。

 

使用双目三维测量比激光测量来说有一些优点,该技术可以从整体上对被测物三维空间结构进行把握,测量属于被动式测量,对环境无不良干扰和扰动,在三维生成后,被测物的整体轮廓和细部特征相对误差小,而且,可以从纹理上对被测物进行区分,这些特点是单点激光、结构光以及其它依靠单点激光的三维设备所不具备的。

 4、双目视觉+结构光等三维测量技术

为了消除双目匹配的歧义性,实现双目视觉的三维自动生成,目前,许多厂家进行了研究,利用结构光与双目视觉相结合的方式,解决了匹配的歧义性问题,实现了三维自动生成。常用的结构光一般采用远红外不可见光,或其它安全级别的激光。这样的结构光在被视物表面形成便于自动双目匹配的光斑,极大地消除了双目匹配的歧义,实现了高速自动的深度检测和三维检测。

 

还有就是采用激光、红外线飞行时间TOF进行三维测量的设备,采用多次不同焦距曝光的三维测量的设备以及采用其它方式的三维测量的设备。以上这些方式都是近来逐步发展起来的三维自动生成的技术方法,这些方法都是为了解决三维生成的实时性和通用性问题,具有一定的技术先进性和领先性。

 

但如果用前述“机器眼”三维生成的六项目标进行对照的话,这些技术还存在一些明显的缺陷和问题。产生问题的主要原因是以上方法都是采用主动成像的方式,由于采用激光或远红外光等作为主动成像的辅助手段而带来一系列的问题。

 

首先,采用结构光等主动成像方式在室外阳光下使用时,可对成像造成强烈干扰,不能满足成像质量要求;其次,这些方式要求被测物对结构光或激光有良好的反射性能,对于吸光面、大曲面、强反射光滑面,不能形成良好反射,影响检测效果;第三,当激光功率太小时,测量深度会减小,测量精度会下降,当激光功率加大时,又容易造成使用者或被测物的伤害;第四,采用结构光等主动成像方式只能是在结构光照到的位置进行检测,对于结构光之间的空隙,无法形成三维测量数据,所以,该类方法无法做到对被测物细部特征的三维成像;第五,由于结构光照到的部位和其它照不到的位置在成像时的高对比度要求,使被测物的颜色和纹理无法同步测量和展示。

 

分析以上几种三维成像方式,采用基于双目视觉测量技术中的被动式纯光学成像的技术,是最符合“机器眼”三维成像目标要求的技术。在该技术的基础上,如何有效克服歧义性,实现全自动三维成像,是三维成像技术亟待解决的问题。

 

3通用式三维即时成像技术

 

北京清影机器视觉技术有限公司通过完全自主创新,自行开发完成“通用式三维即时视觉传感技术”,研制成功具有通用视觉的三维“多目慧眼”。目前,“多目慧眼”首先实现的是自动三维“感觉”,在秒级以内自动获得被视场景的三维影像,其下步的目标就是“知道”。我们今后的目标,就是依托“多目慧眼”的自动三维视觉感知能力,最终实现“机器的机器视觉”。

 

(多目慧眼视频呈现效果)

“通用式三维即时视觉传感技术”是在综合分析了现有三维图像技术线路的基础上,采用基于双目视觉测量技术中的纯光学成像原理,采用多相机矩阵的硬件结构,通过空间几何分析对矩阵相机之间的图像进行关联匹配运算,从而自动消除匹配过程的歧义性,实现高速、通用、被动的三维成像。

 

“通用式三维即时视觉传感技术”已经基本实现了“机器眼”的三维自动感知的六项目标,是实现“机器的机器视觉”的最佳可行之路。

 

News / 推荐新闻 More
2021 - 07 - 27
机器视觉检测技术的发展趋势随着工业制造技术及加工工艺的提高与改进,对检测手段、检测速度和精度提出了更高要求,使得机器视觉检测技术在各大行业广泛应用,发展势头强劲。下面,我们就来细数下机器视觉检测发展的几个历程和趋势。1、初级视觉理论:主要针对光学成像的逆问题,是由能从二维光强度阵列恢复三维可见表面物理性质的一系列处理过程组成。这里各过程的输入数据及计算目的都是能够明确描述的,如边缘检测、立体匹配、由运动恢复结构等方法。在三维物体投影成二维图像过程中,三维信息有很多损失,从而导致病态问题产生,因此加强对初级视觉过程及其约束条件的研究就显得格外重要,其主要针对 3D 重建。2、主动视觉理论:主动视觉指观察者以确定或不定方式运动跟踪目标、感知对象的技术方法。在主动视觉中,观察者和目标物体也可同时运动,观察者的运动为研究目标的形状、距离和运动提供了附加条件,重要研究方向为目标跟踪,导弹拦截等。3、...
2021 - 07 - 26
PLC控制柜维护保养21法则一、为什么需要维护1、为了延长使用寿命;2、为了设备运行的稳定性;3、这也是5S的一种体现。二、不维护容易出现的问题电柜太脏会设备短路,打弧,烧坏设备;电柜风扇过滤网堵塞,散热不好会导致设备稳定性差;湿度过大会设备短路;某些大电流位置局部过热时间长了会烧坏设备。三、准备工作各种工具:螺丝刀,扳手,摇表,万用表,钳形电流表;吸尘器;热风枪,记号笔,锉刀等;备件:风扇过滤网,接触器辅助触头,继电器线圈,热缩管,导电膏。人员:不仅需要电工,还需要程序员。因为如果程序员参与,把软件的维护也做起来,可以提前预防消除很多软故障。四、注意事项做好规划,制定详细的步骤,按部就班。永远不要相信一拍脑袋一个主意,而是先把所有的方方面面考虑好,拿着规划一步一步做:1.  安全第一:拆卸设备之前先断电,注意安全;2.  清洁电柜的时候注意不要把灰弄到到处都是;3.&...
2021 - 07 - 20
机器视觉:系统不稳定性因素分析1 引言   机器视觉的研究始于20世纪50年代二维图像的模式识别[1],它起初被设计用来代替人眼从事检测识别的工作,可以大大提高检测的工作效率以及降低人眼疲劳带来的检测结果的不一致性。机器视觉检测发展至今,在许多方面已经发展到可以完成人眼难以完成的工作,如高精度的测量以及对特定产品的高速分级,还有利用红外线、紫外线、X射线等检测技术检测人类视觉无法检测到的事物[2]。但机器视觉系统设计的难点在于如何保证其可靠性与稳定性,无论从光源,相机等硬件上还是从图像处理软件上的设计,对机器视觉的稳定性都有重要影响。   2 机器视觉系统组成典型的机器视觉系统一般由图像的获取、图像的处理和分析、输出或显示三部分组成。按照视觉系统组成结构主要分为两大类:PC或板卡式机器视觉系统(PC-Based Vision System),以及嵌入...
2021 - 07 - 16
资深电气工程师总结的PLC最全编程算法,收藏备用!PLC编程算法(1):开关量PLC中无非就是三大量:开关量,模拟量,脉冲量。搞清楚三者之间的关系,你就能熟练的掌握PLC了。1,开关量也称逻辑量,指的是两个取值,0或1,ON或OFF。它是最常用的控制,对它进行控制是PLC的优势,也是PLC最基本的应用。开关量控制的目的是,根据开关量的当前输入组合与历史的输入顺序,使PLC产生相应的开关量输出,以使系统能按一定的顺序工作。所以,有时也称其为顺序控制。而采用顺序控制又分为手动,半自动或自动。而采用的控制原理有分散,集中与混合控制方式。2,模拟量是指一些连续变化的物理量,如电压,电流,压力,速度,流量等。PLC是由继电控制引入微处理技术后发展而来的,可方便及可靠地利用开关量控制。由于模拟量可转换成数字量,数字量只是多位的开关量,故经转换后的模拟量,PLC也完全可以可靠的进行处理控制。由于连续的生...
技术分享
 
2021 / 07 / 27
机器视觉检测技术的发展趋势随着工业制造技术及加工工艺的提高与改进,对检测手段、检测速度和精度提出了更高要求,使得机器视觉检测技术在各大行业广...
 
联系方式

深圳市龙华新区观澜第三工业区观中街5号联为科技园

1505031685@qq.com

15323438773 杨老师  

0755-29495142

预约免费试听
  • 您的姓名:
  • *
  • 公司名称:
  • 地址:
  • 电话:
  • *
  • 传真:
  • E-mail:
  • 邮政编码:
  • 留言主题:
  • 详细说明:
  • *
     
联为智能教育专业打造自动化教育产、学、研一体化平台,成为智能制造教育领导者。联为plc培训班精心打造专业培训实操基地,专门为学员研发一批教学设备,包括机器人学习教学连线,plc培训学习教学连线,工业机器人培训、plc编程培训等专业的教学设备,让学员真正理论实践一体,学以致用,从实践交流中体会知识的精髓,来一场完美的职业转身。
扫码学习
深圳联为智能教育感谢您的关注!
plc学习
在线直播间
plc培训班
小胡老师
Copyright ©2005 - 2013 深圳市联为智能教育有限公司


犀牛云提供企业云服务
5
电话
  • 15323438773
6
二维码
回到顶部