预约试听:15323438773
  


技术分享

News

机器视觉:机器的机器视觉"需要怎样的视觉感知能力

日期: 2017-07-25
浏览次数: 211

机器视觉:机器的机器视觉"需要怎样的视觉感知能力

无论明与暗,无论光与影,也无论万水千山还是沧海桑田,在我们的镜头里都是数字与数据。让机器睁开眼睛看世界……

前期讨论了“机器的机器视觉”研究的最终目标和实现路径。其中,“机器的机器视觉”的最终目标概括为以下三项:

1、被动式、实时、高精度、低功耗的三维图像生成能力;

2、被视物体和场景的空间及运动的快速感知和智能识别能力;

3、所见即所得的自动视觉学习、归纳、总结的能力。

以上三项目标的实现路径为按照前后顺序,依次完成。同时,前文还重点讨论了机器视觉的三维图像生成能力是“机器的机器视觉”实现的前提和必要条件。

既然三维图像生成能力是“机器的机器视觉”实现的前提和必要条件,那现有的机器视觉的三维图像生成能力能否满足“机器的机器视觉”的需要,如果不满足采用什么样的技术方式和技术路线能够实现“机器的机器视觉”的三维图像生成能力?“机器的机器视觉”的三维图像生成能力的最终目标是什么?以上问题就是本篇重点讨论的问题。

 

1“机器的机器视觉”的三维图像生成能力的目标

按照前期的思路,在谈论“机器的机器视觉”的时候,首先用人眼作为参照,给“机器的机器视觉”提出了三个远大的理想和奋斗目标,所以,在讨论“机器的机器视觉”的三维图像生成能力的时候,我们还是以人眼作为参考,给它订立一个相对容易实现的小目标。我们认为,“机器眼”或称“机器的机器视觉”在视觉生成方面的努力方向和奋斗目标应该像智慧生物的眼睛一样,具备以下几项功能:

1、成像过程的自动化;

“机器眼”的三维成像过程必须实现高速全自动,该过程包括:图像采集、图像预处理、图像传输、图像三维运算、图像显示、数据存储等,以上过程的自动化是一个复杂的系统工程,可能涉及的技术包括:自动调焦、自动曝光控制、图像预处理和自适应算法、图像压缩、高速采集和传输通讯、三维自动生成、图像存储等等,以上过程的全自动,需要付出极大努力。同时,成像过程的自动化还包含另一层更重要的意思,就是无论何时、无论何地、无论拍的对象是啥、无论任何拍照环境,都能自动完成三维成像。

2、生成数据的三维化;

“机器眼”的最终输出数据一定是包含三维尺寸的数据或表示三维空间几何的结构化数据,同时,还需要有表面纹理特征的相关数据,以及其它与视觉相关的数据。只有基于三维数据的“机器眼”,才能在后续的视觉识别和视觉理解方面最终达到智慧生物的水平。

3、生成过程的实时化;

“机器眼”的三维成像过程的采样速度要求应该不低于人眼的每秒24帧,目前,二维图像的技术指标已经超过该指标,但在三维快速成像和建模方面还有很大差距。

 4、生成方法的被动化;

“机器眼”的三维成像方式应该像智慧生物一样采用被动成像方式,在智慧生物中,除了在完全黑暗环境下生存的蝙蝠采用主动超声波进行空间和物体的识别,绝大多数生物都采用简单可靠的被动光学成像方式形成视觉,其道理在于被动成像具有低能耗、结构简单、隐蔽性好的特点,而机器视觉技术当前还很难做到这一点。以无人汽车为例,目前广泛采用多线激光雷达进行空间感知,这种方式容易对外界产生干扰,相互之间也会产生干扰,同时设备昂贵复杂。对于“机器眼”采用电磁波、激光、红外光等主动成像方式用于三维成像时,可以在一些特定场合下作为被动成像的一个替代,最佳选择应该还是首选被动成像。

5、生成算法的通用化;

“机器眼”在三维成像时,为了满足对全自动成像的要求,自动适应各类环境和光照条件,需要三维运算实现通用化,在不同场景、不同被视物、不同光照条件下都能够自动完成三维成像。就像工业传感器一样,只要接上电源,就可以通过标准输出接口,采集到传感器的测量数据,无需另外编制专用程序和采用其它各类不同的辅助措施完成三维成像。

 6、生成结构的小型化。

“机器眼”的三维成像系统,需要实现集成化和小型化。目前,手机拍照已经基本实现集成和小型化,但是还未具备三维图像的采集和输出功能。一般利用平面图像进行三维空间解算或采用扫描或结构光方式进行三维运算,需要耗费大量运算资源,基本都需要与台式计算机或服务器相连接,前端图像采集和后端三维运算设备硬件庞杂,体积大,难以实现小型化。现在为加快运算速度,降低对服务器资源的依赖,流行的做法是采用GPU、FPGA等芯片进行并行运算,可有效减少硬件资源。未来由于三维运算的通用算法出现,为开发专业三维运算芯片提供了有利条件,有了三维运算芯片,就可以实现“机器眼”的三维嵌入式运算和结构的小型化。

 

以上6项要求和目标,是实现“机器眼”的必由之路,在技术飞速发展的今天,这六项要求有些已经不同程度的局部实现,还有些经过努力可以在不远的将来得到实现。上述6项要求的核心是三维运算的通用化,当实现了这个主目标后,其它次级目标就会相对容易完成和实现。

 

2现有机器视觉的三维图像生成能力综述

既然三维运算实现通用化是“机器眼”或“机器的机器视觉”获得三维感知的必要条件,我们就需要分析一下现有机器视觉技术在三维感知上具有哪些技术手段?这些技术存在哪些技术上的优势和短板?我们需要选择哪条技术路线可以实现三维运算的通用化? 

 

目前,机器视觉技术可以产生三维数据的大致有以下几种手段:

 

⒈  来自激光测距原理的激光扫描仪和激光雷达

 

该类技术和应用已十分成熟,例如,激光测距、激光扫描、激光雷达等,这些设备的三维生成是基于单点位移传感器的距离测量,同时依靠高速旋转和高速数据采集而产生三维数据,用于物体外部轮廓测量和距离测量等,广泛应用于逆向工程、三维检测和重现、无人汽车、自动测量等。

 

激光扫描仪和激光雷达在三维生成方面的缺点是对被测物不能从整体上快速全面的把握其形貌特征,扫描时间长,不能适应动态测量的要求,数据量大,三维空间运算需要耗费大量计算资源,且大多需要人工干预,难以满足自动检测和在线检测的要求。由于激光扫描仪和激光雷达三维点云数据量大,占用大量存储空间,一般用于精细三维建模,不适用于及时三维识别,不能实现快速匹配和三维数据检索。

⒉    光截图三维测量技术

光截图三维测量技术是通过线激光建立激光平面,将三维问题变为二维问题降维进行解决。该技术的测量过程是由一个线激光发生器产生一个激光平面,通过与该平面成一定角度布置的数字摄像机成像后,对图像进行二值化处理,得到被测物体与该激光线交线的图像,该激光平面与二维图像像素之间具有唯一的对应关系,通过标定可实现该物体激光切线的三维空间尺寸的精确测量。

该类检测技术适用于特定场合和特定物体的高速在线三维尺寸测量,其在三维生成方面的缺点是只针对独立的激光平面,不能整体把握被视物的三维特征,使用范围和测量范围有限,需要提前进行标定,对测量物和测量环境有特定的要求,激光对被测物有干扰。

⒊    双目视觉测量技术

人眼之所以能够快速判断被视物体的远近和大小,是由于人类拥有固定间距同时可动态调焦调角度的两只眼睛,同时还拥有一个图像处理运算速度目前最快速的计算机都难以企及的大脑的缘故。如果有两只固定距离和焦距的相机对同一物体同时成像,其两个图像上的成像点位置与被测物上的测量点,存在着唯一的对应关系,按照两个图像的之间的视差进行计算就可以获得被视物测量点的三维空间位置坐标,这就是双目视觉测量原理。目前3D电影基本采用该方法进行拍摄和立体重现。

使用双目相机进行三维生成目前是最热门的研究项目,该技术最早来源于航空测量的相关技术,在航测过程中,相机相当于在空中进行平行移动,对于连续拍摄的两张图像来说,就相当于平行双目相机测量系统,但在实际三维生成过程中,一般图像匹配运算量大,且双目匹配的匹配点存在大量和普遍的歧义性,且无法自动消除,需要人工手动干预来实现三维建模,该方法无法实现三维的自动生成。

 

使用双目三维测量比激光测量来说有一些优点,该技术可以从整体上对被测物三维空间结构进行把握,测量属于被动式测量,对环境无不良干扰和扰动,在三维生成后,被测物的整体轮廓和细部特征相对误差小,而且,可以从纹理上对被测物进行区分,这些特点是单点激光、结构光以及其它依靠单点激光的三维设备所不具备的。

 4、双目视觉+结构光等三维测量技术

为了消除双目匹配的歧义性,实现双目视觉的三维自动生成,目前,许多厂家进行了研究,利用结构光与双目视觉相结合的方式,解决了匹配的歧义性问题,实现了三维自动生成。常用的结构光一般采用远红外不可见光,或其它安全级别的激光。这样的结构光在被视物表面形成便于自动双目匹配的光斑,极大地消除了双目匹配的歧义,实现了高速自动的深度检测和三维检测。

 

还有就是采用激光、红外线飞行时间TOF进行三维测量的设备,采用多次不同焦距曝光的三维测量的设备以及采用其它方式的三维测量的设备。以上这些方式都是近来逐步发展起来的三维自动生成的技术方法,这些方法都是为了解决三维生成的实时性和通用性问题,具有一定的技术先进性和领先性。

 

但如果用前述“机器眼”三维生成的六项目标进行对照的话,这些技术还存在一些明显的缺陷和问题。产生问题的主要原因是以上方法都是采用主动成像的方式,由于采用激光或远红外光等作为主动成像的辅助手段而带来一系列的问题。

 

首先,采用结构光等主动成像方式在室外阳光下使用时,可对成像造成强烈干扰,不能满足成像质量要求;其次,这些方式要求被测物对结构光或激光有良好的反射性能,对于吸光面、大曲面、强反射光滑面,不能形成良好反射,影响检测效果;第三,当激光功率太小时,测量深度会减小,测量精度会下降,当激光功率加大时,又容易造成使用者或被测物的伤害;第四,采用结构光等主动成像方式只能是在结构光照到的位置进行检测,对于结构光之间的空隙,无法形成三维测量数据,所以,该类方法无法做到对被测物细部特征的三维成像;第五,由于结构光照到的部位和其它照不到的位置在成像时的高对比度要求,使被测物的颜色和纹理无法同步测量和展示。

 

分析以上几种三维成像方式,采用基于双目视觉测量技术中的被动式纯光学成像的技术,是最符合“机器眼”三维成像目标要求的技术。在该技术的基础上,如何有效克服歧义性,实现全自动三维成像,是三维成像技术亟待解决的问题。

 

3通用式三维即时成像技术

 

北京清影机器视觉技术有限公司通过完全自主创新,自行开发完成“通用式三维即时视觉传感技术”,研制成功具有通用视觉的三维“多目慧眼”。目前,“多目慧眼”首先实现的是自动三维“感觉”,在秒级以内自动获得被视场景的三维影像,其下步的目标就是“知道”。我们今后的目标,就是依托“多目慧眼”的自动三维视觉感知能力,最终实现“机器的机器视觉”。

 

(多目慧眼视频呈现效果)

“通用式三维即时视觉传感技术”是在综合分析了现有三维图像技术线路的基础上,采用基于双目视觉测量技术中的纯光学成像原理,采用多相机矩阵的硬件结构,通过空间几何分析对矩阵相机之间的图像进行关联匹配运算,从而自动消除匹配过程的歧义性,实现高速、通用、被动的三维成像。

 

“通用式三维即时视觉传感技术”已经基本实现了“机器眼”的三维自动感知的六项目标,是实现“机器的机器视觉”的最佳可行之路。

 

News / 推荐新闻 More
2020 - 09 - 08
触摸屏跟PLC通讯1、为什么我做的画面中文不能正常显示,显示的却是乱码?答:这种情况一般都是由于没有选择正确的中文字体造成的,只要选择一下中文字体就可以了,具体操作步骤如下: (1)  在EasyBuilder软件中选择“选项/语言/东方语言”; (2) 在“编辑/系统参数/编辑器/选择字体”,在选择字体对话框中选择一个需要的中文字体,比如宋体等等。并且选择字符集为“Chinese-GB2312”。(3) 存盘,编译,离线模拟,你就可以看到中文字体显示正常了。2、为什么触摸屏下载后出现屏幕无显示的情况呢?怎么解决这个问题呢?答:这很可能是你的触摸屏的硬件版本跟你使用的软件版本不匹配造成的。eView MT500系列触摸屏从2004年2月份就开始陆续将CPU由原来的133MHZ升级到200MHZ,这样硬件版本号由原来的MT5***V3升级为现在的MT5***V4。这样相应的软件版本也由原来的...
2020 - 09 - 07
关于自动化/控制本科学习的思考本文内容:0 为什么写这个主题1 自动化是学什么的1.1 控制问题1.2 从课程设置展开1.3从机器人学展开2 理论与实践的统一2.1 主观思考2.2 实践过程对理论学习的促进3 理论基础与仿真分析3.1 运动预测的例子3.2 串级控制的例子4 总结0 为什么写这个主题在大一第一个学期我就有了些关于理论学习与课外实践的统一性的思考,由于对自己的思考和结论并不自信,就只跟身边几个比较要好的同学交流过。这段时间看了李崇老师的关于自动化/控制的学习经历和经验分享,和东北大学action实验室发布在B站的控制组交流会,很有共鸣,再加上马上开学大二了,也算给自己不完整的大一做一个总结,故打算写一写自己对自动化专业的认识,还有关于理论与实践统一性的思考,以及理论与仿真在我的实践中的运用与我的思考。1 自动化是学什么的我认为认识自动化专业要从本科的课程设置入手。以我的学校哈...
2020 - 09 - 05
DCS/PLC控制系统八大紧急故障处理预案'控制系统是工厂自动化系统的重要组成部分,一旦出现失灵,轻则导致机组非停或可能造成的重大设备损坏事故,影响生产;重则出现安全事故。为了及时、有效、迅速地处理自动控制系统失灵故障,本文列举了DCS/PLC控制系统八大紧急故障处置预案方法,帮助仪表人加强自控系统维护。'在日常控制系统维护中,我们经常会遇到:系统电源全部失去;操作员站全部失去监控且无后备监视手段;控制系统网络瘫痪;控制系统冗余服务器故障;系统单路电源失去;网络失去冗余;系统重要I/O设备(模件、模块)故障;服务器失去冗余;等突发状况,那么针对这几种突发状况,我们应该如何应对呢?按照“安全第一、预防为主、综合治理”的方针,坚持预防治理相结合的原则,以危急事件的预测、预防为基础,以对危急事件过程处理的快捷、准确为核心,以全力保证人身、设备安全为目标,以建立危急事件的长效管理的...
2020 - 09 - 04
新手PLC项目调试七步法!必须收藏了!联为教育电气工控自动化专业专注分享!很多电气的新手在做完电气控制柜以及PLC程序等设计环节后,不清楚调试应如何开始?或者一些人因为不适当的调试方法导致了PLC烧毁等等问题,那么设计完的电气系统应该如何调试?可依照以下七步。一、按照图纸检查回路(未送电状态下)一般PLC系统的图纸包含柜内图纸和柜外图纸两部分;柜内图纸指柜子内部的接线图;柜外图纸是所有接出电气柜的接线图。这一部分需要检查的是:1、图纸设计是否合理,包括各种元器件的容量等等。2、根据图纸检查元器件是否严格按照图纸连接。在这一过程中,最需要注意的地方就是检查电源1、确保回路没有短路。2、确保强弱电没有混合到一起因为PLC电源为24v,一旦因为接线错误导致220V接进PLC里,很容易将PLC或者拓展模块烧毁。二、检查PLC外部回路,也就是俗称的“打点”电源确认完毕后送电,测试输入输出点,这就是俗...
 
联系方式

深圳市龙华新区观澜第三工业区观中街5号联为科技园

1505031685@qq.com

15323438773 杨老师  

0755-29495142

预约免费试听
  • 您的姓名:
  • *
  • 公司名称:
  • 地址:
  • 电话:
  • *
  • 传真:
  • E-mail:
  • 邮政编码:
  • 留言主题:
  • 详细说明:
  • *
     
联为智能教育专业打造自动化教育产、学、研一体化平台,成为智能制造教育领导者。联为plc培训班精心打造专业培训实操基地,专门为学员研发一批教学设备,包括机器人学习教学连线,plc培训学习教学连线,工业机器人培训、plc编程培训等专业的教学设备,让学员真正理论实践一体,学以致用,从实践交流中体会知识的精髓,来一场完美的职业转身。
扫码学习
深圳联为智能教育感谢您的关注!
在线直播间
小胡老师
Copyright ©2005 - 2013 深圳市联为智能教育有限公司


犀牛云提供企业云服务
5
电话
  • 15323438773
6
二维码
回到顶部