虚拟机器视觉系统中模拟光源的制作方法及系统与流程

1.本技术涉及机器视觉与虚拟现实技术领域，特别地涉及一种虚拟机器视觉系统中模拟光源的制作方法及系统。


背景技术：

2.虚拟现实是虚拟和现实相互结合。虚拟现实技术（vr）是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真切的物体，也可是我们肉眼所看不到的物质，通过三维模型表现出来。
3.视觉系统就是用机器代替人眼来做测量和判断。视觉系统是指通过机器视觉感光元件将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
4.传统的机器视觉系统如下图3所示，图3为传统的机器视觉系统的流程示意图。传统机器视觉系统由光学组件、图像采集单元以及计算机单元组成。
5.传统的机器视觉系统中的光源需要针对于配套的机器视觉系统进行装配选型等考虑，装配的机构根据不同的机器视觉系统需要对应更换，同一型号光源在不同机器视觉系统当中适用性较差。
6.传统光源根据不同的机器视觉系统，还需要针对其传送带上的支架布置方式进行打光方式以及角度等的调节，时间成本较高。传统的光学组件成本比较高昂，入门级别的如led环形光源其价格也需要数百上千，一旦毁坏，更换成本十分昂贵，因此其并不能够很好的适合教学。


技术实现要素：

7.为了解决或至少部分地解决上述技术问题，本技术提供了一种虚拟机器视觉系统中模拟光源的制作方法，所述虚拟机器视觉系统中包括放置工件的生产线，该方法包括以下步骤：获取灯源模型，对工件进行照射；获取工件上点反射到虚拟视点的光强，以得到物体光强，并确定相应的光源，调整所述灯源模型；响应于调节指令，调节所述灯源模型的阴影。
8.根据工件上点反射到虚拟视点的光强得到物体光强，确定所需要的光源，替换灯源模型中的光源，同时调节灯源模型的阴影，是灯源模型更好的符合实际；制作的灯源运用于虚拟机器视觉系统中，可以更好地进行实验与教学，方便用户确定所需要强度的光源。
9.可选的，所述获取灯源模型的步骤中包括：获取灯罩模型；响应于贴图指令，对所述灯罩模型贴图以形成所述灯源模型。
10.可选的，所述获取灯源模型的步骤还包括：利用height map获取所述灯罩模型上的每一个面片的法向量方向；选取所述灯罩模型的任一面上的三个点p1、p2和p3，根据p1、p2和p3获取切线空间的b、n、t三个方向向量，得出tbn矩阵；将所述tbn矩阵叠加到所述法向量方向上，得到每个所述面片上对应的法线及所述法线的坐标，根据所述法线的坐标，以提高所述面片的质感。
11.可选的，所述获取工件上点反射到虚拟视点的光强的步骤中，针对不透明的所述工件，获取所述工件上所有点发射到虚拟视点的光强，并累加得到所述虚拟视点中接收到的第一物体光强；针对透明的所述工件以及折射光的所述工件，获取所述工件上所有点发射到所述虚拟视点的光强、所有点折射的光强，并累加得到所述虚拟视点中接收到的第二物体光强。
12.可选的，利用公式（1）获取所述第一物体光强；
ꢀꢀꢀꢀꢀ
（1）其中，为环境光强度，为物体对环境光的反射系数，为入射光强度，为与物体相关的漫反射系数；l和n分别为物体上某一点指向所述光源的方向矢量和物体表面在点p法矢量，是与物体有关的镜面反射系数，视点方向矢量为v，镜面反射方向矢量为r，n为物体面粗糙程度，为入射光强度，为物体的反射系数。
13.可选的，利用公式（2）获取所述第二物体光强；
ꢀꢀ
（2）其中，为环境光强度，为物体对环境光的反射系数，为入射光强度，为与物体相关的漫反射系数；l和n分别为物体上某一点指向所述光源的方向矢量和物体表面在点p法矢量，是与物体有关的镜面反射系数，视点方向矢量为v，镜面反射方向矢量为r，n为物体面粗糙程度，式中为入射光强度，为物体的反射系数；为折射方向光强，为物体的透射系数。
14.可选的，所述方法还包括：利用虚拟现实引擎中的高清渲染模块布置和调节所述光源和所述灯源模型的匹配程度。
15.可选的，所述调节灯源模型的阴影包括：使用shadow mapping的阴影模型，根据相应光强的所述光源，计算所述光源距离物件表面像素的深度值。
16.可选的，所述调节灯源模型的阴影还包括：加入阴影偏移，以使所述阴影模型计算所述光源距离所述工件表面的每个面片像
素的深度值。
17.本技术还提供了一种虚拟机器视觉系统中模拟光源的制作系统，包括：获取模型，用于获取灯源模型，对工件进行照射；光强模块，用于获取工件上点反射到虚拟视点的光强，以得到物体光强，并确定相应的所述光源；调节模块，用于响应于调节指令，调节所述灯源模型的阴影。
18.有益效果：1.本技术提供的虚拟机器视觉系统中模拟光源的制作方法中，根据工件上点反射到虚拟视点的光强得到物体光强，确定所需要的光源，替换灯源模型中的光源，同时调节灯源模型的阴影，是灯源模型更好的符合实际；制作的灯源运用于虚拟机器视觉系统中，可以更好地进行实验与教学，方便用户确定所需要强度的光源。
19.2.本技术提供的虚拟机器视觉系统中模拟光源的制作方法，可以在虚拟现实引擎中去构造虚拟光源模拟真实光源的效果。该虚拟光源往往配套在虚拟机器视觉系统当中进行使用，结合虚拟机器视觉系统进行图像检测采集以及图像处理，模拟传统机器视觉系统的处理过程，达到实验以及教学的目的。
20.3.本技术中，虚拟机器视觉系统是通过虚拟仿真来模拟真实工业环境来培养开发者使用机器视觉设备来检测工业产品的流程和操作，培训开发者熟练使用机器视觉图像算法和进行光源选型、相机选型等内容；此外，作为光源放置在虚拟机器视觉系统上，照明虚拟机器视觉系统的传送带部分上的工件，将目标对象与被检测的目标对象分离开来，一定程度上克服环境光干扰。
21.4.在教学领域当中，可使用本技术的灯源模型，结合虚拟机器视觉系统进行实验以及教学，可让用户自行摆放虚拟光源至所需要的位置（免去复杂的装配和调试过程），选择合适的打光方式即可开始实验，使用门槛较低。
22.在虚拟机器视觉系统的软件当中移动虚拟光源或变更其照射角度即可完成更换打光方式，对于不同机器视觉教学过程实用性较高，并且可让用户直观感受参数的变化带来的影响，便于教学。本技术的虚拟光源相较于传统光学组件成本较低，且在虚拟机器视觉系统当中的模拟效果与真实效果较为接近。
23.5.1.本技术的灯源制作方法，适用范围广，可以配置到不同的虚拟机器视觉系统当中进行教学实验；可制化程度较高，可以根据不同需求调整光源的灯珠角度、光照强度、打光位置等参数，使成品较高程度贴合教学内容；调节简便，无需复杂装配，在虚拟机器视觉软件当中进行摆放装配；成本较低，直接进行利用虚拟现实引擎构建，免去生产该光源的成本，在虚拟机器视觉系统中可对光线效果进行模拟，模拟效果与真实光源较为接近，达到与传统机器视觉系统同样的教学效果。
附图说明
24.为了更清楚地说明本技术的实施方式，下面将对相关的附图做出简单介绍。可以
理解，下面描述中的附图仅用于示意本技术的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
25.图1为本技术实施方式提供的一种虚拟机器视觉系统中模拟光源的制作方法的流程示意图。
26.图2为本技术实施方式提供的一种虚拟机器视觉系统中模拟光源的制作系统的结构示意图。
27.图3为传统的机器视觉系统的流程示意图。
28.图4为本技术实施方式提供的虚拟机器视觉系统的结构示意图。
29.图5为适于用来实现根据本公开一实施方式的方法的计算机系统的结构示意图。
30.图6为本技术实施方式提供的模拟光源的光照实验图。
31.图7为本技术实施方式提供的虚拟机器视觉系统中模拟光源的制作方法中面片上三个点p1、p2和p3的示意图。
32.图8为本技术实施方式提供的虚拟机器视觉系统中模拟光源的制作方法中阴影失真示意图。
具体实施方式
33.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术示例性实施例中的附图，对本技术示例性实施例中的技术方案进行清楚、完整地描述。
34.在本技术的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
35.下面将结合本技术示例性实施例中的附图，对本技术示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.通常来说，虚拟机器视觉系统，该虚拟机器视觉系统包括：样品库、样品输入、相机、相机架、镜头、光源等vr组件。本技术正是结合虚拟现实技术模拟传统机器视觉系统当中的光学组件即光源。
37.而本技术人发现，传统的机器视觉系统实际运用的时候，一旦光源不合适，需要更换的话，成本十分昂贵，并不适合实验与教学。为此，本技术人提出了虚拟机器视觉系统中模拟光源的制作方法，通过获取灯源模型，对工件进行照射；获取工件上点反射到虚拟视点的光强，以得到物体光强，并确定相应的光源，调整所述灯源模型。使用本技术的灯源模型，结合虚拟机器视觉系统进行实验以及教学，可让用户自行摆放虚拟光源至所需要的位置。
38.下面结合具体实施方式，进行更加详细的说明。
39.实施方式一参见图1所示，图1为本技术实施方式提供的一种虚拟机器视觉系统中模拟光源的
制作方法的流程示意图。虚拟机器视觉系统中包括放置工件的生产线，该方法包括以下步骤：s1、获取灯源模型，对工件进行照射；步骤s1包括：s11、获取灯罩模型；s12、响应于贴图指令，对灯罩模型贴图以形成灯源模型。
40.在将贴图贴合于灯罩模型中，可以利用虚拟现实引擎中的高清渲染模块布置灯罩模型和光源的特殊材质，采用法线贴图进行模型贴图，从而形成灯源模型。
41.此外，本技术人发现，只是将贴图贴合于灯罩模型中，质感并不强。即并不能够做到完美匹配实际生活中的灯源，如日光灯。
42.为此，参加图7所示，图7为本技术实施方式提供的虚拟机器视觉系统中模拟光源的制作方法中面片上三个点p1、p2和p3的示意图。本技术第一实施方式中，步骤s1还包括以下步骤：s13、利用height map获取灯罩模型上的每一个面片的法向量方向；s14、选取灯罩模型的任一面上的三个点p1、p2和p3，根据p1、p2和p3获取切线空间的b、n、t三个方向向量，得出tbn矩阵；s15、将tbn矩阵叠加到法向量方向上，得到每个面上对应的法线及法线的坐标，根据法线的坐标，以提高面片的质感。
43.可以理解的是，在上述的方案中，利用height map获取模型上的每一个面片的法线坐标，在法线坐标的基础上，可以得到法向量方向。
44.然后针对立体的灯源模型，灯源模型不同的面片（每个面片本身的法向量不同）引入切线空间；随机取面片上的三个点p1、p2和p3算出切线空间的b、n、t三个方向向量（可以理解为每个面上的上、前、右方向），得出tbn矩阵，将tbn矩阵叠加到之前height map获取的面上的法向量方向。再次计算出每个面上对应的法线，得到叠加后的法线坐标，保证立方的物体每个面都能还原表面质感。
45.也就是说，相比于传统的贴图方法，本技术可以通过得到的tbn举证叠加到法向量方向上，计算出叠加后的法线坐标，针对不同的法线坐标，计算相应所需要的光强；从而保证了灯源模型的每个面片都能还原表面质感。
46.s2、获取工件上点反射到虚拟视点的光强，以得到物体光强，并确定相应的光源，调整灯源模型；本技术人在实际生产线发现，有些工件是透明的，有些是非透明的。而针对透明的工件、非透明的工件所反射的光强不同，所以通常其所需要添加的照射光强也是不同的。
47.另外，本技术人还发现，灯源模型中，会有很多物品折射光线。例如，灯罩反射光源所发出的光，这对光强也会存在一定的影响。
48.为了，步骤s2中包括：s21、针对不透明工件，获取工件上所有点发射到虚拟视点的光强，并累加得到虚拟视点中接收到的第一物体光强；其中，第一物体光强的计算公式如下：
ꢀꢀꢀ
（1）其中，为环境光强度，为物体对环境光的反射系数，为入射光强度，为与物体相关的漫反射系数；l和n分别为物体上某一点指向光源的方向矢量和物体表面在点p法矢量，是与物体有关的镜面反射系数，视点方向矢量为v，镜面反射方向矢量为r，n为物体面粗糙程度。
49.s22、针对透明工件以及存在折射光工件，获取工件上所有点发射到虚拟视点的光强、所有点折射的光强，并累加得到虚拟视点中接收到的第二物体光强。
50.计算第二物体光强的计算公式如下：
ꢀꢀ
（2）其中，为入射光强度，为物体的反射系数。
51.s3、响应于调节指令，调节灯源模型的阴影。
52.该步骤主要为调节灯源模型的阴影，使用shadow mapping的阴影模型，shadow mapping阴影模型是计算光源距离物件表面像素的深度值（即距离）。
53.但是实际调节时候，本技术人发现，容易易出现如图8所示的阴影失真情况，图8为本技术实施方式提供的虚拟机器视觉系统中模拟光源的制作方法中阴影失真示意图。阴影模型误以为光线的切平面（斜坡）与工件表面相交部分后的横线区域为阴影区域，实际上整个工件表面都应是被照亮的状态。
54.为了解决上述问题，可以加入阴影偏移，让模型认为工件表面的每个面片都在工件表面之上，需要被照亮。此时，shadow mapping阴影模型，便可以计算出光源距离工件表面的每个面片像素的深度值，并克服了是真的情况发生。
55.值得一提的是，本技术为了能够便捷地体现虚拟光源照明物体的光效果，选择了明场照明的打光方式，能够较为清楚的看到物件表面的情况。
56.而为了能够更加方便理解本技术第一实施方式的技术方案，参见图4、图6所示，图4为本技术实施方式提供的虚拟机器视觉系统的结构示意图，图6为本技术实施方式提供的模拟光源的光照实验图。下面以具体使用的角度进行描述：1）建立虚拟机器视觉系统，虚拟机器视觉系统包括支架2、生产线3。生产线用于运输工件，直接2可以通过螺栓或者直接焊接的方式连接于生产线3的一侧，支架2用于放置模拟光源。
57.可以理解地是，支架2、生产线3可以是通过三维软件建立的。
58.而三维软件可以是市场上直接购买得到的，所以此处不再对三维建模软件进行过多阐述；2）利用三维建模软件进行灯罩模型搭建；3）利用虚拟现实引擎中的高清渲染模块布置模型和光源的特殊材质，得到灯源模型1；同时可以采用常用的法线贴图进行模型贴图，利用height map获取模型上的每一个面片的法线坐标，根据不同的法线坐标可计算出不同的光强营造出模型表面的凹凸感；将制成的灯源模型1装设于支架2远离地面的一端，灯源模型1对运输中的工件进
行照射。
59.此外，在光源模型的上方，还装设有相机，通过相机采集工件受照射的情况。具体的光照情况参见图6所示。
60.4）用户可以根据不同工件，触发相应的指令，调节光强。系统根据工件是否为透明等，利用公式（1）、公式（2）得到相应的光强。根据相应的光强，可以更好光源，并调节阴影部分。从而方便，用户熟悉不同工件，所需要大致的具体类型、具体光强的光源。
61.5）根据相机拍摄的情况，用户方便更换不同类型的相机，以确定自己所需要相应类型的相机。
62.实施方式二本技术人发现，如果能够提高光源与灯罩模型的匹配度的话，可以使灯源模型更加逼真，仿真更加贴合于实际。
63.为此，本技术第二实施方式在第一实施方式的基础上进行改进，其改进之处还包括：利用虚拟现实引擎中的高清渲染模块布置和调节光源和灯罩模型的匹配程度。
64.实施方式三参见图2所示，图2为本技术实施方式提供的一种虚拟机器视觉系统中模拟光源的制作系统的结构示意图。本技术第三实施方式提供了该系统，包括：获取模型401，用于获取灯源模型，对工件进行照射；其中，获取灯源模型的步骤中包括：获取灯罩模型；响应于贴图指令，对灯罩模型贴图以形成灯源模型。该获取模型401还用于：利用height map获取灯罩模型上的每一个面片的法向量方向；选取灯罩模型的任一面上的三个点p1、p2和p3，根据p1、p2和p3获取切线空间的b、n、t三个方向向量，得出tbn矩阵；将tbn矩阵叠加到法向量方向上，得到每个面上对应的法线及法线的坐标，根据法线的坐标，以提高面片的质感。
65.光强模块402，用于获取工件上点反射到虚拟视点的光强，以得到物体光强，并确定相应的光源，调整灯源模型；还用于：获取工件上点反射到虚拟视点的光强的步骤中，针对不透明工件，获取工件上所有点发射到虚拟视点的光强，并累加得到虚拟视点中接收到的第一物体光强；利用公式（1）获取第一物体光强；
ꢀꢀꢀꢀꢀ
（1）其中，为环境光强度，为物体对环境光的反射系数，为入射光强度，为与物体相关的漫反射系数；l和n分别为物体上某一点指向光源的方向矢量和物体表面在点p法矢量，是与物体有关的镜面反射系数，视点方向矢量为v，镜面反射方向矢量为r，n为物体面粗糙程度，为入射光强度，为物体的反射系数。
66.针对透明工件以及折射光的工件，获取工件上所有点发射到虚拟视点的光强、所有点折射的光强，并累加得到虚拟视点中接收到的第二物体光强。
67.利用公式（2）获取第二物体光强；
ꢀꢀ
（2）其中，为环境光强度，为物体对环境光的反射系数，为入射光强度，为与物体相关的漫反射系数；l和n分别为物体上某一点指向光源的方向矢量和物体表面在点p法矢量，是与物体有关的镜面反射系数，视点方向矢量为v，镜面反射方向矢量为r，n为物体面粗糙程度，式中为入射光强度，为物体的反射系数；为折射方向光强，为物体的透射系数。
68.调节模块403，用于响应于调节指令，调节灯源模型的阴影，还用于：使用shadow mapping的阴影模型，计算光源距离物件表面像素的深度值；加入阴影偏移，以使阴影模型计算光源距离工件表面的每个面片像素的深度值。
69.图5为适于用来实现根据本公开一实施方式的方法的计算机系统的结构示意图。
70.如图5所示，计算机系统600包括处理器（cpu、gpu、fpga等）601，其可以根据存储在只读存储器（rom）602中的程序或者从存储部分608加载到随机访问存储器（ram）603中的程序而执行上述附图所示的实施方式中的部分或全部处理。在ram603中，还存储有系统600操作所需的各种程序和数据。处理器601、rom602以及ram603通过总线604彼此相连。输入/输出（i/o）接口605也连接至总线604。
71.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
72.特别地，根据本技术的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本技术的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
73.附图中的流程图和框图，图示了按照本技术各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指
令的组合来实现。
74.描述于本技术实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
75.作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述节点中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本技术的方法。
76.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。