一种工业相机自动ROI设置方法与流程

一种工业相机自动roi设置方法
技术领域
1.本发明涉及工业检测的技术领域，具体而言，涉及一种工业相机自动roi设置方法。


背景技术：

2.随着视觉技术的发展，图像的分辨率越来越高，对于工控机性能的要求也越来越高。各家视觉公司纷纷采用各种方案排除无效数据，只保留有效数据进行检测。如常见的roi选取，高斯金字塔，降采样，移动目标追踪。
3.作为相机厂商，需要保证有效数据不存在损失，例如金子塔和降采样均会导致有效信息丢失，同时复杂的移动目标追踪算法对于硬件的要求太高，需要一种能够快速通用，计算量低的roi设置方法。


技术实现要素：

4.本发明的目的在于：提供一种快速通用，能够识别多个roi的工业相机自动roi设置方法。
5.本发明的技术方案是：一种工业相机自动roi设置方法，该方法包括：
6.s1、使工业相机镜头对准传送带上表面，采集一张任意曝光时间、不包含测试物体的传送带图像作为标定图像，记录标定图像的行均值、列均值和曝光时间作为标定值；
7.s2、启动传送带后，传送带上的测试物体进入工业相机视野，工业相机按一定帧数持续采集图像作为待测图像，并记录所有待测图像对应的行均值、列均值和曝光时间；
8.s3、将待测图像的行均值与标定图像行均值相减得到行变化曲线，将待测图像的列均值与标定图像列均值相减得到列变化曲线；
9.s4、搜索上述行变化曲线和列变化曲线的所有拐点作为roi的边角点；
10.s5、根据步骤s4得到的所有roi边角点将图像裁剪为多个矩形区间，最后将所有矩形区间合并为一个大矩形作为roi输出。
11.上述任一项技术方案中，进一步地，根据所有待测图像对应的曝光时间exposure
current
，依次对标定图像的行均值rowmean
std
和列均值colmean
std
进行灰度矫正得到新行均值rowmean
std_new
和新列均值colmean
std_new
。
12.上述任一项技术方案中，进一步地，灰度矫正中按照下式计算新行均值rowmean
std_new
和新列均值colmean
std_new
：
[0013][0014][0015]
其中j为行数，i为列数。
[0016]
上述任一项技术方案中，进一步地，步骤s3包括：对待测图像的行均值rowmean
current
与其对应的标定图像新行均值rowmean
std_new
相减得到行变化曲线rowmeancurve[j]＝abs(rowmean
current
[j]-rowmean
std_new
[j])，对待测图像的列均值colmean
current
与其对应的标定图像新列均值colmean
std_new
相减得到列变化曲线colmeancurve[i]＝abs(colmean
current
[i]-colmean
std_new
[i])。
[0017]
上述任一项技术方案中，进一步地，搜索拐点行变化曲线和列变化曲线的所有拐点的步骤包括：使用局部开窗的判定方式依次遍历每一个点，窗的大小设为2n个点，n为任意整数，宽度阈值设定为thres
wid
，拐点阈值设定为thres
area
，计算前n个点的面积作为左面积area
left
，计算后n个点的面积作为右面积area
right
，寻找满足的点作为roi起始点point
start
，寻找满足的点作为roi终止点point
end
，判断point
end-point
start
≥thres
wid
是否满足，满足时判定当前roi有效，否则废弃继续寻找。
[0018]
上述任一项技术方案中，进一步地，步骤s5包括：将行变化曲线找到的x个有效roi的2x个边角点作为横坐标，将列变化曲线找到的y个有效roi的2y个边角点作为纵坐标，上述边角点将图像裁剪出xy个矩形区间，最后将所有矩形区间合并为一个大矩形作为roi输出。
[0019]
本发明的有益效果是：
[0020]
本发明中的技术方案采用计算行列变化曲线的方式，能够同时采集复数roi区间，为了适应工业相机的输出格式，将复数roi区间合并为一个矩形roi区间输出；fpga仅记录每一帧待测图像的行列均值，缓存占用极小，计算量低。
附图说明
[0021]
本发明的上述和附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0022]
图1是根据本发明的一个实施例的工业相机自动roi设置方法的示意流程图；
[0023]
图2是根据本发明的一个实施例的工业相机自动roi设置方法的图像采集示意图；
[0024]
图3是根据本发明的一个实施例的工业相机自动roi设置方法的行曲线拐点示意图；
[0025]
图4是根据本发明的一个实施例的工业相机自动roi设置方法的拐点寻找流程图；
[0026]
图5是根据本发明的一个实施例的工业相机自动roi设置方法的roi裁剪示意图；
[0027]
图6是根据本发明的一个实施例的工业相机自动roi设置方法的roi合并示意图。
具体实施方式
[0028]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互结合。
[0029]
在下面的描述中，阐述了很多具体细节以便于充分理解本发明，但是，本发明还可
以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0030]
如图1所示，本实施例提供了一种工业相机自动roi设置方法，该方法包括：
[0031]
s1、如图2所示，使工业相机镜头对准传送带上表面，采集一张任意曝光时间、不包含测试物体的传送带图像作为标定图像，记录标定图像的行均值rowmean
std
、列均值colmean
std
和曝光时间exposure
std
作为标定值。
[0032]
具体地，采集到标定图像后，通过工业相机fpga计算其行均值rowmean
std
、列均值colmean
std
和曝光时间exposure
std
存放入相机内存中。
[0033]
s2、启动传送带后，传送带上的测试物体进入工业相机视野，工业相机按一定帧数持续采集图像作为待测图像，并记录所有待测图像对应的行均值rowmean
current
、列均值colmean
current
和曝光时间exposure
current
。
[0034]
具体地，采集的待测图像包含传送带和待测物体的图像，fpga会实时统计当前帧待测图像的行均值和列均值，这样fpga的缓存仅为一行加一列的长度。
[0035]
本实施例提供了一种下一帧roi预测方法，检测物体运动较快时，用户可以将检测物体的预测速度写入工业相机，工业相机采取速度矢量标定的方式，计算仿射变化矩阵m，将上一帧得到的所有roi边角点坐标乘以m并连线即可得到本帧的检测范围；此方法节省算力，加快了处理速度；检测物体运动较慢时，用户不写入检测物体的预测速度，相机默认使用常规的图像运动追踪方式，在上一帧roi区域的四周上扩大一定范围作为检测区域。
[0036]
s3、根据所有待测图像对应的曝光时间exposure
current
，依次对标定图像的行均值rowmean
std
和列均值colmean
std
进行灰度矫正得到新行均值rowmean
std_new
和新列均值colmean
std_new
；将待测图像的行均值rowmean
current
与其对应的标定图像新行均值rowmean
std_new
相减得到行变化曲线rowmeancurve[j]＝abs(rowmean
current
[j]-rowmean
std_new
[j])，将待测图像的列均值colmean
current
与其对应的标定图像新列均值colmean
std_new
相减得到列变化曲线colmeancurve[i]＝abs(colmean
current
[i]-colmean
std_new
[i])，其中j为行数，i为列数。
[0037]
具体地，工业相机在实际使用过程中由于不同的检测目标的灰度值有差异，所以会使用不同的曝光参数，产生不同的曝光时间，这会导致实时采集的背景图像与标定的背景图像不一致，所以需要对行列均值进行矫正：
[0038][0039][0040]
经过矫正，标定图像的背景灰度会与该帧待测图像的背景灰度保持一致，保证后续操作的准确性。
[0041]
s4、搜索上述行变化曲线和列变化曲线的所有拐点作为roi的边角点；使用局部开窗的判定方式依次遍历每一个点，窗的大小设为2n个点，n为任意整数，宽度阈值设定为thres
wid
，拐点阈值设定为thres
area
，计算前n个点的面积作为左面积area
left
，计算后n个点
的面积作为右面积area
right
，若找到分别满足和的两点，分别定义为roi起始点point
start
和roi终止点point
end
，当point
end-point
start
≥thres
wid
判定当前roi有效，否则废弃继续寻找。
[0042]
如图3所示，实际场景中存在光源不稳定、被测物反光等因素，所计算出的行列变化曲线存在许多噪声；如图4所示，在判定roi起始点point
start
后再寻找与其对应的roi终止点point
end
，将两者作为组合判断两者之差是否大于宽度阈值thres
wid
。
[0043]
s5、将行变化曲线找到的x个有效roi的2x个边角点作为横坐标，将列变化曲线找到的y个有效roi的2y个边角点作为纵坐标，其中，奇数个边角点是roi起始点point
start
，偶数个边角点是与其前一个边角点对应的roi终止点point
end
，上述成对的边角点将图像裁剪出xy个矩形区间并提取出来，最后将所有提取的矩形区间合并为一个大矩形作为roi输出。
[0044]
如图5所示，本实例中得到c1、c2、c3和c4四个横坐标边角点，r1、r2、r3和r4四个纵坐标边角点，其中，c1、c3、r1和r3是roi起始点point
start
，c2、c4、r2和r4是roi终止点point
end
，c1和c2、c3和c4、r1和r2、r3和r4两两成对，通过这八点可切割出四个有效roi区间；如图6所示，将本实施例得到的四个有效roi区间裁剪提取出来，再按照原先的位置顺序粘连合并为一张图像输出，作为当前帧待测图像的roi。
[0045]
综上所述，本发明提出了一种工业相机自动roi设置方法，包括：
[0046]
s1、使工业相机镜头对准传送带上表面，采集一张任意曝光时间、不包含测试物体的传送带图像作为标定图像，记录标定图像的行均值、列均值和曝光时间作为标定值。
[0047]
s2、启动传送带后，传送带上的测试物体进入工业相机视野，工业相机按一定帧数持续采集图像作为待测图像，并记录所有待测图像对应的行均值、列均值和曝光时间。
[0048]
s3、将待测图像的行均值与标定图像行均值相减得到行变化曲线，将待测图像的列均值与标定图像列均值相减得到列变化曲线。
[0049]
s4、搜索上述行变化曲线和列变化曲线的所有拐点作为roi的边角点。
[0050]
s5、根据步骤s4得到的所有roi边角点将图像裁剪为多个矩形区间，最后将所有矩形区间合并为一个大矩形作为roi输出。
[0051]
本发明中的步骤可根据实际需求进行顺序调整、合并和删减。
[0052]
尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。