一种多线扫描图像传感器的高速频闪图像处理系统及方法与流程

1.本发明涉及图像采集处理技术领域，尤其涉及一种多线扫描图像传感器的高速频闪图像处理系统及方法。


背景技术：

2.工业线扫描相机在图像采集中具有重要地位，目前市场常用的工业线扫描相机多为单线扫描相机，但在实际的检测扫描操作中，单线相机获取的图像信息往往会因为光源等问题产生信息缺失、图像信息不够充足的问题。因此，采用频闪技术可以解决光源产生的信息缺失问题，例如，专利文献cn111899238a公开了一种双光源图像的缺陷检测方法、装置、介质及电子设备，通过获得频闪双光源图像，再将该频闪双光源图像通过奇偶行像素进行拆分，获得不同光源下的图像以进行缺陷检测，但是该方法仅适用于普通相机，并不适用于线阵相机。
3.频闪技术在机器视觉领域已经广泛使用，采用这项技术，可以实现一个相机分时获取不同光路的图像，节省检测设备的成本和安装空间，降低系统的复杂度。线阵相机的频闪是通过行曝光和图像输出通道分离与不同光源分时点亮进行同步控制实现的。目前，线阵相机的频闪存在着以下问题，一是频闪下每个通道的行频低，如一个最高行频为100khz的相机，双光频闪下每个通道只有50khz的频率；二是光源的开关速度，在高速频闪下高速开关是一个巨大的挑战，特别是驱动大负荷（或大电流）的led光源时；三是因为采用分时曝光，线阵相机检测的材料在检测时一般是持续运动的，每一道光路获取的图像其实是不完整的，如双光频闪下，一道图像的曝光区域通常是被测材料的一半面积，这样像数级或亚像数级的材料特征可能在一道光路图像下不能反映。


技术实现要素：

4.本发明提供了一种多线扫描图像传感器的高速频闪图像处理系统及方法，能够降低图像传感器行频和光源频闪频率，单通道图像无缝连续形成完整图像。
5.一种多线扫描图像传感器的高速频闪图像处理系统，包括多线扫描图像传感器、多个光源、触发控制器以及fpga模块；所述触发控制器接收外部的行触发信号，并根据所述行触发信号生成曝光控制信号和多路光源驱动信号，所述多路光源驱动信号分别驱动多个光源依次点亮和关闭，在每个光源点亮时所述多线扫描图像传感器根据所述曝光控制信号采集运动中的被测物图像并多条输出行图像数据，同时触发控制器生成对应的光通道号，将点亮光源的光通道号、所述曝光控制信号以及行图像数据传输至所述fpga模块，所述fpga模块根据所述曝光控制信号进行曝光跟踪并记录光通道号，匹配光通道号对应光源下的各行图像数据，对相应的行图像数据进行延时输出和直接输出，获得被测物同一位置在不同光源下的图像数据。
6.进一步地，所述多线扫描图像传感器的扫描线数大于或等于2。
7.进一步地，所述光源的数量与多线扫描图像传感器的扫描线数相同；被测物的纵
向分辨率为β*d，其中，β为所述多线扫描图像传感器的放大倍数，d为多线扫描图像传感器相邻扫描线的行间距，且各相邻扫描线的行间距相等。
8.进一步地，所述多线扫描图像传感器采用相同的目标亮度做平场校正。
9.进一步地，所述fpga模块包括查找模块和k个曝光跟踪模块，所述查找模块接收到光通道号和曝光控制信号时，逐个查找空闲的所述曝光跟踪模块，并在空闲的曝光跟踪模块中存储所述光通道号并设置低定时器值和高定时器值，将该曝光跟踪模块的状态设置为忙碌并开始进行倒计时，当查找模块接收到行图像数据时，查找低定时器值为0的处于忙碌状态的曝光跟踪模块，将该曝光跟踪模块中的光通道号和接收到的行图像数据匹配输出，之后将该曝光跟踪模块的状态设置为空闲。
10.进一步地，曝光跟踪模块的数量k值通过以下公式确定：k=（t
p
dntt
p
）/t
line
1；其中，t
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔，dntt
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔的偏差，且2*dntt
p
小于最小行周期，t
line
为多线扫描图像传感器的最小行周期。
11.进一步地，所述低定时器值的初始值为t
p-dntt
p
，所述高定时器值的初始值为t
p
dntt
p
且大于或等于0；其中，t
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔，dntt
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔的偏差。
12.进一步地，所述fpga模块还包括延时缓存模块和行图像数据通道交换模块，所述延时缓存模块根据多线扫描图像传感器的扫描线数以及行图像数据输出的扫描线序号计算延时行数并对相应的行图像数据进行缓存，将达到延时行数对应的行图像数据和光通道号发送到所述行图像数据通道交换模块进行输出，与扫描线数相同对应的行图像数据和光通道号无延时直接进入所述行图像数据通道交换模块，所述行图像数据通道交换模块根据行图像数据和对应的光通道号，将行图像数据交换至对应的输出通道进行输出，输出的数据为被测物同一位置在不同光源下的图像数据。
13.进一步地，所述延时行数为n-i，其中，n为多线扫描图像传感器的扫描线数，i为多线扫描图像传感器的扫描线数的序号，当n=i时，对应的行图像数据和光通道号无延时直接进入所述行图像数据通道交换模块。
14.一种采用上述系统的多线扫描图像传感器的高速频闪图像处理方法，其特征在于，包括：触发控制器接收外部的行触发信号，并根据所述行触发信号生成曝光控制信号和多路光源驱动信号；多路光源驱动信号分别驱动多个光源依次点亮和关闭，在每个光源点亮时所述多线扫描图像传感器根据所述曝光控制信号采集运动中的被测物图像并输出多条行图像数据，同时触发控制器生成对应的光通道号；将点亮光源的光通道号、所述曝光控制信号以及行图像数据传输至所述fpga模块；所述fpga模块根据所述曝光控制信号进行曝光跟踪并记录光通道号，匹配光通道
号对应光源下的各行图像数据，对相应的行图像数据进行延时输出和直接输出，获得被测物同一位置在不同光源下的图像数据。
15.本发明提供的多线扫描图像传感器的高速频闪图像处理系统及方法，至少包括如下有益效果：（1）对于n线扫描图像传感器，可以获得n路与图像传感器行频相同的单通道图像数据，保证频闪下每个通道的行频与图像传感器一致，对于相机图像传感器的行频需求降低到常规方案的1/n，降低了高速频闪系统的构建难度；（2）光源闪烁频率降低到常规方案的1/n，有利于光源驱动的高速频闪响应；（3）相机曝光时间增加n倍，可以获得更高的信噪比。
16.（4）任意输出通道的曝光区域可以实现连接，避免了通用频闪技术的跳跃导致的信息丢失。
17.（5）通过曝光跟踪，使得输出的行图像数据和光通道号同步匹配，避免因曝光控制信号和行数据输出之间的时间间隔造成的数据不准确的问题。
18.（6）在每一个曝光周期，都能得到一个位置下不同光源下的图像，保证图像特征的完整性，并能够提高图像输出的速度。
附图说明
19.图1为本发明提供的多线扫描图像传感器的高速频闪图像处理系统一种实施例的结构示意图。
20.图2为本发明提供的多线扫描图像传感器的高速频闪图像处理系统中触发多线扫描图像传感器一种实施例的示意图。
21.图3为本发明提供的多线扫描图像传感器的高速频闪图像处理系统中曝光跟踪过程一种实施例的示意图。
22.图4为本发明提供的多线扫描图像传感器的高速频闪图像处理系统中触发信号与行图像数据交叉混叠的时序图。
23.图5为本发明提供的多线扫描图像传感器的高速频闪图像处理系统中行图像数据缓存和输出一种实施例的示意图。
24.图6为本发明提供的多线扫描图像传感器的高速频闪图像处理系统一种应用场景下的示意图。
25.图7为本发明提供的多线扫描图像传感器的高速频闪图像处理系统另一种应用场景下的示意图。
26.图8为本发明提供的多线扫描图像传感器的高速频闪图像处理方法一种实施例的结构示意图。
具体实施方式
27.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
28.在一些实施例中，参考图1，提供一种多线扫描图像传感器的高速频闪图像处理系统，包括多线扫描图像传感器1、多个光源2、触发控制器3以及fpga模块4；
触发控制器3接收外部的行触发信号，并根据所述行触发信号生成曝光控制信号和多路光源驱动信号，多路光源驱动信号分别驱动多个光源2依次点亮和关闭，在每个光源2点亮时多线扫描图像传感器1根据所述曝光控制信号采集运动中的被测物图像并输出多条行图像数据，同时触发控制器生成对应的光通道号，将点亮光源的光通道号、所述曝光控制信号以及行图像数据传输至fpga模块4，fpga模块4根据所述曝光控制信号进行曝光跟踪并记录光通道号，匹配光通道号对应光源下的各行图像数据，对相应的行图像数据进行延时输出和直接输出，获得被测物同一位置在不同光源下的图像数据。
29.在一些实施例中，触发控制器3也可以集成于fpga模块中。
30.进一步地，多线扫描图像传感器1的扫描线数大于或等于2，且光源2的数量与多线扫描图像传感器1的扫描线数相同，即扫描线数与频闪光通道数相同。被测物的纵向分辨率为β*d，其中，β为所述多线扫描图像传感器的放大倍数，d为多线扫描图像传感器相邻扫描线的行间距，且各相邻扫描线的行间距相等。被测物的纵向分辨率是指一个完整图像行周期内，被测物纵向移动的距离。图像行周期应当跟随被测物纵向移动速度动态调整，从而保证被测物的纵向分辨率稳定不变。
31.具体地，参考图2，被测物按照固定的运动方向和一定的运动速度经过多线扫描图像传感器1的视场区域，外部提供和被测物车速呈线性相关的行触发信号，触发控制器3接收该行触发信号，并根据所述行触发信号生成曝光控制信号和多路光源驱动信号，其中多路光源驱动信号发送至各个光源2，各个光源2依次点亮、熄灭，曝光控制信号发送至多线扫描图像传感器1，在各个光源2点亮时，多线扫描图像传感器1根据该曝光控制信号对被测物进行扫描，每一次扫描获得与扫描线数相同数量的行图像数据，例如，多线扫描图像传感器的线数为2，则每次扫描输出两条行图像数据，若多线扫描图像传感器的线数为4，则每次扫描输出4条行图像数据。在每一次点亮光源2时，触发控制器3生成相应的光通道号，该光通道号为光源的序号，触发控制器3将光通道号、曝光控制信号发送至fpga模块4，多线扫描图像传感器1输出的行图像数据发送至fpga模块4。
32.此外，多线扫描图像传感器1采用相同的目标亮度做平场校正，以保证同一被测对象在不同的扫描线上的图像一致。
33.进一步地，触发控制器3输出的曝光控制信号至fpga模块4，与多线扫描图像传感器1输出的多条行图像数据之间存在时间间隔，因此，还需进行曝光跟踪。
34.进一步地，参考图3和图4，fpga模块4包括查找模块41和k个曝光跟踪模块42，查找模块41接收到光通道号和曝光控制信号时，逐个查找空闲的曝光跟踪模块42，并在空闲的曝光跟踪模块42中存储所述光通道号并设置低定时器值和高定时器值，将该曝光跟踪模块的状态设置为忙碌并开始进行倒计时，生成有效对应于行图像数据的时间检测窗口，当查找模块41接收到行图像数据时，查找低定时器值为0的处于忙碌状态的曝光跟踪模块42，将该曝光跟踪模块42中的光通道号和接收到的行图像数据匹配输出，之后将该曝光跟踪模块42的状态设置为空闲。至此，实现了光通道号与行图像数据的匹配同步。
35.此外，还需监控忙状态模块的高定时器值，如果为0，表明这个模块跟踪的行数据出现问题没有收到，应该把这个模块置空闲状态。防止错误跟踪的模块影响后续正常的跟踪模块。
36.其中，曝光跟踪模块的数量k值通过以下公式确定：
k=（t
p
dntt
p
）/t
line
1；（1）其中，t
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔，dntt
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔的偏差，且2*dntt
p
小于最小行周期，t
line
为多线扫描图像传感器的最小行周期。
37.所述低定时器值的初始值为t
p-dntt
p
且大于或等于0，所述高定时器值的初始值为t
p
dntt
p
；其中，t
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔，dntt
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔的偏差。
38.查找模块41和曝光跟踪模块42输出行图像数据和光通道号之后，进入多光通道的行图像分离过程。
39.参考图5，fpga模块还包括延时缓存模块43和行图像数据通道交换模块44，延时缓存模块43根据多线扫描图像传感器1的扫描线数以及行图像数据输出的扫描线序号计算延时行数并对相应的行图像数据进行缓存，将达到延时行数对应的行图像数据及光通道号发送到行图像数据通道44交换模块，与扫描线数相同对应的行图像数据和光通道号无延时直接进入所述行图像数据通道交换模块，所述行图像数据通道交换模块根据行图像数据和对应的光通道号，将行图像数据交换至对应的输出通道进行输出，输出的数据为被测物同一位置在不同光源下的图像数据。
40.延时行数为n-i，其中，n为多线扫描图像传感器的扫描线数，当n《i时，延时缓存模块43在延时n-i行输出行图像数据和光通道号，在没有到达延时行数之前对相应的行图像数据进行缓存，若n=i，即多线扫描图像传感器的第n条行图像数据和光通道号无需缓存和延时，直接进入行图像数据通道交换模块，行图像数据通道交换模块设置有对应于光通道号的输出通道，根据行图像数据和对应的光通道号，将行图像数据交换至对应的输出通道进行输出，此时，输出的行图像数据组成了被测物同一位置在不同光源下的图像数据。
41.以下通过具体的应用场景对上述系统的工作原理做进一步说明。
42.参考图6，以两线扫描图像传感器为例，采用两个光源，分别为光源a和光源b，被测物按照图6中所示的运动方向匀速运动，光源a和光源b交替频闪，在光源a或者光源b亮起时，两线扫描图像传感器采集被测物图像，并输出两条行图像数据，经曝光跟踪之后，输出相应的行图像数据和光通道号，进入多光通道的行图像分离过程：在t1时刻，光源a工作，两线扫描图像传感器的第一个扫描线获得被测物l0位置处的行图像数据s1，两线扫描图像传感器的第二个扫描线获得被测物l0前一行的行图像数据s2，将l0位置的数据s1和对应的光通道号（a）进行缓存，延时行数为一行（2-1）；在t2时刻，光源b工作，两线扫描图像传感器的第一个扫描线获得被测物l1位置处的行图像数据s3，两线扫描图像传感器的第二个扫描线获得被测物l0位置处的行图像数据s4，此时，延时一行的数据s1输出，同时，第二个扫描线获得的行图像数据s4直接输出，数据s1和数据s4即为在两道不同的光路下l0位置的图像数据，而l1位置处的数据s3和对应的光通道号（b）缓存，延时一行。在t3时刻，光源a工作，两线扫描图像传感器的第一个扫描线获得被测物l2位置处的行图像数据s5，两线扫描图像传感器的第二个扫描线获得被测物l1位置处的行图像数据s6，此时，延时一行的数据s3输出，同时，第二个扫描线获得的行图像数据s6直接输出，数据s3和数据s6即为在两道不同的光路
下l1位置的图像数据，数据s5进行缓存，延时一行。以此类推，实现从频闪双线图像到双线分离图像的转换。
43.参考图7，如果多线扫描图像传感器线数为4，则可以实现4光频闪下的4路图像数据输出。每路通道的行频与丝线图像传感器的行频相同。注意四线图像传感器每一条扫描线获得的行图像数据的延时行数各有不同。如获得任一光路工作的图像数据，四线图像传感器扫描线1的数据延时3行（4-1），传感器扫描线2延时2行（4-2），传感器扫描线3延时1行（4-3），传感器扫描线4直接输出（4-4）。以此类推。
44.如图像传感器采用双线8192点，100k行频图像传感器，可以获得两路各100khz行频的单通道图像。达到常规需要200k行频相机在200khz光源频闪下才能得到的图像性能要求。大大降低了高速频闪系统的构建难度。
45.上述实施例提供的多线扫描图像传感器的高速频闪图像处理系统，至少包括如下有益效果：（1）对于n线扫描图像传感器，可以获得n路与图像传感器行频相同的单通道图像数据，保证频闪下每个通道的行频与图像传感器一致，对于相机图像传感器的行频需求降低到常规方案的1/n，降低了高速频闪系统的构建难度；（2）光源闪烁频率降低到常规方案的1/n，有利于光源驱动的高速频闪响应；（3）相机曝光时间增加n倍，可以获得更高的信噪比。
46.（4）任意输出通道的曝光区域可以实现连接，避免了通用频闪技术的跳跃导致的信息丢失。
47.（5）通过曝光跟踪，使得输出的行图像数据和光通道号同步匹配，避免因曝光控制信号和行数据输出之间的时间间隔造成的数据不准确的问题。
48.（6）在每一个曝光周期，都能得到一个位置下不同光源下的图像，保证图像特征的完整性，并能够提高图像输出的速度。
49.参考图8，在一些实施例中，提供一种采用上述系统的多线扫描图像传感器的高速频闪图像处理方法，包括：s1、触发控制器接收外部的行触发信号，并根据所述行触发信号生成曝光控制信号和多路光源驱动信号；s2、多路光源驱动信号分别驱动多个光源依次点亮和关闭，在每个光源点亮时所述多线扫描图像传感器根据所述曝光控制信号采集运动中的被测物图像并输出行图像数据；s3、将点亮光源的光通道号、所述曝光控制信号以及行图像数据传输至所述fpga模块；s4、所述fpga模块根据所述曝光控制信号进行曝光跟踪并记录光通道号，匹配光通道号对应光源下的各行图像数据，对相应的行图像数据进行延时输出和直接输出，获得被测物同一位置在不同光源下的图像数据。
50.具体地，步骤s1中，被测物按照固定的运动方向和一定的运动速度经过多线扫描图像传感器1的视场区域，外部提供和被测物车速呈线性相关的行触发信号，触发控制器3接收该行触发信号，并根据所述行触发信号生成曝光控制信号和多路光源驱动信号。
51.步骤s2中，多路光源驱动信号发送至各个光源2，各个光源2依次点亮、熄灭，曝光
控制信号发送至多线扫描图像传感器1，在各个光源2点亮时，多线扫描图像传感器1根据该曝光控制信号对被测物进行扫描，每一次扫描获得与扫描线数相同数量的行图像数据。
52.步骤s4中，fpga模块接收到光通道号和曝光控制信号时，逐个查找空闲的曝光跟踪模块，并在空闲的曝光跟踪模块中存储所述光通道号并设置低定时器值和高定时器值，将该曝光跟踪模块的状态设置为忙碌并开始进行倒计时，生成有效对应于行图像数据的时间检测窗口，当接收到行图像数据时，查找低定时器值为0的处于忙碌状态的曝光跟踪模块，将该曝光跟踪模块中的光通道号和接收到的行图像数据匹配输出，之后将该曝光跟踪模块的状态设置为空闲。曝光曝光跟踪模块的数量k值通过公式（1）确定。低定时器值的初始值为t
p-dntt
p
，所述高定时器值的初始值为t
p
dntt
p
；其中，t
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔，dntt
p
为触发控制器输出所述曝光控制信号和多线扫描图像传感器输出行图像数据之间的时间间隔的偏差。
53.进一步地，步骤s4中，根据多线扫描图像传感器的扫描线数以及行图像数据输出的扫描线序号计算延时行数并对相应的行图像数据进行缓存，将达到延时行数对应的行图像数据及光通道号通过行图像数据通道交换模块交换至对应的输出通道进行输出，将与扫描线数相同对应的行图像数据和光通道号通过行图像数据通道交换模块交换至对应的输出通道直接输出，输出的数据为被测物同一位置在不同光源下的图像数据。
54.具体原理请参考上述应用场景，在此不再赘述。
55.上述实施例提供提供的多线扫描图像传感器的高速频闪图像处理方法，至少包括如下有益效果：（1）对于n线扫描图像传感器，可以获得n路与图像传感器行频相同的单通道图像数据，保证频闪下每个通道的行频与图像传感器一致，对于相机图像传感器的行频需求降低到常规方案的1/n，降低了高速频闪系统的构建难度；（2）光源闪烁频率降低到常规方案的1/n，有利于光源驱动的高速频闪响应；（3）相机曝光时间增加n倍，可以获得更高的信噪比。
56.（4）任意输出通道的曝光区域可以实现连接，避免了通用频闪技术的跳跃导致的信息丢失。
57.（5）通过曝光跟踪，使得输出的行图像数据和光通道号同步匹配，避免因曝光控制信号和行数据输出之间的时间间隔造成的数据不准确的问题。
58.（6）在每一个曝光周期，都能得到一个位置下不同光源下的图像，保证图像特征的完整性，并能够提高图像输出的速度。
59.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。