一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

线阵相机的图像数据的亮度校正和颜色校正的制作方法

2022-10-26 02:51:41 来源:中国专利 TAG:
线阵相机的图像数据的亮度校正和颜色校正1.本发明涉及根据权利要求1的主题的用于对线阵相机(zeilenkamera)的图像数据进行亮度校正和颜色校正的方法以及应用该方法的相机。2.线阵相机的图像数据用于许多工业和物流应用。因此,各种过程可以自动化。除了各种测量、操纵和检查任务之外,还已知基于(借助于图像数据读取的)代码对对象进行自动分类。为此,读取条形码和不同的二维码,如maxicode或aztec码,或读取使用文本识别(ocr)解码的标签。3.在典型的应用场景中,例如在生产传送带上、机场行李处理或物流中心包裹的自动分拣中,对象被传送通过相机,并通过逐行扫描获得对象的图像数据,该图像数据带有排列在对象上的代码。根据已知的或测量到的传送带速度来组合各个图像行。线阵相机实现了高的分辨率和速度。4.传统的线阵相机通常记录单色图像,也称为灰度图像或黑白图像。这样实现了最佳的光子产量(photonenausbeute),因此也获得了最佳的信噪比,并且颜色检测对于许多评估(包括读取代码)来说没有意义,因为代码在任何情况下都只有亮区和暗区。然而,如果应获得颜色信息,则通常动用矩阵相机。但是,这是有缺点的,特别是在快速的传送带应用中,因为需要高的帧速率,并且相比于将图像行简单地依次串接在一起,将其单个图像拼接(stitching)在一起在计算上变得非常复杂。此外,矩阵图像传感器在行方向上不能实现与行图像传感器相同的像素数。5.构建用于获得颜色的矩阵图像传感器的最常见方式是以拜耳模式按像素分别设置两个绿色滤波器、一个红色滤波器和一个蓝色滤波器。然而,也存在可替代的颜色模式,例如添加白色通道(rgbw)或使用减法基色,例如红色、黄色和蓝色(ryby)。6.彩色线阵相机也是已知的。例如,彩色线阵相机具有红色、绿色和蓝色(rgb)三行,这些基色在一行上交替排列,或者模仿拜耳模式,一行是交替的红色和蓝色像素,而第二行是纯绿色的。所有这些彩色图像传感器的缺点在于,接收光由于颜色滤波器会丢失,因此黑白图像更适合诸如对分辨率要求较高的代码读取等应用。因此,只能以在黑白评估方面的较差性能为代价来获得颜色信息。7.此外,线阵相机在其应用情况下受动态变化影响。对环境光的依赖在很大程度上通过主动照明和必要时屏蔽来消除。然而,照明本身和图像记录仍然因对象而异。这主要是由于相应的物距和不均匀性,例如在行方向上的边缘光衰减。为对此进行补偿,已知的是,测量综合照明并且在现场了解亮度动态。然而,这导致了高校准成本。此外,照明的亮度动态和不均匀的光谱特性在彩色记录的情况下更加令人不安,因为由此记录的颜色会发生偏移,但到目前为止还未对此进行补偿。8.de102015116568a1描述了一种通过将单色相机与可调谐的颜色滤波器相结合进行颜色检测。然而,这导致了太多的记录时间被损失,并且与单色相机相比,由于颜色滤波器的存在,接收水平有所缺失。9.ep3012778a2描述了一种利用多光谱照明装置来进行操作的双线阵相机。这实际上只不过是现在在其他地方生成了颜色滤波器,但并不能防止时间损失和光损失。10.由us2010/0316291a1和us2012/0002066a1分别已知一种读取代码的设备,该设备利用像素矩阵记录图像。大多数像素是单色的,彩色像素在网格阵列中穿插。这些彩色像素形成拜耳模式。11.de202019106363u1公开了一种用于读取光学代码的读码器,该读码器使用至少一个双行作为图像传感器,其中至少一行的接收像素对白光敏感,其余行的接收像素仅对一种颜色敏感。因此,可以记录灰度图像和彩色图像。在一些实施方式中,从灰度图像和另外两个基色重建基色。然而,颜色校正是不完整的,彩色图像仍然显示出明显的颜色偏差。12.因此,本发明的任务是改善彩色图像数据的记录。13.该任务通过根据权利要求1的用于对线阵相机的图像数据进行亮度校正和颜色校正的方法以及根据权利要求15的应用该方法的相机来实现。线阵相机具有线形的图像传感器,该线形的图像传感器具有多个行排列的光接收像素。多个行排列意味着少量,至少小于十个,行方向上的分辨率,以及行方向上的光接收像素的数量为更高的数量级,达到几百、几千或更多。在照明模块照亮线阵相机的检测区域期间,记录灰度图像和至少两个单色图像。单色图像是特定颜色(例如,蓝色或红色)的图像。为此,光接收像素具有不同的光谱灵敏度,特别是由于颜色滤波器的存在或将其省略而具有不同的光谱灵敏度。具有一定的光谱灵敏度的光接收像素的组可以分别被理解为记录通道的一部分,灰度图像的单通道和单色图像的多个颜色通道。14.利用照明模块的亮度函数对图像数据进行校正。亮度函数取决于至多两个变量,例如用x表示的沿行排列的行方向或用z表示的所记录的对象的距离方向或特别优选地两者。在离散化的形式中,亮度函数可以通过亮度矢量或亮度矩阵来表示。亮度函数可以直接用于校正,或者并入更复杂的校正中,下面将基于有利的实施方式来进行描述。15.本发明基于以下基本思想,即亮度函数预先例如在照明模块的最终制造中确定并且存储在照明模块中。这仍然可以完全独立于线阵相机完成,特定的线阵相机和照明模块之间的连接此时优选还完全未知。随后在运行中由与照明模块一起使用的线阵相机从照明模块中读出亮度函数,并且线阵相机直接将该亮度函数用于亮度校正和颜色校正,或者线阵相机从存储在照明模块中的亮度函数中产生自己的校正函数并且在进一步的操作中使用该校正函数。亮度函数分别在单通道和颜色通道中用于校正,即用于灰度图像和单色图像上。颜色通道中的亮度校正也自动是颜色校正,因为它改变了颜色的相互权重。在另外有利的实施方式中,单通道被包括以用于颜色的重建,使得其亮度也对颜色产生影响。可以添加附加的有利的颜色校正,这一点也将在后面解释。16.本发明具有的优点在于,以高对比度和最佳信噪比的全分辨率检测灰度图像或黑白图像。同时获得颜色信息,该颜色信息可用于各种附加的或可替代的评估。这种附加的颜色检测不会以灰度图像中的分辨率或信噪比为代价。根据本发明,可以补偿照明模块的照明光谱。在此,照明模块最初独立于相机并且可以单独进行校准。这简化了调试或维护,因为相机会适应与之一起使用的照明模块。不必在现场学习照明特性,这需要一些努力和专业知识。17.具有它们各自的颜色选择光敏性的光接收像素在线阵相机的行排列上的分布根据实施方式而变化。优选地,灰度图像的单通道的光接收像素形成至少一整行,可以称为白色行。该光接收像素对白光敏感,这应意味着这些光接收像素感知整个光谱,并且例如不具有颜色滤波器。当然,所应用的相机像素的不可避免的硬件限制形成对接收光的限制。颜色通道的光接收像素的分布以及因此仅对一种颜色敏感的相应单色图像的记录可以形成不同的模式,这根据实施方式而不同。颜色通道的行排列可以被称为与白色行相对应的彩色行。原则上,白色像素又可以穿插在彩色行中,但白色行本身负责此类图像信息。18.优选地,设置两个、三个或四个行排列,其中一个或两个行排列是白色行。这里给出的数字是准确的数,而不是最小数。利用几个行排列,实现了图像传感器的特别紧凑的结构。最小实施方式是具有白色行和彩色行的双行,其中彩色行通过具有针对至少两种不同颜色中的一种的相应灵敏度的光接收像素的模式支持至少两个颜色通道。为了在行方向上实现彩色图像的更高分辨率,优选地设置至少两个彩色行。19.优选地,一个彩色行内的光接收像素对同一颜色敏感。换句话说,整个彩色行是均一的,例如红色行或蓝色行。因此,以全分辨率来检测对应的颜色信息。一个彩色行内的光接收像素也可以对不同的颜色敏感,特别是以例如红-蓝-红-蓝的交替顺序。此外,还可设想将均一的彩色行和混合的彩色行彼此组合。20.优选地,灰度图像用于读取代码,即读取代码中包含的内容。灰度图像具有全分辨率和尽可能最佳的信噪比,从而可以以与利用传统的单色线阵相机相同的质量来读取代码。同时可以提供颜色信息,而不会影响解码结果。这些颜色信息可以用于任意的功能,但也可以用于与代码读取相关的功能,例如初始分割或找到代码区域。21.优选地,从单色图像中产生彩色图像。彩色图像是通常所说具有人眼通常可识别的颜色(例如,rgb)并且可以与单色图像区分开的图像,单色图像例如仅包含红色的颜色信息。如果所有基色都被检测为单色图像,则将它们组合成彩色图像就足够了。否则,可以设想从其他基色中重建基色。特别优选地,彩色图像与代码读取结合使用并对代码读取进行支持,以便对携带代码的对象和/或代码区域进行识别、分类和/或将其与图像背景区分开。通常,代码的背景在颜色上与周围环境不同,或者颜色信息可以用来识别携带代码的对象并将其与背景分离。可替代地,彩色图像用于一些其他功能,特别地被用作输出并且在之后被应用,无论是用于可视化功能和诊断功能还是完全不同的附加任务。因此,记录特别适用于代码读取的灰度图像和记录用于支持或其他目的可使用的彩色图像的两种功能结合在一种方法和一种设备中,其中代码读取的主要功能不会受到附加的彩色图像记录的影响。灰度图像可以补充地或可替代地用于除代码读取之外的其他目的。22.优选地,产生灰度图像和彩色图像。这两种图像均可供解码或其他功能使用。优选地,彩色图像具有比灰度图像低的分辨率。白色行的高分辨率的灰度图像已经可用于需要高分辨率的评估,例如代码读取。较低的分辨率最初可能由于行方向上相应颜色的较少的光接收像素或较多的光接收像素而产生。可替代地,在硬件层面或软件层面上执行binning(分箱)或downsampling(降采样)。23.优选地,将在线阵相机和待记录的对象或代码之间的相对运动期间记录的图像行组合成整体图像。可替代地,在条形码的情况下,可以设想从单行状记录中读取代码,但是优选地,条形码也从这种组合的、平面式的完整图像中读取。24.优选地,分别借助于针对单色图像的颜色的颜色归一化函数来修改亮度函数,使得对于灰度图像和单色图像分别利用自身的亮度函数来进行校正,其中针对不同的行位置和距离的颜色归一化函数将照明模块在其颜色方面的亮度与在整个光谱上的亮度相关联。优选地,颜色归一化函数在与亮度函数相同的行方向x和/或距离方向z的维度上再现照明模块的光谱差异。在离散化的形式中,颜色归一化函数可以表示为矩阵或向量。颜色归一化函数和亮度函数的分辨率可以是不同的,这例如可以通过插值来调节。如果每个颜色通道的颜色归一化函数和亮度函数混合,则得到颜色匹配的和归一化的改进或修改的亮度函数。单通道或灰度图像的亮度函数不需要归一化,相应的灰度归一化函数将仅由1组成并且不变,因为亮度的灰度值将在整个光谱上与自身相关。优选地,利用颜色归一化函数修改亮度函数在调试期间进行,在相机从照明模块读出亮度函数之后,并且此后将修改的亮度函数存储在线阵相机中,以便在进一步的操作中用于亮度校正和颜色校正。25.优选地,颜色归一化函数通常针对照明模块的类型预先确定。在该实施方式中,假定所使用的系列或类型的照明模块在设备之间至少表现出稳定的光谱特性。颜色归一化函数是一次性确定的,而不是针对每个照明模块确定的。偏差被接受为公差。这些颜色归一化函数可以选择性地存储在照明模块中或线阵相机中,因为它们不取决于具体的照明模块,而是仅取决于其类型。26.优选地,颜色归一化函数针对照明模块预先单独地确定。在该可替代的实施方式中,颜色归一化函数与亮度函数一样是设备专用的,并且同样存储在照明模块中以供稍后在线阵相机中使用。优选地,在同一过程中学习颜色归一化函数和亮度函数,例如通过在不同的x和/或z方向上的亮度函数的校准测量期间使用颜色敏感的光接收器。27.优选地,亮度函数借助线阵相机的光学参数来细化(verfeinern)。优选地,存储在照明模块中的亮度函数仅具有较低分辨率,例如在x和/或z方向上约十个值。如果亮度函数最初要存储在照明模块中的话,这就降低了在校准照明模块时的耗费。线阵相机稍后在操作现场读取这个分辨率仍然相当粗略的亮度函数,并使用输入了光学参数(例如,焦距、光圈等)的光学模型将其转换成更高分辨的亮度函数。优选地,首先将亮度函数与颜色归一化函数混合,以便每个单通道和颜色通道获得亮度函数,并且随后细化每个通道获得的亮度函数。由于亮度函数已经被归一化,因此可以在单通道和颜色通道中使用相同的算法来细化。但是也可以考虑的是,在颜色通道中使用针对颜色本身或者甚至每种颜色适配的算法来进行细化。28.优选地,灰度图像和单色图像以不同的模拟增益和/或数字增益来记录。由于颜色滤波器,颜色通道中的电平通常较低,这可以通过增益来补偿。在此,所有的颜色可以以相同的增益系数提高或者也可以彼此不同地增强。在硬件允许的情况下,模拟增益实现最佳的信号质量。可以通过在亮度函数或颜色归一化函数中以期望的增益系数逐点缩放来考虑数字增益。29.优选地,以三种基色中的两种记录两个单色图像。有一个单通道和两个颜色通道,两个颜色通道中的每个通道有不同的基色。因此,线阵相机的彩色行具有分别对两种基色中的一种基色敏感的光接收像素,并且不具有对第三种基色敏感的光接收像素。基色是加法基色——红色、绿色和蓝色,或者是减法基色——蓝绿色(cyan(青色))、紫色(magenta(洋红色))和黄色。通过仅设置其中两个,节省了光接收像素和行排列。可替代地,可以设想存在所有三种相应的基色(rgbw,cmyw)。30.优选地,第三基色由灰度图像和两个单色图像重建。白色行记录所有基色的叠加,使得如果记录到其他两个基色,则可以分离出第三基色。然而,在单纯的直接减法的情况下,特别是在照明模块的光谱不均匀的情况下,颜色会失真得无法辨认。然而,根据本发明,由于所阐述的利用亮度函数的校正,优选在考虑颜色归一化函数的情况下,颜色被保留。下面还将阐述附加的有利的颜色校正。31.优选地,两种基色是红色和蓝色。一般来说,加法基色会产生更好的结果。在这个优选的实施方式中,不记录尤其是在拜耳模式中加倍设置的绿色,因此不必为此设置光接收像素和行排列。在需要时,由白色行以及红色和蓝色颜色信息产生绿色。显然,绿色由g=3*w-r-b重建,其中这仅通过根据本发明的亮度校正和颜色校正产生令人满意的结果。当照明模块在绿色光谱中具有较弱的强度时,红色和蓝色基色的选择是特别有利的。32.优选地,由灰度图像的相应灰度值和单色图像的单色值与颜色校正的加权因子的线性组合形成彩色图像的校正的颜色值。加权因子是静态的,并且根据经验来确定,以便使用这种附加的颜色校正来获得良好的颜色印象。在这种特殊情况下,如果从白色行或灰度图像重建基色,则用白色行检测的图像信息也被视为颜色,即同样被包括在线性组合中。33.优选地,校正的rgb值r′g′b′形成灰度值为w的灰度图像、红色值为r的红色图像和蓝色值为b的蓝色图像:34.r′=x1*r x2*(3*w-r-b) x3*b x4,35.g′=x5*r x6*(3*w-r-b) x7*b x8,以及36.b′=x9*r x10*(3*w-r-b) x11*b x12,37.其中,x1…x12是加权因子。这是一个简单而清晰的计算规则,其可管理的加权因子x1…x12的数量同时以合理的工作量来确定并且对于良好的颜色校正来说足够灵活。在此,优选的一对单色图像再次以红色和蓝色记录。在其他基色的情况下,上述方程可以通过替换类似地给出。加权因子中的单个或一些可以为零,特别是偏移量x4、x8、x12可以为零。38.优选地,校正的颜色值利用神经网络来确定。那么,不必手动确定加权因子,而是根据示例数据自动学习。可以通过参考模式来指定所需的数据集,其中包含正确学习的颜色规范。特别优选地,根据至少一个另外的颜色敏感的或优选颜色校准的传感器的彩色图像来进行训练。附加的颜色传感器仅需要一次,例如在制造现场,因此其一次性成本不是很高,并且以简单的方式生成所需质量和数量的带标签的训练数据。39.根据本发明的方法可以用类似的方式进一步发展并同时显示出类似的优点。这种有利的特征在从属于独立权利要求的从属权利要求中示例性地但不详尽地进行描述。附图说明40.下面将示例性地基于实施方式并参考附图对本发明的其他特征和优点进行更详细的阐述。在附图中:41.图1示出了线阵相机的示意性剖视图;42.图2示出了线阵相机固定安装在传送带上方的应用的三维视图,该传送带具有特别是用于代码读取的对象;43.图3示出了具有一个红色行、一个蓝色行和一个白色行的线形图像传感器的示意图;44.图4示出了具有一个红色行、一个蓝色行和两个白色行的线形图像传感器的示意图;45.图5示出了具有一个红-蓝交替行和一个白色行的线形图像传感器的示意图;46.图6示出了具有两个红-蓝交替行和两个白色行的线形图像传感器的示意图;47.图7示出了用于产生归一化的灰度图像和单色图像的示例性流程图;48.图8示出了关于红色的示例性颜色归一化矩阵;49.图9示出了关于蓝色的示例性颜色归一化矩阵;50.图10示出了关于灰度图像的单通道的归一化前后不同距离下的示例图像;51.图11示出了关于红色图像的红色颜色通道的归一化前后不同距离下的示例图像;52.图12示出了关于蓝色图像的蓝色颜色通道的归一化前后不同距离下的示例图像;53.图13示出了照明模块在不同距离下的示例性光谱;以及54.图14示出了光接收像素对于不同颜色的量子效率的示例性示图。55.图1示出了线阵相机10的非常简化的框图,线阵相机10优选地被设计成用于读取一维或二维光学代码的读码器。线阵相机10通过拍摄物镜16检测来自检测区域14的接收光12,该拍摄物镜16在这里仅由一个简单的透镜来表示。线形图像传感器18产生检测区域14以及在该检测区域处可能存在的对象和代码区域的图像数据。图像传感器18具有至少两行20a-20b光敏接收像素22,其中在行方向上优选地设置了几百、几千或甚至更多的接收像素22。56.图像传感器18的图像数据由控制和评估单元24读出。控制和评估单元24在一个或更多个数字模块(例如,微处理器、asic、fpga等)上实现,这些数字模块也可以完全地或部分地设置在线阵相机10外部。评估的一个优选的部分在于将检测到的图像行彼此串成完整图像。此外,还可以在评估时对图像数据预先进行过滤、平滑、切割成特定区域或二值化。根据本发明,设置了亮度校正或颜色校正,该亮度校正或颜色校正稍后参考图7至图14详细进行阐述。在线阵相机10作为读码器的优选实施方式中,通常进行分割,在其中找到各个对象和代码区域。然后,对这些代码区域中的代码进行解码,即读出代码中包含的信息。57.为了用发射光26足够明亮地照亮检测区域14,设有照明模块28,该照明模块具有光源30(例如,通常是呈led形式的多个光源)和发射光学器件32。照明模块28在图1中显示为在线阵相机10的壳体34内。如下是一种可能的实施方式,其中照明模块28在生产后期或者甚至在生产后的成品设备中(例如,在操作现场)被插入到线阵相机10的合适的插槽中。可替代地,照明模块28具有自身的壳体或者是外部设备并且为了操作而与线阵相机10连接。58.在线阵相机10的接口36处可以输出数据,特别是读取的代码信息和在各种处理阶段中的其他数据,例如原始图像数据、预处理的图像数据、识别的对象或尚未解码的代码图像数据。反过来,可以经由接口36或另一接口对线阵相机10进行参数化。59.图2示出了线阵相机10装配在传送带38处的可能的应用,该传送带38在例如由箭头所示的传送方向42上传送对象40通过线阵相机10的检测区域14。对象40可以在其外表面上携带代码区域44。在该应用示例中,线阵相机10作为读码器的任务在于识别代码区域44、读出附着在代码区域中的代码、对这些代码进行解码并将这些代码分别与相关的对象40相关联。为了还识别在侧面附着的代码区域46,优选地从不同的角度使用多个线阵相机10。可以给出附加的传感器,例如用于检测对象40的几何形状的上游的激光扫描仪或用于检测传送带38的速度的增量式编码器(inkrementalgeber)。在读码以外的图像评估应用中,也可以设想将线阵相机10固定安装在带有对象40的传送带38上。60.对应于线形图像传感器18,线阵相机10的检测区域14是具有线形读取场的平面。相应地,照明模块28产生线形的照明区域,除了公差之外该照明区域对应于读取场。在图2中,照明模块28简化地并且纯示意性地作为线阵相机10内的块示出。如前所述,照明模块28可以是外部设备。通过在传送方向42上逐行地记录对象40,逐渐形成传送经过的对象40连同代码区域44的完整图像。在此,行20a-20b彼此如此接近,以至于它们实际上检测了相同的对象区段。可替代地,也可以在计算上补偿偏移。61.一方面,线阵相机10利用其图像传感器18检测用于代码读取的灰度图像或黑白图像。此外,还获得颜色信息或彩色图像。颜色信息可以用于多个附加功能。一个示例是对象40的分类,例如查明该对象是包裹、信封还是邮袋。可以确定传送带容器(例如,托盘运输机的托盘或箱)是否是空的。将图像数据分割成对象40或代码区域44可以基于颜色信息来进行或者由颜色信息支持。可以解决附加的图像识别任务,例如识别特定的印记或标签,例如用于危险物品识别,或者可以读取字体(ocr,opticalcharacterrecognition,光学字符识别)。62.图3至图6示出了用于对黑白图像和颜色信息进行这种检测的图像传感器18的实施方式的几个示例。这些实施方式的共同之处在于,行20a-20d中的至少一行是白色行,其接收像素22在硬件限制内检测整个光谱范围内的光。行20a-20d中的至少另一行是彩色行,其接收像素22仅对特定的颜色敏感,特别是通过相应的颜色滤波器来实现。颜色在彩色行的相应接收像素22上的分布根据实施方式有所区别,但是与常见的rgb不同,特别是与拜耳模式不同。设置至少一个完整的白色行是优选的,因为由此以全分辨率记录灰度图像。同样,白色行和彩色行的分离更清晰。然而,原则上,可以设想在行20a-20d内有白色和彩色混合的接收像素22的模式。光谱灵敏度相同的接收像素22被组合在灰度图像的单通道中或单色图像的一个颜色通道中,例如,对于红色敏感的接收像素22被组合在红色图像的红色颜色通道中,而对于蓝色敏感的接收像素22被组合在蓝色图像的蓝色颜色通道中。63.图3示出了具有一个红色行20a、一个蓝色行20b和一个白色行20c的实施方式。因此,行20a-20c本身是均匀的,行20a-20c内的接收像素22对相同的光谱敏感。图4示出了具有一个附加的白色行20d的变型。64.在根据图5的实施方式中,对红色和蓝色敏感的接收像素22在一个彩色行20a内交替地混合。由此,与白色行20b的组合可以是总共仅两行的结构。图6示出了一种变型,其中彩色行20a-20b和白色行20c-20d均为两行。65.虽然对于代码读取而言期望白色行的高分辨率,但在许多情况下,只需要较低分辨率的颜色信息。因此,在某些情况下,如图5和图6中的彩色行中的一定的分辨率损失并不会令人不安。在一些情况下,甚至可以设想通过合并像素来人为降低分辨率(binning(分箱)、downsampling(降采样)),从而提高信噪比。66.这些示例仅仅是基于基色红色和蓝色与白色(rbw)的选择。其他实施方式使用其他的颜色滤波器和颜色。因此,可以设想使用绿色与红色或绿色与蓝色(rgw、bgw)或所有三种基色(rgbw)。此外,还可以考虑减法基色蓝绿色(cyan(青色))、紫色(magenta(洋红色))和黄色的类似组合(cmw、cyw、myw或cmyw)。67.不同颜色的接收像素22的原始图像数据在许多方面过于不平衡而无法提供可用的颜色。一方面,这是由于空间检测情况,因为距离很远和位于行20a-20d的边缘处的对象40相比于近处的、中心的对象40暴露在不同的照明强度下。因此,在行20a-20d的x方向和对象距离的z方向上存在着空间依赖性。此外,照明模块28具有光谱特性,其中不同波长范围内的亮度彼此明显不同,尤其在使用半导体光源(例如,led)时如此。此外,由于例如光源30的批次差异和其他公差,空间特性和光谱特性在各个照明模块28之间分散。下面在不同的有利的实施方式中描述亮度校正和颜色校正,该亮度校正和颜色校正补偿照明模块28的个体波动和/或一般的光谱和空间波动。68.图7示出了用于产生校正的或归一化的灰度图像和单色图像的示例性流程图,其中对灰度图像的单通道以及红色图像和蓝色图像的两个颜色通道的示例进行了描述,但不局限于该示例。69.照明模块28独立于线阵相机10进行校准,例如在最终制造中进行校准,以能够灵活地考虑到由于公差、批次差异等而引起的其个体特性。例如,照明模块28在生产中在移动台上进行测量,其中多个横向地,即在x方向上分布的光接收元件或光电二极管分别在相对于照明模块28移动到不同的距离时提供光电二极管的相应(x,z)位置的亮度值。由此,得到亮度矩阵,该亮度矩阵例如具有10×10的分辨率,即以10个横向分布的光电二极管在10个距离处进行测量,或者一个光电二极管每距离横向移动10次。分辨率当然可以变化,特别是在x和z方向上根本不需要相同的分辨率,但是太少的值导致不完全的补偿,而太多的值不必要地增加了校准成本。70.照明模块28的这样预先获得的亮度矩阵48被存储在照明模块28的优选非易失性存储器(eeprom)中,并且是图7中的流程图的起点。为了实际应用,优选已经在操作位置处将照明模块28连接到线阵相机10。在此之前,无需确定哪个照明模块28将在哪个线阵相机10中使用,这两个设备彼此灵活地相互了解。71.作为图7中未示出的第一个调整步骤,在线阵相机10中可以在单通道和两个颜色通道中使用不同的增益系数,即gain颜色,i=kigain单通道其中ki》1。颜色通道彼此之间的区分是可选的,因此对于所有i个颜色通道可以适用ki=k。这意味着单通道和颜色通道已经处于类似的动态范围内。如果这在硬件方面可以使用图像传感器18,例如分开的白色行和彩色行,则模拟地进行不同的增益,从而实现更好的信噪特性。可替代地或附加地,数字增益是可能的。纯数字的增益系数可以简单地乘到颜色通道的待提出的校正矩阵中。72.为了进行亮度调整,线阵相机10现在在单通道细化50中读出存储在照明模块28中的亮度矩阵48。使用诸如焦距、光圈等的光学参数,计算细化的单通道亮度矩阵52,该细化的单通道亮度矩阵包含比原始亮度矩阵48明显更多的条目。由于强度随着距离增加而下降,单通道亮度矩阵52补偿单独照明模块28沿着行轴或x轴以及沿着z轴的照明中的不均匀性。由此实现了单通道或灰度图像的白平衡。73.在颜色通道中,还要考虑光谱差异。为此,使用附加的颜色归一化矩阵54、56。颜色归一化矩阵54、56具有与亮度矩阵48相同的维度x,z,但是其分辨率可以不同,于是这例如通过插值来补偿。图8示出了红色的颜色归一化矩阵56的示例,并且图9示出了蓝色的颜色归一化矩阵54的示例。为了获得这些颜色归一化矩阵54、56,执行照明模块28的光谱仪测量,然后为每个(x,z)位置形成相应的颜色蓝色或红色的强度与整个光谱上的强度的比。颜色归一化矩阵54、56清楚地指示相关颜色在总强度中所占的份额的空间分辨率分布。优选地,颜色归一化矩阵54、56不是针对每个照明模块28单独地确定,而是针对一种类型或系列的照明模块28一次性地确定。然后,颜色归一化矩阵54、56被认为独立于生产,并且可以选择性地存储在照明模块28或线阵相机10中,例如作为表格(lut(lookuptable,查找表))。74.在组合步骤58中,针对每个颜色通道将颜色归一化矩阵54、56与亮度矩阵48混合。为此,在一个简单有利的实施方案中,如果所有矩阵48、54、56被适当地归一化,就可以将各个条目彼此相乘。可替代地,进行更复杂的组合计算,该计算也可以包含矩阵48、54、56的分辨率调整。75.然后,对相应所得的补偿矩阵进行颜色通道细化60。为此,可以使用与在单通道细化50中相同的算法,或者考虑特定于颜色的特性,这些特性共同地或者甚至单独地修改颜色通道的算法。所得结果是蓝色通道或红色颜色通道的细化的颜色通道亮度矩阵62、64。这意味着现在也可以实现颜色通道的白平衡,从而实现单色图像的白平衡。例如在调试期间或者照明模块28和线阵相机10之间连接期间,细化的亮度矩阵52、62、64只需计算一次。76.在参照图7阐述的单通道和颜色通道中的亮度校正中,亮度矩阵48独立于光谱特性被记录,并且通过颜色归一化矩阵54、56进行特定于颜色的适配。可替代地,可以考虑的是,亮度矩阵48直接以不同的颜色记录并从而存储在照明模块28中。然后,针对单通道和每个颜色通道产生不同的亮度矩阵48。颜色归一化矩阵54、56的信息已经包含在其中,并且可以取消组合步骤58。为此,特别是为了测量照明模块28,可以使用具有相应的颜色滤波器的光接收器或光电二极管,而不是如上面那样对白光敏感的光电二极管。然后,甚至针对照明模块28单独执行颜色归一化,而不是如迄今为止一般针对一种类型或系列执行颜色归一化。77.图10至图12示出了归一化的白色值、红色值和蓝色值到目前为止所达到的结果。这些附图均相同地构造,其中图10示出了单色通道,图11示出了红色通道,以及图12示出了蓝色通道。在此,首先红色通道和蓝色通道相对于单通道提高了大约三倍的增益系数。在列中,距离或z方向是变化的。第一行示出了原始图像,其中在x轴上是行位置x以及在y轴上是连续拍摄的不同行。第二行以归一化图像的形式示出了相关结果。在最下面的行中示出了原始图像的图像行的平均值与归一化的图像的图像行的平均值的比较。归一化的图像的略微浅色绘制的线至少近似平坦地延伸,因此归一化如所希望的那样使原始图像的深色的线的不规则的走向平整。78.如此归一化的图像数据可以用作用于进一步的颜色归一化和颜色重建的输入数据。图13首先示出了照明模块28的示例性的照明光谱。可以清楚地看到蓝色的峰66和红色的峰68。多条线的原因在于,照明光谱由于光学器件的色散而与距离相关。图14以互补的方式示出了具有白色特性曲线70、蓝色特性曲线72、绿色特性曲线74和红色特性曲线76的接收像素22的颜色滤波器的示例性量子效率。79.在图13的照明光谱中,在480nm的波长范围内发现局部最小值。根据图14的示例,通常会在那里找到绿色滤波器的透射窗口。因此,优选使用在白色目标上提供相似强度的蓝色和红色颜色通道,而不使用绿色颜色通道。这样更好地利用动态范围,并获得更好的信噪比。80.当选择蓝色和红色颜色通道时,仅以两种基色确定图像数据。如果需要以rgb值表示颜色,则可以从函数f(w,r,b)重建缺少的颜色绿色,并且最初从g=3*w-r-b重建缺少的颜色绿色。然而,这还不足以实现良好的显色,因为照明光谱是不均匀的并且在绿色波长范围内具有局部最小值。上述归一化提供了一定程度的补偿。为了获得尽可能真实颜色的结果,现在优选地测定和使用r、b和w之间的相关性。例如,这些都是以下形式的线性组合:81.r′=x1*r x2*(3*w-r-b) x3*b x482.g′=x5*r x6*(3*w-r-b) x7*b x883.b′=x9*r x10*(3*w-r-b) x11*b x1284.其中,x1…x12是相关因子或加权因子。加权因子x1…x12是根据经验确定的,并且是静态的。可以对除蓝色和红色以外没有绿色的颜色通道进行相应的校正。85.尽管在图13中示出了绿色光谱中的局部最小值,但加权因子能够实现颜色再现。为了说明,可以设想线阵相机10检测到绿色目标。在蓝色通道或红色通道中,几乎没有绿光通过,记录的强度接近于零。在单通道中,例如参见图14中的白色特性曲线70,少量存在的绿光通过并且产生略高于零的强度。高值x6结合校正值x5和x7可以重构绿色值g′。在可替代的黑色目标的情况下,在任何通道中都不会检测到显著的强度,这不会改变等式g′中的因子x5...x7,因此完全正确地重建了接近零的绿色值。由此可见,偏移值x4、x8、x12不应选择太大或甚至可为零。在灰色目标的情况下,两个颜色通道都给出一定的信号并重建一个特定的绿色值g′,综合起来会产生所需的rgb颜色灰色。86.作为所提出的加权因子的替代或补充,使用神经网络,特别是具有多个隐藏层的神经网络。设置原始的或预校正的颜色向量作为输入,并且神经网络返回校正的颜色向量。这种神经网络可以例如利用附加的颜色传感器来训练,该颜色传感器指定在用于训练图像的监督学习中要学习的颜色。此外,算法或神经网络也可以用于通过考虑相邻像素的颜色值来提高信噪比。当前第1页12当前第1页12
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献