用于预处理具有关注的元素的图像的装置和方法与流程

1.本公开涉及对具有关注的元素的图像进行预处理。


技术实现要素：

2.本公开的至少一些实施方案涉及一种用于处理具有嵌入式元素的输入图像的方法，该方法包括以下步骤：由处理器计算输入图像的一个或多个柱状图，其中在色彩空间中的颜色平面上计算一个或多个柱状图中的每个柱状图；选择所述色彩空间中的颜色平面；识别所述一个或多个柱状图中的一个柱状图中的关注的范围，在所选择的颜色平面上计算所述一个或多个柱状图中的所述一个柱状图；基于所关注的范围，由所述处理器来确定阈值；以及由处理器使用阈值来处理输入图像以生成输出图像，其中至少部分地基于嵌入式元素的已知颜色强度来识别关注的范围。
3.本公开的至少一些实施方案涉及一种包括以下的设备：处理器；和存储器设备，该存储器设备耦接到处理器并且具有存储在其上的用于由处理器执行以便执行包括以下的操作的程序：计算输入图像的一个或多个柱状图，其中在色彩空间中的颜色平面上计算一个或多个柱状图中的每个柱状图；选择所述色彩空间中的颜色平面；识别所述一个或多个柱状图中的一个柱状图中的关注的范围，在所选择的颜色平面上计算所述一个或多个柱状图中的所述一个柱状图；基于所述关注的范围来确定阈值；以及使用阈值来处理输入图像以生成输出图像，其中至少部分地基于嵌入式元素的已知颜色强度来识别关注的范围。
附图说明
4.附图被结合到本说明书中且构成本说明书的一部分，并且附图与描述一起解释本发明的优点和原理。在附图中，
5.图1示出了图像预处理系统的一个示例的系统图；
6.图2a是图像预处理系统的流程图的一个示例；
7.图2b是图像预处理系统的流程图的另一个示例；
8.图2c-1和图2c-2示出了图像预处理系统的一个示例的流程图；
9.图3a至图3i示出了图像预处理系统的一个示例性过程；并且
10.图4a至图4i示出了图像预处理系统对具有关注的元素的图像进行预处理的一个示例，其中图4a、图4d和图4g各自是工作空间图片的单个平面图像。
11.在附图中，相似的附图标号指示相似的元素。虽然可能未按比例绘制的上述附图示出了本公开的各种实施方案，但还可以设想其它实施方案，如在具体实施方式中所指出。在所有情况下，本公开以示例性实施方案的表示的方式而非通过表述限制来描述当前所公开的公开内容。应当理解，本领域的技术人员可想出许多其它修改和实施方案，这些修改和实施方案落在本公开的范围和实质内。
具体实施方式
12.在世界上，嵌入标签中的单维和多维码是无所不在的。在零售、装运和识别中的应用无处不在。解码标签所需的硬件和软件的范围是从定制装备(例如，销售点激光扫描仪)到具有嵌入式相机的智能电话。解码标签所需的图像处理软件必须执行多种任务，包括：1)在可能存在杂波的图像中的单个或多个标签识别；2)标签取向(例如，旋转和平移)；以及3)对嵌入式代码进行解码和错误检测/校正。
13.给定图像的杂波越多，就需要更多计算资源来处理图像。在许多情况下(例如，便携电池供电设备)，计算资源受限，因此处理时间变成为主要问题。当处理视频流时，该问题进一步恶化，其中处理时间受帧率约束，或者其中计算资源正在执行多个同时任务(例如图像处理和渲染)。本公开的一些实施方案描述了用于处理具有嵌入式元素的图像以生成输出图像的系统和方法，使得可以用较少时间和计算资源损耗提取输出图像中的嵌入式元素。本公开的一些实施方案描述了一种预处理包含单维或多维编码元素(例如，2d码)的图像的方法，使得可以由解码软件来更快速且更有效地对元素进行解码。在一些实施方案中，该方法包括以下步骤：从具有一个或多个嵌入式元素的输入中选择颜色通道，该输入可以是图像序列或静态图像；处理该输入的颜色通道以生成数据分布信息，以将该输入中的嵌入式元素与其他元素分离；基于经处理的数据来确定阈值；以及基于该阈值来生成输出图像。在一些实施方案中，该方法包括以下步骤：将图像分离为其n种组分颜色，选择n种颜色中的一种颜色，处理该颜色组分以最大化嵌入式元素并且最小化所有其他元素，然后生成输出图像，该输出图像将被提供给图像处理软件(例如，解码软件)以从嵌入式元素提取信息。
14.在一个实施方案中，本文所述的函数、算法和方法可在软件中实施。软件可由计算机可执行指令组成，该计算机可执行指令存储在计算机可读介质或计算机可读存储装置上，该计算机可读存储装置诸如一个或多个非暂态存储器或其他类型的基于硬件的存储装置，本地的或联网的。另外，此类函数对应于模块或处理器，该模块或处理器可以是软件、硬件、固件或它们的任何组合。多种函数可根据需要在一个或多个模块或处理器中执行，并且所述的实施方案仅是示例。软件可在数字信号处理器、asic、微处理器或在计算机系统(诸如个人计算机、服务器或其他计算机系统)上运行的其他类型的处理器上执行，从而将此类计算机系统转化为特定编程的机器。
15.在一些情况下，嵌入式元素是具有可区分的象征意义的一维或二维元素。在一些情况下，嵌入式元素是图形元素。在一些实施方案中，嵌入式元素是代码，该代码可以是一维或多维码。在一些情况下，嵌入式元素是屏蔽的代码。屏蔽的代码是指对人眼通常不可见的代码，但是使用专用装备可以使得人眼可见该代码或者可由专用装备读取该代码。屏蔽的代码的示例是在人眼不可见的波长中可见的代码，例如，红外线代码、紫外线代码或依赖于对光偏振的操作的代码。
16.图1示出了图像预处理系统100的一个示例的系统图。在所示示例中，系统100包括图像数据110、图像捕获设备130和计算设备120以及任选的照明设备140，该图像数据包括嵌入式元素112和其他元素114。图像预处理系统100将向图像处理软件150提供输出图像，以用于进一步处理例如代码提取、解码等。
17.在一些实施方案中，图像捕获设备130是相机或被配置为捕获图像数据(例如视频
流、顺序图像或静态图像)的其他部件。在一些示例中，图像捕获设备130可以是移动设备的相机。在一些情况下，图像捕获设备130可包括能够捕获图像数据的其他部件，诸如视频记录器、红外摄像机、ccd(电耦装置)或cmos阵列、激光扫描器等。另外，所捕获的图像数据110可以包括图像、视频、图像序列(即，在一段时间内和/或以一定顺序采集的多个图像)、图像集合等中的至少一者，并且术语输入图像在本文中用于指各种示例性类型的图像数据。
18.在一些实施方案中，照明设备140(例如，相机闪光灯单元)能够发射2个或更多个同时式波长并且可由计算设备120和/或图像捕获设备130控制。在一些情况下，假设图像捕获设备130对所选择的波长敏感，照明设备140可以输出人眼可见和不可见波长(例如，红外或紫外线)。
19.在一些实施方案中，嵌入式元素112和/或其他元素114中的至少一个元素具有已知图像属性，使得计算设备120可以基于已知图像属性来选择预处理方法。图像属性是指在图像中可识别的属性，例如，颜色强度、纹理等。
20.计算设备120可以是具有计算能力的任何设备、服务器或装备，包括但不限于电路、计算机、处理器、处理单元、移动设备、微处理器、平板电脑等。在一些情况下，可以在共享计算设备上实现计算设备120。另选地，可以在多个计算设备上实现计算设备120的部件。在一些具体实施中，计算设备120的各种模块和部件可以实现为软件、硬件、固件或它们的组合。
21.在一些实施方案中，预处理系统100被设计成预处理图像以生成用于单维和多维编码图像(例如，qr码)的标准解码软件的输出图像，该单维和多维编码图像利用高可见性材料，特别是具有由照明设备140照射的逆向反射材料的那些标签。本公开的一些实施方案可以与解码软件结合使用，该解码软件在资源有限的硬件上，诸如具有配备有多波长(例如，白色或rgb光)照明源的嵌入式或连接式彩色相机/成像器的智能电话或嵌入式系统。在一些情况下，预处理系统100可通过增强图像中的关注的嵌入式元素并抑制其他元素(包括背景)来减少所捕获的图像中的杂波。在一些情况下，针对速度而不是对象识别来优化预处理系统100，这使得其可用于扫描视频流、顺序图像(例如，票据扫描)或全景静态图像(例如，墙壁上的标签)。
22.图2a是图像预处理系统的流程图的一个示例。在一些情况下，流程图中的步骤序列可能不具有确切的顺序。图像预处理系统首先接收输入图像(步骤210a)，其中输入图像可以是视频流、图像序列或静态图像。在一些情况下，由图像捕获设备来捕获输入图像。在一些情况下，预处理系统生成单个平面图像(步骤215a)，其中每个单个平面图像对应于输入图像的色彩空间中的颜色平面。适用的色彩空间包括但不限于rgb(红色、绿色和蓝色)、lab(例如，hunter 1948l、a、b色彩空间，cie 1976(l*、a*、b*)色彩空间)、cmyk(青色、品红色、黄色和键色(黑色))、hsv(色调、饱和度和值)、hsl(色调、饱和度和亮度)、hsi(色调、饱和度和强度)、srgb(标准红色、绿色和蓝色)色彩空间。在一个示例中，通过在输入图像上利用拜耳滤波器来生成单个平面图像，使得每个像素均由三种原色(例如，红色、绿色和蓝色)子像素的组合构成；颜色平面由矩形像素阵列上方的相同颜色子像素构成。
23.对于特定的颜色平面，用颜色平面数据生成被称为p-图像的新图像。在一个示例中，p-图像仅包含所选的颜色平面数据，使得之后p-图像为具有三个颜色平面的色彩空间中原始输入图像的尺寸的三分之一。作为另一个示例，可以通过复制在剩余的颜色平面中
的所选颜色平面数据来构建p-图像，使得p-图像尺寸等于原始图像尺寸。作为rgb色彩空间中的输入图像的一个示例，如果选择红色平面，则绿色和蓝色平面将填充有对应的红色数据。p-图像将具有原始图像的图像分辨率的三分之一。作为构建p-图像的另一个示例，将函数f1(所选平面)和f2(所选平面)应用于所选单个平面图像数据以生成剩余的颜色平面的数据；p-图像尺寸将等于原始图像尺寸。函数的示例可以是但不限于线性函数(例如，fn(像素)＝k*像素)或非线性函数(例如，fn(像素)＝如果(像素＝《k)则像素＝0，否则像素＝1)。
24.在生成p-图像之后，将其转换为灰度图像，例如，以简化计算并减少计算的时间量和/或资源量。p-图像可以以若干种方式转化为灰度。
25.i.如果p-图像仅使用所选单个平面数据，则其已经是多位灰度；
26.ii.如果p-图像是具有所选平面数据的rgb格式，则可以通过应用转换函数gs(r,g,b)将其转换为灰度格式以生成灰度图像。对于具有红色通道中r的值、绿色通道中的g的值和蓝色通道中的b的值的每个像素，一些示例性函数包括但不限于：
27.gs(r,g,b)＝[max(r,g,b) min(r,g,b)]/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0028]
gs(r,g,b)＝(r g b)/3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0029]
gs(r,g,b)＝0.21*r 0.72*g 0.07*b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0030]
p-图像也可以通过阈值化来转换为1位灰度，其中灰度像素值是1或0，这取决于p-图像像素值是否大于预先确定的阈值。在其中需要多位数据的一些情况下，可以将阈值化像素分配为0或[(2^res)
–
1]，其中res是以位为单位的像素分辨率。例如，如果res＝8位，则值为0和255。
[0031]
接下来，系统计算输入图像的一个或多个柱状图，每个柱状图对应于图像的单个平面(220a)。在一些实施方案中，系统选择输入图像的色彩空间中的颜色平面(步骤225a)。在一些情况下，基于在输入图像中捕获的关注的嵌入式元素和/或在输入图像中捕获的其他元素来选择颜色平面。在一些情况下，基于在输入图像中捕获的关注的嵌入式元素的已知颜色特性和/或在输入图像中捕获的其他元素的已知颜色特性来选择颜色平面。例如，对于在背景中具有监视器的rgb色彩空间中的输入图像，将选择绿色颜色平面或红色颜色平面。在一些情况下，可以基于对图像捕获设备、照明设备、关注的嵌入式元素和图像背景信息的知识来选择颜色平面，或者可选地，可以通过将函数(例如，图像平均或标准偏差)应用于单个平面图像数据并计算最佳候选来选择该颜色平面。可能的选择标准可以包括但不限于数据分布(即柱状图)、图像噪声、图像对比度、图像统计和动态范围。
[0032]
在一些情况下，步骤220a在步骤225a之前完成。在一些情况下，步骤225a在步骤220a之前完成。接下来，系统识别一个或多个柱状图中的一个柱状图中的多个峰值或关注的范围(步骤230a)，其中一个柱状图对应于所选择的颜色平面。在一些情况下，对柱状图进行滤波以去除高频噪声。在一些情况下，卷积矩阵滤波器用于使高频噪声平滑。在一个示例中，滤波器的内核(k)是3x3矩阵k[0:2,0:2]，其中k[1,1]＝0并且k[x《》1,y《》1]＝1，使得当应用滤波器时，计算得到简化。在以上示例中，针对速度而不是保真性选择内核。可以使用用于滤波的其他滤波器和内核。在一些情况下，系统基于输入图像的嵌入式元素和/或其他元素的已知颜色强度来选择所选择的颜色平面的柱状图中的关注的范围。在一些情况下，系统通过确定局部最大值来选择柱状图中的两个或更多个峰值，这在下文更详细地描述。
[0033]
系统基于关注的范围内的多个峰值或值来确定阈值(240a)。在一些示例中，嵌入
式元素是具有高颜色强度的元素。例如，嵌入式元素是逆向反射标签。高强度元素通常是输入图像中的最亮的对象，例如，具有接近最大像素图像值的像素值的元素。在一些实施方案中，将阈值计算为多个峰值的函数。在一些情况下，将阈值计算为关注的范围内的柱状图值的函数。
[0034]
系统使用阈值来进一步处理输入图像以生成输出图像(250a)。在设定阈值之后，生成阈值化图像文件t-图像[n,m]＝阈值(l-图像[n,m]，阈值)。可以将阈值化图像文件t-图像[n,m]传递到其他图像处理软件，例如解码软件。
[0035]
图2b是图像预处理系统的流程图的另一个示例。首先，系统照射标签，该标签是所选择的颜色中的关注的元素的一个示例(步骤210b)。在一些情况下，所选择的颜色是原色。系统捕获单个平面图像(步骤215b)。在一些情况下，系统可以照射具有其他颜色的标签并且捕获其他单个平面图像。系统将计算输入图像的一个或多个柱状图(步骤220b)。其他步骤与图2a中的步骤相同。
[0036]
图2c-1和图2c-2示出了图像预处理系统的一个示例的流程图。该步骤中的一些步骤是任选的，并且一些步骤可以以不同顺序放置。在该示例中，系统捕获图像或接收图像(步骤210c)。接下来，系统将图像分离为m个组分平面图像(步骤215c)。例如，系统将rgb图像分离为红色平面图像、绿色平面图像和蓝色平面图像。系统针对每个平面图像而生成柱状图(步骤220c)，然后通过应用本文所述的选择标准来选择平面p(步骤225c)。系统通过评估平面图像p的柱状图和/或通过配置参数，来决定是否应该应用滤波器(步骤230c)；如果是，则将应用噪声滤波器(235c)。另外，系统从柱状图p(240c)中的局部峰值建立峰阵列[1:n]，并且将阈值tb计算为峰阵列[1:n]的函数(步骤245c)。
[0037]
系统评估输出图像是否应该是二进制图像(步骤250c)，并且如果是，则设定min_value＝0并且max_value＝1(步骤251c)；并且如果否，则设定min_value＝0并且max_value＝image_max，其中对于具有r位像素的图像，image_max＝2^r-1(步骤252c)。系统将通过对平面p的所有像素进行阈值化来建立阈值化图像t，使得如果像素《＝tv，则像素＝min_value，否则像素＝max_value(步骤255c)。系统在输出图像是否应为单个平面图像(步骤260c)上接收输入。输入可以取决于图像处理软件以接收输出图像。如果输出图像不是单个平面图像，则系统可以将所有图像平面[1:m]计算为平面t的函数(步骤265c)并且基于所有平面来创建输出图像-t(步骤285c)。如果输出图像是单个平面，则输出图像-t＝平面t(步骤270c)。任选地，针对解码软件或另一种处理软件，系统格式化图像-t(步骤275c)。另外，系统向解码软件或另一种处理软件发送或提供图像-t(步骤280c)。
[0038]
图3a至图3i示出了图像预处理系统的一个示例性过程。图3a示出了已经被分离为其三个组分颜色平面(下方从左到右所示的红色、绿色和蓝色)的rgb图像(图的顶部)的柱状图的示例。在每个颜色平面中，概述了对应于关注的元素的可能值范围的关注的范围(roi)。在一些情况下，roi被定义为最大像素值的百分比，例如值的范围的前25％(最大值的75％至最大值)。检查每个颜色平面的roi，并且根据特性，选择一个或两个平面。在图3a示例中，蓝色平面roi均匀地填充有许多样本，因此它不是良好候选。红色平面在roi的下端处具有非常大的峰，这可能使得在关注的元素是图像中的最亮的对象的示例中，发现关注的元素变得更加困难。绿色平面更稀疏地填充有较少的高频噪声，因此它是该示例的最佳候选。
[0039]
当已经选择平面时，系统可以选择平面数据或柱状图数据是否需要进行滤波。图3b示出了从图3a的示例性rgb图像中选择的绿色平面柱状图。图3d示出了未滤波的柱状图；图3e示出了用低通滤波器(lpf)进行滤波的柱状图；并且图3f示出了从由lpf进行滤波的绿色平面数据生成的柱状图。对于该示例，对平面数据进行滤波尚未改善所得柱状图，同时对柱状图数据进行滤波已经减小了一些噪声，特别是在roi中。
[0040]
图3b示出了来自图3a的示例性绿色平面柱状图，该柱状图具有由虚线界定的roi。如先前所述，roi是最可能包含关注的元素图像数据的值的范围。尽管阈值化图像更容易解码，但是一种可以产生可接受的结果、计算速度快并且不需要阈值化的方法是建立对应于roi中的最低值的截止值，并且根据以下规则使用该截止值以转化绿色平面像素数据：
[0041]
如果(cpix[x,y]《截止值)
[0042]
则tpix[x,y]＝0
[0043]
否则tpix[x,y]＝cpix[x,y]
[0044]
其中cpix[x,y]是来自所选平面(例如，绿色平面)的像素值，并且tpix[x,y]是待传输到图像处理软件(例如，解码软件)的平面的像素值。经转化的示例性绿色平面的柱状图在图3c的底部上示出。
[0045]
对于需要阈值化的情况，图3g至图3i示出了可如何计算阈值(“阈值”)的三个示例。图3g示出了图3a的示例性绿色平面的roi。在该柱状图中，roi的平均值“平均值”以常规方式计算。在柱状图中(即[2^分辨率
–
1]，其中分辨率是以位为单位的像素分辨率)，从最大值(称为“max”)减去平均值。该差值除以2，然后与平均值相加以产生阈值，使得
[0046]
阈值＝(最大值
–
平均值)/2 平均值
ꢀꢀꢀꢀꢀꢀꢀ
(6)
[0047]
图3h示出了图3a的示例性绿色平面的roi。在该柱状图中，再次计算roi的平均值以及标准偏差(称为“sd”)。如下计算阈值：
[0048]
阈值＝平均值 n*sd
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0049]
其中n为介于1与2之间的数字。
[0050]
图3i示出了图3a的示例性绿色平面的roi。在该柱状图中，已经添加了指示柱状图中的峰的竖直线。在该示例中，对峰的检查示出了它们围绕三个值进行聚类(由圆圈指示)；在其他情况下，峰可能更不同。在这种情况下，为了计算阈值，将计算第一峰最小边缘(或者如果未聚类，则为中心)pk1与第二峰最大边缘(或者如果未聚类，则为中心)pk2之间的差值；该差异命名为g。如下计算阈值：
[0051]
g＝pk1
–
pk2
[0052]
阈值＝pk2 m*g
ꢀꢀꢀꢀꢀꢀꢀ
(8)
[0053]
其中m是介于0.25与0.75之间的数字，并且pk1》pk2。
[0054]
一旦所选择的一个或多个平面已经得到处理(例如，阈值化或转化)，就如先前所述装配输出图像然后传递到软件或处理单元以进行进一步处理。
[0055]
图4a至图4i示出了图像预处理系统对具有关注的元素400的图像进行预处理的一个示例。系统计算每个颜色平面图像(如图4a、图4d和图4g所示)的柱状图，其中柱状图在图4b、图4e、图4h中示出。由于其相对平滑的数据分布和白峰(围绕255聚类的数据)与暗峰(大约75和115)之间的较大差值，因此系统选择红色平面图像。检查颜色平面图像，系统发现蓝色平面具有比红色和绿色平面更多的高亮度对象(例如，监视器屏幕)。这在柱状图中以下
划线标出，其中蓝色柱状图示出在柱状图的最右边象限的密度大得多(即，最高亮度值)。绿色和红色柱状图的第四象限密度大致相等。
[0056]
系统使用上述实施方案中的一个实施方案来选择阈值并生成阈值化图像，如图4c、图4f和图4i所示，其中关注的元素400被放大。系统评估阈值化颜色平面示出，可以轻松地分离红色和绿色平面中的(而非蓝色平面中的)关注的元素，即使全部三个平面产生清晰的标签图像。尽管阈值化绿色平面的伪影比红色平面(略)少，但是红色平面将是阈值化的更好选择，因为来自柱状图中的最大值的第一峰(红色柱状图的右端)比在绿色平面中更好地进行限定，并且更容易在软件中进行定位(例如，使用微分并定位局部极大值和极小值)。
[0057]
本发明不应被认为限于上述特定示例和实施方案，因为详细描述此类实施方案是为了有利于说明本发明的各个方面。相反，本发明应被理解为涵盖本发明的所有方面，包括落在如由所附权利要求书及其等同物所限定的本发明的实质和范围内的各种修改、等同工艺和替代装置。