影像处理方法与影像处理系统与流程

1.本公开内容涉及一种影像处理方法与影像处理系统，特别涉及一种基于深度学习抗光线干扰匹配的一种影像处理方法与影像处理系统。


背景技术：

2.特征匹配(feature match)被泛用在许多电脑视觉如图像检索、相机定位等领域当中，影像的特征必须对尺度、方向、视角以及光线保持不变性与唯一性。
3.然而，在环境场景相似度比对的领域当中，现有特征匹配系统或方法并无针对光线差异与场景视野变化进行优化，导致匹配结果不如预期。


技术实现要素：

4.本公开文件提供一种影像处理方法，其包括步骤：通过影像数据处理装置基于特征抽取模型分析多个影像数据，以产生对应上述影像数据的特征向量集合，其中影像数据包含与特征向量集合中的至少一第一特征相关的多个第一影像数据以及与特征向量集合中的至少一第二特征相关的多个第二影像数据；通过影像数据处理装置基于特征抽取模型从第一影像数据与第二影像数据中分别选取对应的第一训练图块组以及第二训练图块组，并对第一训练图块组以及第二训练图块组进行运算，以产生对应的至少一损失函数值；以及根据至少一损失函数值调整特征抽取模型，使得当影像数据处理装置基于经调整的特征抽取模型分析影像数据时，第一影像数据与第二影像数据匹配的程度增加。
5.本公开文件提供一种影像处理系统，其包括影像获取装置以及影像数据处理装置。影像获取装置，用以获取多个影像数据；以及影像数据处理装置，耦接影像获取装置，并用以基于特征抽取模型对影像数据中的多个第一影像数据与多个第二影像数据进行比对操作，且依据比对操作的结果输出影像定位结果；其中第一影像数据与至少一第一特征相关，第二影像数据与至少一第二特征相关，特征抽取模型是根据对第一影像数据及第二影像数据进行运算所产生的至少一损失函数值进行调整。
6.通过上述影像处理方法与影像处理系统，能够改善户外场景光线变化大时的特征匹配系统的准确度。
附图说明
7.图1为根据一些实施例所示出的影像处理系统的示意图。
8.图2为根据一些实施例所示出的运行影像处理系统的流程图。
9.图3为根据一些实施例所示出的影像数据的分类示意图。
10.图4a与图4b为根据一些实施例所绘制样本筛选机制的示意图。
11.图5为根据一些实施例所示出的分群共享参数步骤流程图。
12.附图标记说明：
13.110：影像获取装置
14.120：影像数据处理装置
15.130：特征抽取模型
16.140：指令库
17.200：影像处理方法
18.s210、s220、s230、s240、s250、s260、s270：步骤
19.300：影像数据
20.310：第一影像数据
21.320：第二影像数据
22.400：样本筛选机制
23.l1～l4：欧式距离
24.500：分群共享参数步骤
具体实施方式
25.下文是举实施例配合说明书附图作详细说明，但所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明，而结构操作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等技术效果的装置，皆为本发明公开内容所涵盖的范围。
26.在全篇说明书与相关申请文件所使用的用词(terms)，除有特别注明外，通常具有每个用词使用在此领域中、在此公开的内容中与特殊内容中的平常意义。某些用以描述本公开的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本公开的描述上额外的引导。
27.图1为根据一些实施例所示出的影像处理系统100的示意图。如图1所示，影像处理系统100包括影像获取装置110以及影像数据处理装置120。影像数据处理装置120与影像获取装置110耦接。影像处理系统100用以获取如后述图3中的多个影像数据300，例如各种不同的照片或是图案，并将其串流至影像数据处理装置120。
28.在一些实施例中，影像获取装置110可通过智能手机的摄像镜头、相机摄像镜头或是具有截图功能的程序软件实现。
29.在一些实施例中，影像数据处理装置120可通过诸如笔记本电脑、台式电脑等电脑系统实现。
30.在一些实施例中，影像数据处理装置120包含特征抽取模型130和指令库140，其中特征抽取模型130是预先配置于影像数据处理装置120中，且其架构是建立在if-net(illumination neural network)的深度学习网络架构。
31.又在一些实施例中，特征抽取模型130是通过if-net基于深度学习的卷积神经网络(convolutional neural network,cnn)来训练特征抽取模型130产生的特征描述器(descriptor)，并通过其学习训练以找出适应性高的特征描述器。在一些实施例中，上述适应性高的特征描述器可以用来解决户外场景光线差异变化大的情况下的特征匹配误差。
32.在一些实施例中，指令库140存储有运算指令，通过影像数据处理装置120中的处理器(未示出)存取并执行。
33.图2为根据一些实施例所示出的影像处理系统100的运行流程图。如图2所示，影像处理系统100的运行流程包含步骤s210、步骤s220、步骤s230、步骤s240、步骤s250、步骤
s260以及步骤s270。为了方便清楚说明，图2所示的影像处理方法200是参照图1来做说明，但不以其为限。
34.于步骤s210，影像获取装置110获取当前环境影像作为影像数据300(如图3所示)输入至影像数据处理装置120。接着，于步骤s220，影像数据处理装置120载入特征抽取模型130，并于步骤s230载入一环境场景模型。
35.于步骤s240，分别从环境场景模型与影像数据300中抽取环境特征，并于步骤s250中通过影像数据处理装置120对影像数据300进行环境特征相似度的比对操作。接着于步骤s260，影像数据处理装置120依据步骤s250中的比对结果进行空间定位，并于步骤s270中根据上述空间定位输出影像定位结果。
36.在一些实施例中，于步骤s240，影像数据处理装置120基于特征抽取模型130分析多个影像数据300，以产生对应影像数据300的特征向量集合。影像数据300包含后述图3中与上述特征向量集合中的至少一第一特征向量相关的多个第一影像数据310，以及与上述特征向量集合中的至少一第二特征向量相关的多个第二影像数据320。以下将参照图3举例说明。
37.图3为根据一些实施例所示出的影像数据300的分类示意图。第一影像数据310包含在不同观测距离或是观测角度下的影像数据，第二影像数据320包含在不同亮度或是光线下观测的影像数据，其中在较暗的光线下观测或是亮度较暗的的影像数据在图3的图示中以斜线涂满表示。换言之，在一些实施例中，上述至少一第一特征向量涉及影像观测角度以及影像观测距离中至少一者，上述至少一第二特征向量涉及影像亮度、影像伽玛值以及影像对比度中至少一者。
38.承上所述，由于在环境特征相似度比对的领域当中，现有技术中的特征抽取模型130对于光线差异与场景视野变化的干扰抵抗较差，导致匹配结果不如预期。因此，本公开文件提供一种影像处理方法来调整特征抽取模型130，以借此提高匹配结果。
39.在一些实施例中，上述影像处理方法包含通过影像数据处理装置120基于特征抽取模型130从第一影像数据310与第二影像数据320中分别选取对应的一第一训练图块组以及一第二训练图块组。以下将参照图4举例说明。
40.图4a与图4b为根据一些实施例所绘制样本筛选机制400的示意图。参照图4a，在一些实施例中，影像数据处理装置120是根据样本筛选机制400自第一影像数据310与第二影像数据320中选取第一训练图块组以及第二训练图块组。
41.在一些实施例中，第一影像数据310与第二影像数据320中分别具有基础图块(anchor)、多个同类图块(positive)与多个异类图块(negative)。同类图块与基础图块间有较高的匹配值，因此，同类图块与基础图块间具有较短的欧式距离(欧氏距离)。与同类图块相反，异类图块与基础图块间有较低的匹配值。因此，异类图块与基础图块间具有较长的欧式距离。
42.又在一些实施例中，如图4b所示，上述欧式距离是代表基于测量特征抽取模型130所产生的特征描述器所输出的图块间的距离。举例来说，同类图块的特征向量集合与基础图块的特征向量集合在特征描述器的空间上具有较短的欧式距离l1，而异类图块的特征向量集合与基础图块的特征向量集合间具有较长的欧式距离l2。
43.承上所述，在不同实施例中，测量经训练后的特征抽取模型130产生的特征描述器
所输出图块间的距离将会变动。举例来说，同类图块的特征向量集合与基础图块的特征向量集合在特征描述器的空间上，将具有小于欧式距离l1的欧式距离l3，而异类图块的特征向量集合与基础图块的特征向量集合间将具有大于欧式距离l2的欧式距离l4。换言之，影像数据处理装置120基于经训练后的特征抽取模型130所抽取的特征将具有比原来更高的匹配程度。
44.因此，在一些实施例中，影像数据处理装置120选取第一训练图块组的步骤包含从第一影像数据310的多个同类图块中，选取与第一影像数据310的基础图块匹配的程度最低的至少一同类图块作为第一训练图块组，以及从第一影像数据310的多个异类图块中，选取与第一影像数据310的基础图块匹配的程度最高的至少一异类图块作为第一训练图块组。换言之，第一训练图块组包含与第一影像数据310中基础图块的欧式距离最长的同类图块，以及与第一影像数据310中基础图块的欧式距离最短的异类图块。
45.在另一些实施例中，影像数据处理装置120选取第二训练图块组的步骤包含从第二影像数据320的多个同类图块中，选取与第二影像数据320的基础图块匹配的程度最低的至少一同类图块作为第二训练图块组，以及从第二影像数据320的多个异类图块中，选取与第二影像数据320的基础图块匹配的程度最高的至少一异类图块作为第二训练图块组。换言之，第二训练图块组包含与第二影像数据320中基础图块的欧式距离最长的同类图块，以及与第二影像数据320中基础图块的欧式距离最短的异类图块。
46.通过上述实施例中所描述的步骤，可以有效最大化基础图块与异类图块间的欧式距离，以及缩短基础图块与同类图块间的欧式距离，以让特征抽取模型130产生更具有代表性的特征描述器。
47.在一些实施例中，影像数据处理装置120执行指令库140中的运算指令对第一训练图块组以及第二训练图块组进行运算，以产生对应的至少一损失函数值。上述进行运算的步骤包含通过离群损失函数对第一训练图块组以及第二训练图块组进行运算，以产生至少一损失函数值。其中，离群损失函数如以下公式：
[0048][0049]
l为损失函数值；n为图块总数目；w
p
与w
n
为权重值；d
m
(a
i
,p
i
)代表基础图块与同类图块的欧式距离，而d
m
(a
i
,n
i
)则代表基础图块与异类图块的欧式距离。
[0050]
权重值w
p
为同一批次(batch)影像数据300的同类图块与基础图块间的欧式距离的平均，权重值w
n
为同一批次的异类图块与基础图块间的欧式距离的平均。如以下公式：
[0051][0052]
承上所述，若同一批次进行运算的数据群中参杂有噪声(noise)，而上述噪声相对于训练数据来说为离群值，将会对训练效能产生造成影响。因此，在一些实施例中，上述损失函数值可以降低在训练if-net深度网络时的噪声影响，以在训练过程中更有效的达到让特征抽取模型130收敛的效果。
[0053]
在一些实施例中，影像处理方法包含根据上述至少一损失函数值调整特征抽取模
型130，使得当影像数据处理装置120基于经调整的特征抽取模型130分析影像数据300时，第一影像数据310与第二影像数据320匹配的程度增加。
[0054]
又在一些实施例中，调整特征抽取模型130的步骤还包含将第一影像数据310与第二影像数据320输入至共享深度神经网络模型参数(shared-weight)的特征抽取模型130，以分别产生对应的不同损失函数值，以及将对应第一影像数据与第二影像数据的不同损失函数值存储并更新特征抽取模型130中的至少一网络参数。以下将参照图5举例说明。
[0055]
图5为根据一些实施例所示出的分群共享参数步骤500流程图。如图5所示，在一些实施例中，影像数据处理装置120基于特征抽取模型130存取指令库140中的运算指令对第一影像数据310进行运算，以产生第一损失函数值，且对第二影像数据320进行运算，以产生第二损失函数值。影像数据处理装置120将第一损失函数值与第二损失函数值存储并更新特征抽取模型130中的网络参数。
[0056]
在一些实施例中，上述分别将第一影像数据310与第二影像数据320输入至共享深度神经网络模型参数(shared-weight)的if-net，并一次性的更新网络参数的方法，可更有效的让特征抽取模型130具备处理不同类型数据的能力。
[0057]
在一些实施例中，影像数据处理装置120基于经调整的特征抽取模型130来进行以下操作中的至少一者，如对第一影像数据310与第二影像数据320进行如上述步骤s250的比对操作、依据如上述的比对操作结果进行如步骤s270的空间定位操作以及依据空间定位操作的结果输出的影像定位结果。
[0058]
承上所述，影像数据处理装置120基于经调整的特征抽取模型130于步骤s250中，将提高影像数据300的匹配程度，且于步骤s270中的影像定位结果也将更为准确。如下方表(一)为根据本公开文件中的实施例所产生的匹配程度数据比较表。
[0059]
表(一)
[0060][0061]
在光线或是场景变化大的情况下，依照特征抽取模型130从影像数据300中抽取到的特征数量比例判断正确率，可明显由表(一)中看出本公开文件提出的影像处理方法与系统能够提升匹配的准确率。
[0062]
虽然本公开内容已以实施方式公开如上，然其并非用以限定本公开内容，任何本领域具通常知识者，在不脱离本公开内容的构思和范围内，当可作各种的变动与润饰，因此本公开内容的保护范围当视权利要求所界定者为准。