一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

三维查找表重建方法、装置及电子设备与流程

2022-11-19 10:48:34 来源:中国专利 TAG:
1.本技术属于图像处理
技术领域
:,具体涉及一种三维查找表重建方法、装置及电子设备。
背景技术
::2.三维查找表(3-dimensionlook-up-table,3dlut)是一种被用于精准的控制色彩映射的工具,广泛应用于电影和图像处理领域。其原理较为简单,输入一种颜色,通过3dlut可以查找映射变换成另外一种颜色,通过3dlut可以达到非常高的颜色映射控制精度。3.目前,3dlut的制作方法是通过手动调整rgb色彩模型、lab颜色模型、hsv颜色模型等各种颜色空间曲线,或者选取一定范围内的像素进行调整,使原始图像在人眼主观判断标准下达到想要的目标图像的色彩效果后,通过具体的软件工具生成3dlut。4.上述方式生成的3dlut精度较低,受不同人的主观色彩判断结果的影响,往往不同的人调整出来的3dlut差异较大,且这个过程十分耗费时间和人力。技术实现要素:5.本技术实施例的目的是提供一种三维查找表重建方法、装置及电子设备。能够解决现有技术在生成三维查找表时,受人的主观影响导致的颜色查找表差异大,精度低的问题。6.第一方面,本技术实施例提供了一种三维查找表重建方法,该方法包括:7.获取基础图像数据集和目标图像数据集;其中,所述基础图像数据集中任意一张基础图像与所述目标图像数据集中对应的目标图像的图像内容的匹配度大于预设阈值;8.对所述基础图像数据集和所述目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与所述目标图像数据集中目标图像的像素的映射关系;9.基于所述映射关系对初始三维查找表进行重建,得到目标三维查找表。10.第二方面,本技术实施例提供了一种三维查找表重建装置,该装置包括:11.第一获取模块,用于获取基础图像数据集和目标图像数据集;其中,所述基础图像数据集中任意一张基础图像与所述目标图像数据集中对应的目标图像的图像内容的匹配度大于预设阈值;12.第一确定模块,用于对所述基础图像数据集和所述目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与所述目标图像数据集中目标图像的像素的映射关系;13.第二确定模块,用于基于所述映射关系对初始三维查找表进行重建,得到目标三维查找表。14.第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。15.第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。16.第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。17.第六方面,本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。18.在本技术实施例中,通过对获取的基础图像数据集和目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,根据该映射关系对初始三维查找表进行重建,可得到目标三维查找表,如此使用成对的基础图像数据集和目标图像数据集进行学习和训练,无需收集特殊数据集和进行繁杂的标注工作,提升了目标三维查找表的确定效率,过程中并不生成与图像内容相关的模型,提高了目标三维查找表的通用性和易用性。此外,通过本技术实施例的方法,可自动学习得到目标三维查找表,去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。附图说明19.图1是一示例性实施例示出的三维查找表重建方法的流程示意图之一;20.图2是一示例性实施例示出的对基础图像和目标图像进行分块的示意图;21.图3是一示例性实施例示出的在三维查找表中确定某一像素点的相关关键点的示意图;22.图4是一示例性实施例示出的目标三维查找表的应用示意图;23.图5是一示例性实施例示出的三维查找表重建方法的流程示意图之二;24.图6是一示例性实施例示出的三维查找表重建装置的结构示意图;25.图7是一示例性实施例示出的一种电子设备的结构示意图;26.图8是本技术实施例示出的一种电子设备的硬件结构示意图。具体实施方式27.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。28.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。29.如
背景技术
:部分所述,现在技术在生成三维查找表时,受人的主观影响导致的颜色查找表差异大,精度低的问题,为了解决上述问题,本技术实施例提供了一种三维查找表重建方法、装置及电子设备,通过对获取的基础图像数据集和目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,根据该映射关系对初始三维查找表进行重建,可得到目标三维查找表,如此使用成对的基础图像数据集和目标图像数据集进行学习和训练,无需收集特殊数据集和进行繁杂的标注工作,提升了目标三维查找表的确定效率,过程中并不生成与图像内容相关的模型,提高了和目标三维查找表的通用性和易用性。此外,通过本技术实施例的方法,可自动学习得到目标三维查找表,去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。30.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的三维查找表确定进行详细地说明。31.图1是本技术实施例所提供的一种三维查找表重建方法的流程示意图,该三维查找表重建方法的执行主体可以为服务器,需要说明的是,上述执行主体并不构成对本技术实施例的限定。32.如图1所示,本技术实施例提供的三维查找表重建方法可以包括步骤110-步骤130。33.步骤110、获取基础图像数据集和目标图像数据集。34.其中,基础图像数据集可以是包含有多张基础图像的数据集。该数据集可以是输入到3dlut中的图像数据集。35.目标图像数据集可以是包含有多张目标图像的数据集。该数据集可以是基础图像数据集经过3dlut后所得到的图像数据集。36.在本技术的一些实施例中,基础图像数据集中的每张基础图像均与目标图像数据集中的一张目标图像相对应。且基础图像数据集中任意一张基础图像与目标图像数据集中对应的目标图像的图像内容的匹配度大于预设阈值。37.这里的预设阈值可以是预先设置的基础图像数据集中任意一张基础图像与目标图像数据集中对应的目标图像的图像内容的匹配度的阈值,例如可以是50%。即基础图像数据集中任意一张基础图像与目标图像数据集中对应的目标图像的图像内容要在50%以上一致,且颜色存在差异。38.步骤120、对基础图像数据集和目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系。39.在本技术的一些实施例中,为了精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,步骤120具体可以包括:40.对基础图像数据集中任意一张基础图像,以及目标图像数据集中对应的目标图像进行分块处理;41.对分块处理后的基础图像和目标图像进行配对处理,得到p对图像区域块对;42.对每个图像区域块对进行密度聚类处理和类簇配对;43.基于配对的类簇进行三维点云配准,得到旋转平移矩阵。44.其中,p为正整数。45.图像区域块对可以是对分块处理后的基础图像和目标图像进行配对处理后,所得到的区域块对。46.在一个示例中,参考图2,图2为对基础图像数据集中任意一张基础图像进行分块的示意图,对基础图像进行分块,得到m个基础图像区域块(即图2中的区域1、区域2、……、区域m)。47.对应地,目标图像数据集中对应的目标图像的分块可以参照基础图像的分块方式,在此不再赘述。48.在本技术的一些实施例中,可以对分块处理后的基础图像和目标图像进行配对处理,即每个基础图像区域块对应于一个目标图像区域块。然后可对每个图像区域块对进行密度聚类处理,得到多个类簇,然后分别对每个图像区域块对应的类簇进行配对,对每个配对的类簇进行三维点云配准,可得到旋转平移矩阵。49.在本技术的实施例中,通过对基础图像数据集中任意一张基础图像,以及目标图像数据集中对应的目标图像进行分块处理,对分块处理后的基础图像和目标图像进行配对处理,得到p对图像区域块对,对每个图像区域块对进行密度聚类处理和类簇配对,基于配对的类簇进行三维点云配准,得到旋转平移矩阵,如此可精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系。50.在本技术的一些实施例中,为了进一步得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,所述对每个图像区域块对进行密度聚类处理和类簇配对,具体可以包括:51.对每个图像区域块对中基础图像区域块的各像素点进行空间映射,得到基础三维像素点云,并对基础三维像素点云进行密度聚类,得到k个第一类簇;52.对与基础图像区域块对应的目标图像区域块的各像素点进行空间映射,得到目标三维像素点云,并对目标三维像素点云进行密度聚类,得到k个第二类簇;53.根据k个第一类簇的质心和k个第二类簇的质心,将第一类簇和第二类簇进行配对。54.其中,k为正整数。55.基础三维像素点云可以是对每个图像区域块对中基础图像区域块的各像素点进行空间映射后所得到的点云。56.目标三维像素点云可以是对与基础图像区域块对应的目标图像区域块的各像素点进行空间映射后所得到的点云。57.第一类簇可以是对基础图像区域块对应的基础三维像素点云进行密度聚类后所形成的类簇。58.第二类簇可以是对目标图像区域块对应的目标三维像素点云进行密度聚类后所形成的类簇。59.在本技术的一些实施例中,对每个图像区域块对中基础图像区域块的各像素点进行空间映射,得到基础三维像素点云,以及对与基础图像区域块对应的目标图像区域块的各像素点进行空间映射,得到目标三维像素点云,可以是将基础图像区域块和目标图像区域块中的各像素点在rgb空间下进行映射,映射到0-1之间的值,即为得到的基础三维像素点云和目标三维像素点云。60.在一个示例中,以每个图像区域块对中基础图像区域块为例,对基础图像区域块中的各像素点在rgb空间下进行映射,映射到0-1之间的值,具体可以通过如下方式实现:比如8位rgb图像(基础图像区域块)的像素值范围为0-255,图像的每个像素除以最大值减去最小值,就可以将基础图像区域块像素映射到0-1之间,例如:一个像素值是88,那么映射时为88/(255-0)。61.在一个示例中,利用dbscan密度聚类算法对每个图像区域块对中的基础图像区域块进行密度聚类,例如得到5个第一类簇。利用dbscan密度聚类算法对每个图像区域块对中的目标图像区域块进行密度聚类,同样得到5个第二类簇。62.分别计算5个第一类簇的质心位置,例如可以为s1、s2、s3、s4和s5,分别计算5个第二类簇的质心位置,例如可以为t1、t2、t3、t4和t5。对于5个第一类簇中的某一类簇来说,质心为s1,若5个第二类簇中距离s1最近的质心为t3,那么s1代表的第一类簇就匹配t3代表的第二类簇,循环处理直到找到5对配对关系。63.在本技术的实施例中,通过对每个图像区域块对中基础图像区域块的各像素点进行空间映射,得到基础三维像素点云,并对基础三维像素点云进行密度聚类,得到k个第一类簇,对与基础图像区域块对应的目标图像区域块的各像素点进行空间映射,得到目标三维像素点云,并对目标三维像素点云进行密度聚类,得到k个第二类簇,然后根据k个第一类簇的质心和k个第二类簇的质心,将第一类簇和第二类簇进行配对,如此可精确将每个图像区域块对进行密度聚类处理和类簇配对,进而可精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系。64.在本技术的一些实施例中,所述基于配对的类簇进行三维点云配准,得到旋转平移矩阵,具体可以是:65.针对每个配对的类簇,对第一类簇的像素特征点与第二类簇的像素特征点进行点云配准,得到第一类簇与第二类簇之间的旋转平移矩阵。66.在本技术的一些实施例中,针对每个配对的类簇,可以利用迭代最近点(iterativeclosestpoint,icp)点云配准方法对每个配对的类簇进行点云配准,得到每个配对的类簇之间的旋转平移矩阵。例如输入为两组三维点,分别记为source_p1,target_p1,算法将每一组三维点看做是一个刚体,过程为标准流程,最终算法会得到一组表示两组刚体之间旋转平移关系的矩阵rt,通过此矩阵rt乘以source_p1中的三维点即可得到target_p1中最优的相应的匹配点位置。67.具体的利用icp点云配准方法进行点云配准属于现有技术,在此不再赘述。68.在本技术的一些实施例中,在利用icp点云配准方法进行点云配准之前,还可以是使用ransac算法去除离群点,以增加点云配准的精确性。69.在本技术的一些实施例中,上述得到的第一类簇和第二类簇的数量可能是不同的,如此在匹配时,无法进行一一匹配,为了进一步精确对每个图像区域块对进行匹配,在得到k个第一类簇和k个第二类簇之前,上述所涉及的三维查找表重建方法还可以包括:70.将第一类簇的第一数量和第二类簇的第二数量中较大值对应的类簇作为第一目标类簇;71.将第一目标类簇中各类簇的质心距离最近的两个类簇进行合并,直至合并后的类簇的数量与第二目标类簇的数量相等。72.其中,第一目标类簇可以是第一类簇的第一数量和第二类簇的第二数量中较大值对应的类簇。73.第二目标类型为第一类簇的第一数量和第二类簇的第二数量中较小值对应的类簇。74.在一个示例中,若第一类簇的数量为3个,第二类簇的数量为7个,则第二类型为第一目标类簇,第一类簇为第二目标类簇。75.继续上述示例,若第一类簇的数量为3,第二类簇的数量为7,第二类簇中的质心位置可以为t1、t2、t3、t4、t5、t6和t7,则将这7个质心中距离最近的两个类簇进行合并,合并成6个类簇,然后再将合并后的6个类簇中的质心距离最近的两个类簇进行合并,合并为了5个类簇,再将5个类簇中的质心距离最近的两个类簇进行合并,依次类推,直至与第二目标类簇的数量一样。76.然后根据数量相等的第一类簇的质心和第二类簇的质心,将第一类簇和第二类簇进行配对。77.在本技术的实施例中,在第一类簇和第二类簇的数量不相等的情况下,通过将第一类簇的第一数量和第二类簇的第二数量中较大值对应的类簇作为第一目标类簇,将第一目标类簇中各类簇的质心距离最近的两个类簇进行合并,直至合并后的类簇的数量与第二目标类簇的数量相等,得到至少一个相互匹配的类簇,如此可得到精确匹配的类簇。78.在本技术的一些实施例中,为了得到精确的目标三维查找表,在所述对基础图像数据集中任意一张基础图像,以及目标图像数据集中对应的目标图像进行分块处理之前,上述所涉及的三维查找表重建方法还可以包括:79.提取基础图像数据集中基础图像的至少四个第一关键点,以及目标图像数据集中对应的目标图像的至少四个第二关键点;80.确定将至少四个第一关键点转换为至少四个第二关键点的单应性矩阵;81.基于单应性矩阵,对基础图像和目标图像进行对齐处理。82.其中,第一关键点可以是基础图像中的特征点,第二关键点可以是目标图像中的特征点。83.在本技术的一些实施例中,通过特征点提取算法可分别提取基础图像的至少四个第一关键点和目标图像的至少四个第二关键点,例如可以是尺度不变特征转换(scale-invariantfeaturetransform,sift)关键点,然后计算将至少四个第一关键点转换为至少四个第二关键点的单应性矩阵(h矩阵),根据该单应性矩阵对齐基础图像和目标图像,得到对齐后的基础图像和目标图像。84.在本技术的一些实施例中,对齐处理可以是执行多次,以减小成对图像之间较大图像内容差异对对齐结果的影响。85.需要说明的是,在对齐处理为多次的情况下,每次对齐操作的h矩阵是不同的,h矩阵与基础图像和目标图像之间的图像校正量(校正量指基础图像需要旋转、平移缩放、透视等变化多少像素才能对齐目标图像)大小相关,所以第一次h矩阵可能比较大,第二次使用第一次已经对齐过一次的结果再进行对齐,h矩阵就会比较小,后续的对齐操作是用于提高对齐精度。86.在本技术的实施例中,通过提取的基础图像数据集中基础图像的至少四个第一关键点和目标图像数据集中对应的目标图像的至少四个第二关键点,确定将至少四个第一关键点转换为至少四个第二关键点的单应性矩阵,然后基于单应性矩阵,将基础图像和目标图像对齐,进而可得到对齐后的基础图像和目标图像,如此可将基础图像和目标图像进行精确对齐,进而得到精确的基础图像数据集和目标图像数据集之间的目标三维查找表。87.步骤130、基于映射关系对初始三维查找表进行重建,得到目标三维查找表。88.其中,初始三维查找表可以是用户初始设置的三维查找表,还可以是之前循环所生成的三维查找表。目标三维查找表可以是最终得到的三维查找表。89.在本技术的一些实施例中,为了精确得到目标三维查找表,步骤130具体可以包括:90.获取初始学习率;91.基于旋转平移矩阵和初始学习率,对初始三维查找表进行重建,得到目标三维查找表。92.其中,初始学习率可以是用户初始设置的学习率,该初始学习率可以根据用户需求自行设置,这里不做限定,例如可以是0.05。93.在本技术的实施例中,通过旋转平移矩阵和初始学习率,可对初始三维查找表进行重建,得到目标三维查找表,如此可得到精确的目标三维查找表,该表可去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。94.在本技术的一些实施例中,为了进一步精确得到目标三维查找表,所述基于旋转平移矩阵和初始学习率,对初始三维查找表进行重建,得到目标三维查找表,具体可以包括:95.针对每对匹配的类簇,循环执行如下步骤,得到目标三维查找表:96.基于旋转平移矩阵和初始学习率,根据初始三维查找表,学习基础图像区域块和目标图像区域块之间的颜色对应关系;97.在确定不满足预设学习停止条件的情况下,更新初始三维查找表和初始学习率,返回执行基于旋转平移矩阵和初始学习率,根据初始三维查找表,学习基础图像区域块和目标图像区域块之间的颜色对应关系,直至满足预设学习停止条件,得到目标三维查找表。98.其中,预设学习停止条件可以是预先设置的学习停止条件,例如可以是循环次数达到一定阈值,还可以是学习率达到一定数值等,这里不做限定。99.在一个示例中,针对每个相互匹配的区域块中的每对匹配的类簇,遍历基础图像对应的类簇中的像素点,在初始三维查找表中找到该像素点对应的相关关键点,如图3所示,图3中的整个立方体相当于是初始三维查找表,基础图像中某一类簇中的某个像素点p1有8个相关关键点:m1、m2、m3、m4、m5、m6、m7和m8,每个像素点均有8个相关关键点,然后去除该类簇中重复的相关关键点,记录去除重复后的相关关键点后的相关关键点为m1、m2、……、mb(b为正整数),将每个相关关键点齐次化为4*1矩阵,相关关键点的新的位置pb为如下公式(1)所示。100.需要说明的是,由于三维查找表描述的是基础图像和目标图像中的各像素点的像素值的对应关系,每个位置对应有一个像素值,像素值的更改导致颜色的更改,故公式(1)像素点的位置的改变等效于基础图像和目标图像之间的颜色的改变。101.pb=α*rt*mbꢀꢀ(1)102.其中,pb为相关关键点的新的位置,α为初始学习率;rt旋转平移矩阵;mb为相关关键点初始的位置。103.根据上述公式(1)学习基础图像区域块和目标图像区域块之间的颜色对应关系之后,若不满足学习停止条件,更新初始三维查找表和初始学习率,然后循环执行每个匹配的区域块的每个类簇,直至满足学习停止条件,得到目标三维查找表。104.在本技术的一些实施例中,每次更新的三维查找表是上次循环得到的三维查找表。105.在本技术的一些实施例中,更新初始学习率可以是根据本次循环中该匹配的类簇中各质心距离的均值来进行更新。例如,本次循环类簇所对应的区域块中每个类簇的质心分别为s1、s2、s3、s4和s5(基础图像对应的第一类簇),以及t1、t2、t3、t4和t5(目标图像对应的第二类簇),其中,s1与t3匹配,s2与t1匹配,s3与t2匹配,s4与t4匹配,s5与t5匹配,则分别计算每对类簇对的质心之间的距离,将各类簇对质心的距离的均值的预设倍数(例如可以是1/20倍)可以作为新的学习率。106.需要说明的是,预设倍数可以是在(0-1]之间,取值大小与学习速率相关,较大值在图像差异量大时容易引起学习过程震荡不收敛,经验取值一般在1/10~1/100之间。107.在本技术到的一些实施例中,最终得到的3dlut表(即目标三维查找表)即为一个查找表,应用过程为输入一张图片,对每一个像素值找到在标准映射表(该标准映射表是指初始化的映射表,可以人为生成,比如33×33×33大小的3dlut映射表,每一维度为(0,1)范围内的33等分的数据,图像像素通过这个标准映射表映射后找到每个像素值对应的空间位置,然后根据该空间位置对应到最终的3dlut表中的空间位置上的数值,此数值即为此像素的新值,循环处理每个像素即可得到映射后的新图像,如4所示,图4中仅示出了三维查找表的部分。108.在本技术的实施例中,针对每对匹配的类簇,循环执行如下步骤,得到目标三维查找表:基于旋转平移矩阵和初始学习率,根据初始三维查找表,学习基础图像区域块和目标图像区域块之间的颜色对应关系,在确定不满足预设学习停止条件的情况下,更新初始三维查找表和初始学习率,返回执行基于旋转平移矩阵和初始学习率,根据初始三维查找表,学习基础图像区域块和目标图像区域块之间的颜色对应关系,直至满足预设学习停止条件,得到目标三维查找表,如此可得到精确的目标三维查找表,该表可去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。109.在本技术的一些实施例中,为了更加清楚的理解本技术的技术方案,本技术实施例还提供了三维查找表重建方法的另一可实现方式,如图5所示,本技术实施例提供的三维查找表重建方法可以包括步骤501~步骤508。110.步骤501、获取初始三维查找表和初始学习率。111.本步骤与上述实施例中获取初始三维查找表和初始学习率一致,在此不再赘述。112.步骤502、获取基础图像数据集和目标图像数据集。113.本步骤与上述实施例中步骤110一致,在此不再赘述。114.步骤503、对基础图像数据集中的基础图像和目标图像数据集中对应的目标图像进行对齐处理,得到对齐后的基础图像和目标图像。115.本步骤与上述实施例中对齐处理步骤一致,在此不再赘述。116.步骤504、分别对对齐后的基础图像和目标图像进行分块处理。117.本步骤与上述实施例中对对齐后的基础图像和目标图像进行分块的步骤一致,在此不再赘述。118.步骤505、对分块处理后的基础图像和目标图像进行配对处理,得到p对图像区域块对。119.本步骤与上述实施例中对分块处理后的基础图像和目标图像进行配对处理,得到p对图像区域块对一致,在此不再赘述。120.步骤506、对每个图像区域块对进行密度聚类处理和类簇配对,基于配对的类簇进行三维电云配准,得到旋转平移矩阵。121.本步骤与上述实施例中对每个图像区域块对进行密度聚类处理和类簇配对;基于配对的类簇进行三维点云配准,得到旋转平移矩阵一致,在此不再赘述。122.步骤507、基于旋转平移矩阵和初始学习率,对初始三维查找表进行重建,更新初始三维查找表。123.步骤508、根据匹配关系中质心距离均值动态调整初始学习率。124.步骤507~步骤508与上述实施例中更新初始三维查找表和初始学习率的步骤一致,在此不再赘述。125.本技术提出了一套自动的通过成对数据集进行学习和训练3dlut表的方法,与现有的3dlut表通过人工调试的制作方法不同,可以自动的学习得到一组3dlut表,其仅使用易获取的数据集即可完成3dlut表的获取工作,极大的降低了3dlut表的获取难度和制备调试工作量,同时也去除了人们主观的色彩判断对结果的影响,保证了结果的一致性和精确性。与现有的3dlut表通过学习训练模型的制备方法不同,本发明虽然使用采集的成对的数据集进行自动学习和训练,但过程中并不生成与图像内容相关的模型,提高了3dlut表的通用性和易用性,为降低不同场景局部影调和色调调整对3dlut表的通用性的影响,可通过数据集对场景分类,训练得到多个3dlut表在不同场景进行调用。126.本技术实施例中包含粗配准(即对齐处理)和精确配准(icp点云配准)两个阶段,故对成对图像数据的视场角差异有较强的鲁棒性,降低了对数据集的要求,提高了其使用范围。本技术的方法只要收集的图像数据色彩覆盖范围足够广,即可能够实现数据集色彩覆盖范围内的色彩映射,提高了3dlut表的使用和制备效率。127.本技术实施例提供的三维查找表重建方法,执行主体可以为三维查找表重建装置。本技术实施例中以三维查找表重建装置执行三维查找表确定的方法为例,说明本技术实施例提供的三维查找表重建装置。128.图6是根据一示例性实施例示出的一种三维查找表重建装置的结构示意图。129.如图6所示,该三维查找表重建装置600可以应用于电子设备,该三维查找表重建装置600可以包括:130.第一获取模块610,用于获取基础图像数据集和目标图像数据集;其中,所述基础图像数据集中任意一张基础图像与所述目标图像数据集中对应的目标图像的图像内容的匹配度大于预设阈值;131.第一确定模块620,用于对所述基础图像数据集和所述目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与所述目标图像数据集中目标图像的像素的映射关系;132.第二确定模块630,用于基于所述映射关系对初始三维查找表进行重建,得到目标三维查找表。133.在本技术的实施例中,通过第一确定模块对获取模块获取的基础图像数据集和目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,然后基于第二确定模块根据该映射关系对初始三维查找表进行重建,可得到目标三维查找表,如此使用成对的基础图像数据集和目标图像数据集进行学习和训练,无需收集特殊数据集和进行繁杂的标注工作,提升了目标三维查找表的确定效率,过程中并不生成与图像内容相关的模型,提高了目标三维查找表的通用性和易用性。此外,通过本技术实施例的方法,可自动学习得到目标三维查找表,去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。134.在本技术的一些实施例中,为了精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,第一确定模块620具体可以包括:135.第一处理单元,用于对所述基础图像数据集中任意一张基础图像,以及所述目标图像数据集中对应的目标图像进行分块处理;136.第一确定单元,用于对分块处理后的所述基础图像和所述目标图像进行配对处理,得到p对图像区域块对;其中,p为正整数;137.第二处理单元,用于对每个所述图像区域块对进行密度聚类处理和类簇配对;138.第二确定单元,用于基于配对的类簇进行三维点云配准,得到旋转平移矩阵。139.在本技术的一些实施例中,为了进一步得到精确的目标三维查找表,第一确定模块620还可以包括:140.提取单元,用于提取所述基础图像数据集中基础图像的至少四个第一关键点,以及所述目标图像数据集中对应的目标图像的至少四个第二关键点;141.第三确定单元,用于确定将所述至少四个第一关键点转换为所述至少四个第二关键点的单应性矩阵;142.第三处理单元,用于基于所述单应性矩阵,对所述基础图像和所述目标图像进行对齐处理。143.在本技术的一些实施例中,为了进一步精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,所述第二处理单元具体用于:144.对每个所述图像区域块对中基础图像区域块的各像素点进行空间映射,得到基础三维像素点云,并对所述基础三维像素点云进行密度聚类,得到k个第一类簇;145.对与所述基础图像区域块对应的目标图像区域块的各像素点进行空间映射,得到目标三维像素点云,并对所述目标三维像素点云进行密度聚类,得到k个第二类簇;其中,k为正整数;146.根据所述k个第一类簇的质心和所述k个第二类簇的质心,将所述第一类簇和所述第二类簇进行配对。147.在本技术的一些实施例中,为了进一步得到精确的目标三维查找表,第二确定模块630具体用于:148.获取初始学习率;149.基于所述旋转平移矩阵和所述初始学习率,对所述初始三维查找表进行重建,得到所述目标三维查找表。150.本技术实施例中的三维查找表重建装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobileinternetdevice,mid)、增强现实(augmentedreality,ar)/虚拟现实(virtualreality,vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer,umpc)、上网本或者个人数字助理(personaldigitalassistant,pda)等,还可以为服务器、网络附属存储器(networkattachedstorage,nas)、个人计算机(personalcomputer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限定。151.本技术实施例中的三维查找表重建装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。152.本技术实施例提供的三维查找表重建装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。153.可选地,如图7所示,本技术实施例还提供一种电子设备700,包括处理器701和存储器702,存储器702上存储有可在所述处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述三维查找表重建方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。154.需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。155.图8为实现本技术实施例的一种电子设备的硬件结构示意图。156.该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。157.本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。158.其中,处理器810,用于获取基础图像数据集和目标图像数据集;其中,所述基础图像数据集中任意一张基础图像与所述目标图像数据集中对应的目标图像的图像内容的匹配度大于预设阈值;159.处理器810,用于对所述基础图像数据集和所述目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与所述目标图像数据集中目标图像的像素的映射关系;基于所述映射关系对初始三维查找表进行重建,得到目标三维查找表。160.如此,通过对获取的基础图像数据集和目标图像数据集进行三维点云配准,得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系,根据该映射关系对初始三维查找表进行重建,可得到目标三维查找表,如此使用成对的基础图像数据集和目标图像数据集进行学习和训练,无需收集特殊数据集和进行繁杂的标注工作,提升了目标三维查找表的确定效率,过程中并不生成与图像内容相关的模型,提高了目标三维查找表的通用性和易用性。此外,通过本技术实施例的方法,可自动学习得到目标三维查找表,去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。161.可选地,处理器810,还用于对所述基础图像数据集中任意一张基础图像,以及所述目标图像数据集中对应的目标图像进行分块处理;对分块处理后的所述基础图像和所述目标图像进行配对处理,得到p对图像区域块对;其中,p为正整数;对每个所述图像区域块对进行密度聚类处理和类簇配对;基于配对的类簇进行三维点云配准,得到旋转平移矩阵。162.如此,通过对基础图像数据集中任意一张基础图像,以及目标图像数据集中对应的目标图像进行分块处理,对分块处理后的基础图像和目标图像进行配对处理,得到p对图像区域块对,对每个图像区域块对进行密度聚类处理和类簇配对,基于配对的类簇进行三维点云配准,得到旋转平移矩阵,如此可精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系。163.可选地,处理器810,还用于提取所述基础图像数据集中基础图像的至少四个第一关键点,以及所述目标图像数据集中对应的目标图像的至少四个第二关键点;确定将所述至少四个第一关键点转换为所述至少四个第二关键点的单应性矩阵;基于所述单应性矩阵,对所述基础图像和所述目标图像进行对齐处理。164.如此,通过提取的基础图像数据集中基础图像的至少四个第一关键点和目标图像数据集中对应的目标图像的至少四个第二关键点,确定将至少四个第一关键点转换为至少四个第二关键点的单应性矩阵,然后基于单应性矩阵,将基础图像和目标图像对齐,进而可得到对齐后的基础图像和目标图像,如此可将基础图像和目标图像进行精确对齐,进而得到精确的基础图像数据集和目标图像数据集之间的目标三维查找表。165.可选地,处理器810,还用于对每个所述图像区域块对中基础图像区域块的各像素点进行空间映射,得到基础三维像素点云,并对所述基础三维像素点云进行密度聚类,得到k个第一类簇;对与所述基础图像区域块对应的目标图像区域块的各像素点进行空间映射,得到目标三维像素点云,并对所述目标三维像素点云进行密度聚类,得到k个第二类簇;其中,k为正整数;根据所述k个第一类簇的质心和所述k个第二类簇的质心,将所述第一类簇和所述第二类簇进行配对。166.如此,通过对每个图像区域块对中基础图像区域块的各像素点进行空间映射,得到基础三维像素点云,并对基础三维像素点云进行密度聚类,得到k个第一类簇,对与基础图像区域块对应的目标图像区域块的各像素点进行空间映射,得到目标三维像素点云,并对目标三维像素点云进行密度聚类,得到k个第二类簇,然后根据k个第一类簇的质心和k个第二类簇的质心,将第一类簇和第二类簇进行配对,如此可精确将每个图像区域块对进行密度聚类处理和类簇配对,进而可精确得到基础图像数据集中基础图像的像素与目标图像数据集中目标图像的像素的映射关系。167.可选地,处理器810,还用于获取初始学习率;基于所述旋转平移矩阵和所述初始学习率,对所述初始三维查找表进行重建,得到所述目标三维查找表。168.如此,通过旋转平移矩阵和初始学习率,可对初始三维查找表进行重建,得到目标三维查找表,如此可得到精确的目标三维查找表,该表可去除人们主观的色彩判断对颜色转换结果的影响,保证了颜色转换结果的一致性和精确性,节省了人力成本。169.应理解的是,本技术实施例中,输入单元804可以包括图形处理器(graphicsprocessingunit,gpu)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。170.存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器809可以包括易失性存储器或非易失性存储器,或者,存储器809可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,rom)、可编程只读存储器(programmablerom,prom)、可擦除可编程只读存储器(erasableprom,eprom)、电可擦除可编程只读存储器(electricallyeprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory,ram),静态随机存取存储器(staticram,sram)、动态随机存取存储器(dynamicram,dram)、同步动态随机存取存储器(synchronousdram,sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram,ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram,esdram)、同步连接动态随机存取存储器(synchlinkdram,sldram)和直接内存总线随机存取存储器(directrambusram,drram)。本技术实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。171.处理器810可包括一个或多个处理单元;可选地,处理器810集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。172.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述三维查找表重建方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。173.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。174.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述三维查找表重建方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。175.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。176.本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述三维查找表重建方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。177.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。178.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。179.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。当前第1页12当前第1页12
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献