一种牙模位置信息识别方法、装置、存储介质及电子设备与流程

1.本发明属于牙科制造技术领域，具体涉及一种牙模位置信息识别方法、装置、存储介质及电子设备。


背景技术：

2.在正畸生产的过程中，每个客户订单会产生数十个甚至上百个相似的牙齿模型，这些牙模用于生产牙齿矫正过程中不同形态的隐形矫治器。而生产中为了保证效率和3d打印设备的利用率，一次3d打印过程可能会涉及到多个客户订单，每个客户订单又包含了多组相似的牙模，这些牙齿模型会在同一个载物料盘上。
3.目前，制造出的牙模只能进行人工出料或者通过物料盘倾倒出料，然而由于牙模比较相似且形态复杂，采用这种方式，难以准确区分不同客户的牙模，出现牙齿模型对应关系混乱，导致最终产品交付错误。


技术实现要素：

4.技术问题：本发明提供一种牙模位置信息识别方法，能够准确地从具有多个相似牙模的料盘上准确识别出对应的牙模位置，以便于后续的抓取，避免牙模出料过程中对应关系错乱；并基于所提供的方法，提出一种牙模识别装置，以及相应的计算机可读存储介质和电子设备。
5.技术方案：第一方面，本发明提出了一种牙模位置信息识别方法，包括：
6.获取空料盘的基准图像并提取料盘的基准特征信息；
7.根据用户的牙模基准特征信息，对料盘上的所有牙模进行匹配，对料盘中所有牙模按照用户进行分类标注；所述用户的牙模基准特征信息包括用户初始口扫数据或最优牙形设计数据；
8.获取料盘载料图像，并根据所述料盘基准特征信息对载料图像进行校准，获得校准载料图像；
9.在校准载料图像中识别每件牙模的牙模特征信息，根据每个用户的牙模基准特征信息，进行遍历匹配，所述牙模特征信息包括牙模轮廓信息、牙模基准面积和牙弓信息；
10.如果匹配成功，则获取每件牙模在校准载料图像中的位置信息；
11.如果匹配失败，则记录匹配失败牙模的基准特征信息，待遍历匹配完成后，针对匹配失败牙模发出报错信息；
12.对所述每件匹配成功牙模在校准载料图像中的位置信息进行还原，获取每件牙模在载料图像中的位置信息。
13.进一步地，所述料盘的基准特征信息包括：位于料盘上至少3个特征点处的面积相等的矩形区域的基准图样和所述基准图样的中心点坐标信息，3个所述特征点不共线。
14.优选地，所述料盘的基准特征信息包括：位于料盘上4个特征点处的面积相等的正方形区域的基准图样和所述基准图样的中心点坐标信息；所述特征点相互间的距离大于料
盘最小宽度的50％。
15.进一步地，所述根据所述料盘的基准特征信息对载料图像进行校准包括：
16.根据所述料盘的基准图样信息在载料图像中进行图像匹配，确定载料图像上与料盘的基准图样对应的图像区域的中心点坐标信息；
17.根据料盘的基准图样的中心点坐标信息及载料图像上与料盘的基准图样对应的图像区域的中心点坐标信息，计算齐次矩阵；
18.将所述齐次矩阵与载料图像相乘，获得校准载料图像。
19.进一步地，在获得校准载料图像后，根据基准图像对校准载料图像做差分，并对差分后的校准载料图像二值化。
20.进一步地，根据每个用户的牙模基准特征信息，进行遍历匹配包括：
21.分别计算牙模的基准轮廓距s(a)和牙模轮廓距s(b)，其中，基准轮廓矩指根据牙模基准轮廓信息计算得来的轮廓矩，牙模轮廓矩指根据牙模校准载料图像轮廓信息计算得来的轮廓矩；
22.判断基准轮廓矩和牙模轮廓矩相等时的最大阶数：
23.若基准轮廓矩和牙模轮廓矩满足下式，则停止计算，记录式中k值，否则计算j 2阶轮廓矩；
24.sj(a)＝sj(b)，j＝4,6,8，
……
，k
25.sj(a)≠sj(b)，j＝k 2,k 4，k 6,
……
26.其中，j为本轮计算中的轮廓矩阶数，a为基准轮廓数组，b为牙模轮廓数组；
27.定义d(a，b)＝1/k，若d(a，b)小于设定的阈值，则判定匹配成功，否则匹配失败，并继续下一个轮廓的匹配。
28.进一步地，在进行遍历匹配前，先根据牙模的基准特征信息对牙模特征信息进行匹配筛选，再将筛选后的牙模特征信息进行所述遍历匹配运算。
29.第二方面，本发明提供一种牙模位置信息识别方法，采用上述任一的牙模位置信息识别方法对料盘上牙模的位置进行识别，包括：
30.第一获取模块，其被配置为获取空料盘的基准图像并提取料盘基准特征信息；
31.标注模块，其被配置为根据用户的牙模基准特征信息，对料盘上的所有牙模进行匹配，对料盘中所有牙模按照用户进行分类标注；所述用户的牙模基准特征信息包括用户初始口扫数据或最优牙形设计数据；
32.第二获取模块，其被配置为获取料盘载料图像，并根据所述料盘基准特征信息对载料图像进行校准，获得校准载料图像；
33.识别匹配模块，其被配置为在校准载料图像中识别每件牙模的牙模特征信息，根据每个用户的牙模基准特征信息，进行遍历匹配，所述牙模特征信息包括牙模轮廓信息：
34.如果匹配成功，则获取每件牙模在校准载料图像中的位置信息；
35.如果匹配失败，则记录匹配失败牙模的基准特征信息，待遍历匹配完成后，针对匹配失败牙模发出报错信息；
36.还原模块，其被配置为对所述每件匹配成功牙模在校准载料图像中的位置信息进行还原，获取每件牙模在载料图像中的位置信息。
37.第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存
储有计算机程序指令，当所述计算机程序指令被处理器执行时，能够实现上述任一的牙模位置信息识别方法。
38.第四方面，本发明提供一种电子设备，包括：
39.所提供的计算机可读存储介质以及处理器，所述处理器能够执行存储于所述计算机可读存储介质中的计算机程序指令。
40.本发明基于机器视觉的原理，对置于料盘上的多个结构复杂、相似的牙模进行位置识别，以便于操作人员或机器能够准确的抓取到对应的牙模，避免了牙模在下料过程中，由于牙模的形态复杂、结构相似造成的混淆而难以准确的抓取到对应的牙模，避免了出料混乱。此外，利用本发明的方法，还可以有效的与自动化生产线结合，提高牙模的下料效率。
附图说明
41.图1为本发明的实施例中牙模位置信息识别方法的工作流程图；
42.图2为本发明的实施例中基准图像与载料图像的校准识别点对应关系图；
43.图3为本发明的实施例中牙模位置信息识别装置的框图。
具体实施方式
44.下面结合说明书附图，对本发明的具体实施方式进行说明。图1示出了本发明实施例中的牙模位置信息识别方法的流程图，结合该流程，对牙科正畸中3d打印出的牙模实现了抓取。结合图1所示，本发明的方法包括如下步骤：
45.步骤s100：获取空料盘的基准图像并提取料盘基准特征信息。
46.在进行3d打印牙模前，对承载牙模的空料盘进行图像采集，将采集的空料盘图像作为基准图像使用。本实施例中，料盘为矩形pvc料盘。
47.在本发明的实施例中，料盘的基准特征信息包括：位于料盘上至少3个特征点处的面积相等的矩形区域的基准图样和所述基准图样的中心点坐标信息，3个特征点不共线。在优选的实施例中，共选取了4个特征点，通常，料盘呈矩形，选择的四个点位于矩形料盘的4个角。
48.在基准图像中，在空料盘4个顶点处分别设定1块100
×
100像素的正方形区域作为特征区域，分割保存4张特征区域图片作为基准图样，并确定4张基准图样的中心坐标点。保存4张基准图样的图片及其中心坐标点作为料盘基准特征信息。在示例中，4张基准图样的中心坐标点分别为(59,60)、(69,1956)、(2008，79)和(1995,1928)。
49.正方形区域包含了区域内的本身的灰度分布，在各类光照下的灰度变化，区域内的灰度梯度。选择的特征点用于标注料盘的空间平面，通过实验测试4个特征点能够兼顾平面的精度和运算的效率。
50.步骤s200：根据用户的牙模基准特征信息，对料盘上的所有牙模进行匹配，对料盘中所有牙模按照用户进行分类标注；在本技术中，用户的牙模基准特征信息可包括用户初始口扫数据或最优牙形设计数据，通常是一个数据。例如，一个次3d打印后会有50个模型完成后装载在料盘上，这50个模型可能属于3个用户，s2过程会基于这3个用户的基准特征信息把50个模型进行分类标注为3类。
51.步骤s300：获取料盘载料图像，并根据所述料盘基准特征信息对载料图像进行校
准，获得校准载料图像。具体的，在对载料图像进行校准包括如下步骤：
52.步骤s310：根据所述料盘的基准图样信息在载料图像中进行图像匹配，确定载料图像上与料盘的基准图样对应的图像区域的中心点坐标信息。
53.步骤s320：根据料盘的基准图样的中心点坐标信息及载料图像上与料盘的基准图样对应的图像区域的中心点坐标信息，计算齐次矩阵。例如该示例中，如图2所示，因为采用了4个特征点，因此会出现4对数据。
54.步骤s330：将所述齐次矩阵与载料图像相乘，获得校准载料图像。
55.在具体的示例中，在完成所有牙模的3d打印之后，获取承载有牙模的料盘载料图像。根据先期获取的4张基准图样的图片，对料盘载料图像进行识别和匹配，图像匹配后，记录料盘载料图像中4个匹配特征区域坐标。在示例中，4个匹配特征区域坐标为(65,72)、(75,1968)、(2014，91)和(2001,1940)。
56.根据料盘基准特征信息中的坐标点和料盘载料图像中的坐标点，计算齐次矩阵。用得出的齐次矩阵与料盘载料图像相乘。在实施例中，使用了opencv的sdk进行计算，并把校正后得到的校准载料图像保存在一个容器中。
57.说明的是，在通过步骤s300获得校准载料图像后，需要根据基准图像对校准载料图像做差分，并对差分后的校准载料图像二值化。具体的，为提高后期对牙模匹配识别的精度，先在校准载料图像中进行基于基准图像的减影操作，即进行差分。对差分后的图像，以阈值0.6为标准，进行二值化操作，降低后期对校准载料图像的操作难度。
58.步骤s400：在校准载料图像中识别每件牙模的牙模特征信息，根据每个用户的牙模基准特征信息，进行遍历匹配：如果匹配成功，则获取每件牙模在校准载料图像中的位置信息；如果匹配失败，则记录匹配失败牙模的基准特征信息，待遍历匹配完成后，针对匹配失败牙模发出报错信息。在本示例中，牙模特征信息可以包括牙模轮廓。
59.一般情况下，读取本次打印的所有牙模设计图，遍历提取每个牙模的基准轮廓、估算每个牙模的基准面积，根据牙模轮廓，计算每个牙模的基准牙弓方向，判定牙模的基准形态。在提取牙模轮廓时，可用最小二乘法对牙模进行轮廓模拟，根据轮廓模拟判定、计算牙弓尺寸和方向。其中，牙模轮廓信息是正上方投影下的外部轮廓，牙模基准面积是顶视图投影面积大小。
60.在具体的示例中，在经步骤s300处理后的校准载料图像中检测牙模轮廓，并单独保存每个检测到的牙模轮廓数组。本实施例中，使用了sobel边缘检测算法提取牙模轮廓。同时，还基于牙模轮廓，估算了牙模的面积，计算了牙弓的方向。
61.根据先期在牙模设计图上提取出的轮廓信息、面积估算信息和牙弓方向信息，对校准载料图像中的所有单个牙模进行两轮匹配识别。
62.第一轮匹配识别中，首先根据牙模的基准轮廓，对校准载料图像中的所有牙模进行遍历匹配，结合牙模的基准面积，在校准载料图像中筛选出最匹配的牙模。同时，基于牙模的基准轮廓，使用最小二乘法计算出牙模的牙弓形状，作为牙模的形态特征备用。
63.在第二轮匹配识别中，由4阶开始，依次增加2个阶次，分别计算基准牙模和校准载料图像中的校准牙模的轮廓矩，并比较轮廓矩是否相同，直到找到符合下式的阶次为止：
64.sj(a)＝sj(b)，j＝4,6,8，
……
，k
65.sj(a)≠sj(b)，j＝k 2,k 4，k 6,
……
66.其中，j为本轮计算中的轮廓矩阶数。
67.定义d(a，b)＝1/k为轮廓距离。当d(a，b)小于0.1时，认定匹配成功；如果根据基准牙模，遍历所有校准载料图像中的牙模之后，仍然没有得到匹配的结果，则记录基准牙模的信息，待所有基准牙模都遍历匹配之后进行报错，并显示所有没有匹配的牙模信息。
68.步骤s500：对所述每件匹配成功牙模在校准载料图像中的位置信息进行还原，获取每件牙模在载料图像中的位置信息。具体的，在示例中，遍历识别完所有的基准牙模后，在校准载料图像中，确定校准牙模的坐标信息。对先期计算的齐次矩阵取逆，对校准牙模的坐标信息进行齐次逆变换，得到载料图像中，实际的校准牙模的真实坐标，并在校准牙模的真实坐标信息中，附加上先期获得的牙弓形状、牙模面积等信息。
69.将通过上述方法获得的信息传递给抓取装置，利于机械手等，就可以准确的在多个形态复杂、结构相似的牙模中抓取出对应的牙模，从而在3d打印过程中，进行准确的下料，避免混乱。
70.进一步地，本发明基于所提出的牙模位置信息识别方法，提供了一种牙模位置信息识别装置，如图3所示，该装置包括：第一获取模块601、标注模块602、第二获取模块603、识别匹配模块604和还原模块605。其中，第一获取模块被配置为获取空料盘的基准图像并提取料盘基准特征信息；标注模块，其被配置为根据用户的牙模基准特征信息，对料盘上的所有牙模进行匹配，对料盘中所有牙模按照用户进行分类标注。第二获取模块被配置为获取料盘载料图像，并根据所述料盘基准特征信息对载料图像进行校准，获得校准载料图像。识别匹配模块被配置为在校准载料图像中识别每件牙模的牙模特征信息，根据每个用户的牙模基准特征信息，进行遍历匹配：
71.如果匹配成功，则获取每件牙模在校准载料图像中的位置信息；
72.如果匹配失败，则记录匹配失败牙模的基准特征信息，待遍历匹配完成后，针对匹配失败牙模发出报错信息。
73.还原模块被配置为对所述每件匹配成功牙模在校准载料图像中的位置信息进行还原，获取每件牙模在载料图像中的位置信息。
74.对于各模块实现其功能的具体方法，与所提供的牙模位置识别方法中的步骤相对应，此处就不再赘述。
75.进一步的，本技术还提供一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令在处理器上运行时执行上述实施例中任一项所述的牙模位置信息识别方法。
76.进一步地，本技术还提供一种电子设备，其包括所提供的计算机可读存储介质以及处理器，处理器能够执行计算机可读存储介质中的计算机指令，实现上述实施例中任一项所述的牙模位置信息识别方法。
77.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于
附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图或流程图中的每个方框、以及结构图或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
78.另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
79.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
80.以上对本发明所提供的物料抓取方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明技术方案的限制。