图像过滤方法与流程

1.本发明涉及图像过滤方法(image filtering method)，更详细地涉及从获得的图像排除用户不必要的部分的方法。


背景技术：

2.当前，三维扫描技术不区分工业领域而被广泛使用，尤其其实用性在制作牙齿补缀治疗物等牙科治疗领域中继续被关注。
3.另一方面，当利用三维扫描仪拍摄患者的患部，即，口腔内部(是指牙齿、牙龈等)时，三维扫描仪将拍摄到的部位相关图像转换为三维体积数据，最终，获得一个整个口腔模型数据。
4.此时，当拍摄患者的口腔内部时，存在于口腔内部的异物、三维扫描仪用户(通常可以为牙医)的手等有可能一同被拍摄。像这样，异物或用户的手为妨碍获得患者的整个口腔模型数据的因素，最终，需要在三维体积数据转换过程或后校正过程中删除。
5.至今，三维扫描仪用户在执行扫描之后，在转换的三维体积数据中手动删除不相当于实际口腔内部的部分，因而存在后校正工作需要很长时间的问题。


技术实现要素：

6.技术问题
7.为了解决以上问题，本发明的图像过滤方法提供从获得的二维图像数据获得二维图像数据的各个像素相关颜色信息，比较获得的颜色信息和基准颜色信息，删除判断为不相当于口腔信息的像素数据，不包含在三维体积数据转换过程中的方法。
8.并且，提供通过颜色信息的学习定义基准颜色或基准颜色范围，从学习的基准颜色或基准颜色范围删除判断为不相当于口腔信息的像素数据，不包含在三维体积数据转换过程中的方法。
9.本发明的技术问题不局限于以上提及的技术问题，本发明所属技术领域的普通技术人员可从以下记载内容中明确地理解未提及的其他技术问题。
10.技术方案
11.本发明的图像过滤方法可包括：图像获得步骤，通过扫描仪获得具有包括口腔内部的牙齿的有效数据部分的扫描对象的二维图像；颜色获得步骤，由从上述图像获得步骤获得的上述二维图像的至少一部分数据获得颜色信息；过滤步骤，在上述颜色获得步骤中，当上述至少一部分数据的颜色信息包含在作为与上述口腔内部区分的过滤对象物体所具有的颜色范围的基准颜色范围内时，判断为具有删除对象颜色的删除对象数据，在上述二维图像数据内删除上述删除对象数据；以及三维运算步骤，将经过上述过滤步骤删除上述删除对象数据，仅具有上述有效数据部分的二维图像数据转换为三维体积数据。
12.并且，本发明还可包括基准颜色判断步骤，判断在上述颜色获得步骤中获得的上述至少一部分数据的颜色信息是否包含在基准颜色范围内，在上述过滤步骤中，可将从上
述基准颜色判断步骤判断为上述基准颜色范围的上述至少一部分数据判断为删除对象数据，在上述二维图像数据内删除。
13.并且，本发明还可包括基准颜色设定步骤，设定上述删除对象颜色，上述基准颜色设定步骤的上述删除对象颜色可通过用户界面指定。
14.并且，上述基准颜色范围的大小能够以上述删除对象颜色为基准通过用户界面调节。
15.并且，上述颜色信息可以为使用rgb加法混合方式表现的信息。
16.另一方面，本发明再一实施例的图像过滤方法可包括：图像获得步骤，通过扫描仪获得具有包括口腔内部的牙齿的有效数据部分的扫描对象的二维图像；建模步骤，基于上述二维图像生成三维虚拟模型；显示步骤，以视觉方式显示上述三维虚拟模型；以及过滤步骤，在上述二维图像中相当于作为与上述口腔内部区分的过滤对象物体所具有的颜色的删除对象颜色的部分在上述显示步骤之前过滤，在上述建模步骤中，能够以删除具有上述删除对象颜色的数据，仅具有上述有效数据部分的二维图像数据生成上述三维虚拟模型。
17.并且，上述过滤步骤还可包括：基准颜色设定步骤，从上述过滤对象物体设定上述删除对象颜色；以及基准颜色判断步骤，判断在上述二维图像中是否存在有上述删除对象颜色。
18.并且，在上述基准颜色设定步骤中，可根据用户的选择设定，或基于过滤对象物体的图像设定。
19.另一方面，本发明另一实施例的图像过滤方法可包括：图像获得步骤，通过扫描仪获得具有包括口腔内部的牙齿的有效数据部分的扫描对象的二维图像；颜色获得步骤，由从上述图像获得步骤获得的上述二维图像的至少一部分数据获得颜色信息；基准颜色范围定义步骤，基于与上述口腔内部区分的过滤对象物体的图像将上述过滤对象物体所具有的颜色范围定义为基准颜色范围；基准颜色判断步骤，判断在上述颜色获得步骤中获得的上述至少一部分数据的颜色信息是否包含在通过学习定义的上述基准颜色范围内；过滤步骤，当在上述颜色判断步骤中上述至少一部分数据的颜色信息包含在上述基准颜色范围内时，判断为具有删除对象颜色的删除对象数据，在上述二维图像数据内删除；以及三维运算步骤，将经过上述过滤步骤删除上述删除对象数据，仅具有上述有效数据部分的二维图像数据转换为三维体积数据。
20.并且，上述基准颜色范围定义步骤可包括：基准图像获得步骤，反复获得至少一个包括上述删除对象颜色的过滤对象物体的图像；以及基准颜色范围学习步骤，由从上述基准图像获得步骤获得的上述过滤对象物体的图像确定上述基准颜色范围。
21.并且，在上述基准颜色范围学习步骤中，可从通过上述基准图像获得步骤获得的至少一个图像将重叠的颜色学习为上述基准颜色范围。
22.并且，上述颜色信息可以为使用rgb加法混合方式表现的信息。
23.发明的效果
24.根据本发明，具有如下优点：通过获得的图像的至少一部分的颜色值，判断拍摄的部分是否为形成口腔模型数据所需的部分，当判断上述部分为具有删除对象颜色的噪声像素时，删除该部分的数据，只有实际形成口腔模型数据所需的部分执行三维运算。
25.并且，如上所述，具有只有形成口腔模型数据所需的部分执行三维运算，可节约三
维运算所需的时间及资源的优点。
26.并且，以排除噪声像素的数据形成三维体积数据，因而可获得更精密的三维体积数据，其具有提高口腔模型数据的可靠性的优点。
附图说明
27.图1为本发明的图像过滤方法的流程图。
28.图2为用于说明在本发明的图像过滤方法中rgb加法混合方式的简化的rgb颜色表。
29.图3为例示性地表示在本发明的图像过滤方法中具有删除对象颜色的物体的图。
30.图4为例示性地表示在本发明的图像过滤方法中具有删除对象颜色的物体的数据和口腔内部的数据一同转换为三维体积数据的图。
31.图5为例示性地表示在本发明的图像过滤方法中排除具有删除对象颜色的物体，只有口腔内部的数据转换为三维体积数据的图。
32.图6为本发明另一实施例的图像过滤方法的流程图。
33.图7为执行本发明的图像过滤方法的图像过滤装置的结构图。
34.附图标记的说明
35.s1：图像获得步骤s2：颜色获得步骤
36.s31：基准颜色设定步骤s32：基准颜色范围定义步骤
37.s32a：基准图像获得步骤s32b：基准颜色范围学习步骤
38.s4：基准颜色判断步骤s5：过滤步骤
39.s6：三维运算步骤s7：三维点获得步骤
40.d：噪声数据1：图像过滤装置
41.100：扫描部200：控制部
42.300：数据库部400：显示部
具体实施方式
43.以下，通过例示性图详细说明本发明的一部分实施例。需要注意的是，在对各个图的结构要素标注附图标记的过程中，对于相同的结构要素，即使示于其他图上，尽可能具有一个相同的标记。并且，在说明本发明的实施例的过程中，当判断相关公知结构或功能的具体说明妨碍对本发明的实施例的理解时，省略其详细说明。
44.在说明本发明实施例的结构要素的过程中，可使用第一、第二、a、b、(a)、(b)等术语。这种术语仅用于区别其结构要素与另一结构要素，该结构要素的本质或次序或顺序等不局限于其术语。并且，除非有不同定义，则包括技术性或科学性术语在内的在此使用的所有术语具有与本发明所属技术领域的普通技术人员通常所理解的含义相同的含义。如同通常使用的词典上定义的术语应被解释为具有与相关技术的上下文所具有的含义相一致的含义，除非在本技术中明确定义，则不被解释为理想或过渡形式性的含义。
45.图1为本发明的图像过滤方法的流程图，图2为用于说明在本发明的图像过滤方法中rgb加法混合方式的简化的rgb颜色表。并且，图3为例示性地表示在本发明的图像过滤方法中具有删除对象颜色的物体的图，图4为例示性地表示在本发明的图像过滤方法中具有
picker)直接指定删除对象颜色。此时，用户可在获得的任意二维图像数据上指定删除对象颜色，可在调色板上指定删除对象颜色。
51.只是，用户所要删除的物体可仅由一种颜色表现，但当该物体被三维扫描仪拍摄时，若还考虑阴影被反映，则能够以具有多个颜色信息的方式获得。此时，基准颜色范围的大小能够以删除对象颜色为基准调节。即，当指定所要删除的物体的一颜色时，能够以其颜色为中心直到相邻颜色设定为基准颜色范围。另一方面，基准颜色范围可不在所有扫描情况下相同地适用，这种范围的大小可通过用户界面调节。例示性地，当设定宽范围的基准颜色范围时，将直到更宽的相邻颜色作为基准颜色区域，需要删除的范围有可能增加，当设定窄范围的基准颜色范围时，将直到窄的相邻颜色作为基准颜色区域，需要删除的范围有可能减少。并且，当在上述的基准颜色设定步骤s31中指定删除对象颜色时，可从上述删除对象颜色的rgb颜色值将规定范围以内的颜色设定为基准颜色范围。例示性地，当指定的删除对象颜色的rgb值为(x，y，z)时，基准颜色范围的r(red)值可具有x-α至x α范围，g(green)值可具有y-β至y β范围，b(blue)值可具有z-γ至z γ的范围(α、β、γ为任意整数)。即，可考虑有可能在扫描过程中产生的环境变化设定基准颜色范围或调节基准颜色范围，具有用户可有效去除噪声数据，将后校正工作最小化的优点。
52.当设定从二维图像获得的颜色信息和基准颜色范围时，可比较及判断获得的一部分数据的颜色信息是否包含在基准颜色范围(步骤s4)。例如，相当于扫描的有效数据的部分基本上具有不相当于基准颜色范围的所有颜色中的至少一部分，但通常可具有牙齿的白色或象牙色及牙龈等的红色或粉色系统的颜色。相反，噪声数据具有与口腔内部所具有的颜色不同的颜色，这种噪声数据被拍摄而获得的二维图像数据的各个像素颜色信息可包含在基准颜色范围。
53.如上所述，当判断相当于噪声数据的部分包含在基准颜色范围时，运算部将该部分判断为具有删除对象颜色的像素，在二维图像数据内进行删除(过滤步骤，s5)。即，基准颜色范围内的数据并不是所要获得的口腔内部相关数据，因而转换为三维体积数据之前，预先删除，以减少转换为三维体积数据的运算量。像这样，删除(过滤)包含在基准颜色范围内的数据，具有可缩短后续步骤的执行时间的优点。
54.当结束上述的过滤步骤s5时，运算部将结束过滤的二维图像数据转换为三维体积数据(三维运算步骤，s6)，以视觉方式显示上述三维体积数据(显示步骤)。此时，转换为三维体积数据的部分为扫描对象中相当于牙齿及牙龈等有效数据的部分，相当于噪声数据的部分在显示之前先被去除，在显示步骤中不以视觉方式显示。因此，提高由三维体积数据形成的口腔模型数据的可靠性。像这样，过滤步骤s5之后执行三维体积数据转换运算，整体上，需要转换的数据运算量减少，因而最终运算速度增加，运算所需的时间减少，具有可在短时间内获得具有可靠性的整个口腔模型数据的优点。比较参照图4及图5，图4中删除对象颜色保持不变地转换为三维体积数据，需要通过后校正删除。相反，图5中可知噪声数据在二维图像数据中先被去除，因而当三维体积数据转换时噪声数据从运算中排除。
55.另一方面，在二维图像数据中转换的三维体积数据可呈多个点以网状连接的形态。因此，可获得包含在三维体积数据的三维点(步骤s7)。可利用上述三维点分析、变形三维体积数据，通过分析、变形上述三维体积数据，可向患者提供更适合的治疗。
56.之后，说明另一实施例的图像过滤方法。在之后的描述中，已简要提及或省略上述
的内容。
57.图6为本发明的另一实施例的图像过滤方法的流程图。
58.参照图6，本发明的图像过滤方法包括：图像获得步骤s1，用户通过三维扫描仪获得二维图像数据；颜色获得步骤s2，在获得的二维图像数据的至少一部分中获得颜色信息。这种图像获得步骤s1及颜色获得步骤s2如上所述，因而省略。
59.另一方面，本发明的图像过滤方法还可包括基准颜色范围定义步骤s32，通过获得过滤对象物体的图像，根据一同获得的颜色信息定义基准颜色范围。基准颜色范围定义步骤s32与上述的基准颜色设定步骤s31不同，是指通过获得过滤对象物体的图像，从一同获得的颜色信息自动定义基准颜色范围。因此通过继续获得过滤对象物体的图像，识别删除对象颜色，因而用户可拍摄包括删除对象颜色的物体来设定基准颜色。
60.如上所述，过滤对象物体可包括用户的皮肤、手、手套或患者的口腔内部的软组织(soft tissue)、唾液、异物等。过滤对象物体可具有与有效数据不同的颜色信息，与作为具有有效数据的扫描对象的患者的口腔内部区分。
61.若详细察看基准颜色范围定义步骤s32，则还可包括基准图像获得步骤s32a和基准颜色范围学习步骤s32b。在基准图像获得步骤s32a中，可反复获得至少一个包括删除对象颜色的过滤对象物体的图像。即，可获得至少一个过滤对象物体相关二维图像数据。此时，“至少一个”还包括一次获得二维图像数据，但为了有效且准确地定义基准颜色范围，优选地，通过至少两次拍摄获得至少两个二维图像数据，以定义基准颜色范围。
62.基准图像获得步骤s32a与图像获得步骤s1独立地执行，在基准图像获得步骤s32a中，可在不包含有效数据的环境下，仅获得过滤对象物体的二维图像。例示性地，在基准图像获得步骤s32a中，利用扫描仪扫描用户佩戴的手套，可获得表示上述手套的二维图像数据。此时，过滤对象物体可与具有有效数据的扫描对象相隔开地扫描。
63.可从基准图像获得步骤s32a获得过滤对象物体的二维图像数据之后，在基准颜色范围学习步骤s32b中从过滤对象物体的图像确定基准颜色或基准颜色范围。此时，在确定基准颜色或基准颜色范围的过程中，可使用多种方法。例示性地，在本发明的图像过滤方法中可利用数据密度确定基准颜色范围。在上述的基准图像获得步骤s32a中获得的图像数据中，持续得到的颜色信息的数据密度呈现高。当数据密度呈现高时，处于持续拍摄过滤对象物体来获得二维图像数据的状态，因而以更多频率得到的颜色可判断及学习为作为删除对象颜色的基准颜色或基准颜色范围。像这样可根据数据密度学习基准颜色范围，自动学习噪声数据的特征(噪声数据中呈现的删除对象颜色)，在三维运算步骤s6之前排除，具有减少运算量，增加运算速度，可得到具有可靠性的口腔模型数据的优点。
64.另一方面，在基准颜色范围学习步骤s32b中学习基准颜色或基准颜色范围时可使用人工智能(artificial intelligence)学习方式，例示性地，可使用深度学习(deep learning)方式。只是，其为例示性的，为了实现本发明的图像过滤方法，可利用可从扫描过滤对象物体来获得的至少一个二维图像数据自动确定基准颜色或基准颜色范围的任何方式。
65.另一方面，判断在颜色获得步骤s2中获得的至少一部分数据的颜色信息是否相当于通过学习定义的基准颜色范围(基准颜色判断步骤，s4)，当该数据的颜色信息包含在基准颜色范围时，判断该数据具有删除对象颜色，在二维图像数据内删除(过滤)(步骤s5)。之
后，将结束过滤的二维图像数据转换为三维体积数据(三维运算步骤，s6)，用户可获得患者的整个口腔模型数据。为了获得这种整个口腔模型数据，在三维运算步骤s6中，以噪声数据已被去除的状态执行三维体积数据转换，因而具有减少运算量，增加运算速度，可得到具有可靠性的口腔模型数据的优点。
66.另一方面，在图像过滤方法中，可通过扫描仪获得二维图像，基于这种二维图像生成三维体积数据。生成的三维体积数据可实时显示于显示装置等。另一方面，当实时显示三维体积数据时，与二维图像数据的特定颜色相对应的部分可实时过滤(删除)而显示(过滤步骤，s5)。此时，在扫描仪的用户获得患者的整个口腔模型数据的过程中构成分类为噪声数据的唾液、用户的手套等的颜色(在说明书上将其命名为删除对象颜色)可相当于图像数据的“特定颜色”。可执行将这种删除对象颜色学习为基准颜色，在三维运算步骤s6之前定义删除对象颜色的基准颜色设定步骤。当在基准颜色设定步骤中显示三维虚拟模型时，若设定所要删除的颜色，则之后经过判断在二维图像数据中是否存在有删除对象颜色的基准颜色判断步骤s4，在过滤步骤s5中，当显示三维虚拟模型时，与二维图像的删除对象颜色相对应的部分删除含有颜色信息的数据，以防止显示该颜色。因此，具有用户可获得含有所需的颜色信息的(即，仅具有牙龈和牙齿之类的有效数据的)具有可靠性的数据的优点。
67.以下，说明执行本发明的图像过滤方法的图像过滤装置。
68.图7为执行本发明的图像过滤方法的图像过滤装置1的结构图。参照图7，本发明的图像过滤装置1包括扫描部100、控制部200、数据库部300及显示部400。
69.以下，说明各个部结构。
70.扫描部100可将扫描对象进行扫描。例示性地，扫描部100可从扫描对象的表面接收反射的光。从扫描对象的表面反射的光可通过形成于扫描部100一端的开口部向扫描部100的内部部分接收，上述光可利用后述的控制部200形成为二维图像数据。另一方面，通过扫描部100的扫描过程接收的光例示性地可以为具有可见光区域的波长的光。并且，例示性地，扫描部100可以为用于扫描相当于有效数据的患者的口腔内部等的三维口腔扫描仪(intraoral scanner)。
71.另一方面，扫描部100除了扫描对象之外，还可扫描具有删除对象颜色的过滤对象物体。如上所述，过滤对象物体可以为具有与有效数据不同的噪声数据的物体。过滤对象物体如上所述。
72.控制部200可包括基于上述扫描部100接收到的光生成二维图像数据的图像数据生成部210。图像数据生成部210以规定大小的二维图像数据生成扫描部100接收到的光，上述二维图像数据具有多个像素，各个像素可具有颜色信息。生成的二维图像数据可存储于数据库部300，数据库部300还可存储各个像素所具有的颜色信息。
73.并且，控制部200可包括图像过滤部220。图像过滤部220可由从图像数据生成部210获得的二维图像数据将过滤对象物体所具有的删除对象颜色进行过滤。相当于删除对象颜色的基准颜色可通过用户的选择指定，可单独扫描过滤对象物体来自动获得。图像过滤部220过滤具有与删除对象颜色相对应的颜色信息的像素数据，以防止该部分转换为三维体积数据。
74.另一方面，控制部200可包括图像数据转换部230。图像数据转换部230可将从图像数据生成部210生成的二维图像数据的至少一部分转换为三维体积数据。此时，三维体积数
据转换利用图像过滤部220已过滤的二维图像数据而成。因此，转换的三维体积数据可排除噪声数据，仅包含有效数据，可获得可靠性高的患者的口腔模型数据。
75.控制部200还可包括基准颜色学习部240。基准颜色学习部240可从过滤对象物体相关至少一个二维图像数据确定相当于删除对象颜色的基准颜色。此时，基准颜色可以为一种单一颜色，可以为规定范围的颜色组(颜色范围)。学习的基准颜色可存储于数据库部300。存储于数据库部300的基准颜色可重新用于其他扫描过程中。
76.数据库部300可存储利用图像数据生成部210生成的二维图像数据和像素所具有的颜色信息、利用图像数据转换部230生成的三维体积数据、利用基准颜色学习部240指定的基准颜色等。存储于数据库部300的内容的至少一部分可用于控制部200的动作，或通过显示部400显示。数据库部300可以为硬盘驱动器、闪存驱动器之类的物体，可以为云(cloud)服务之类的虚拟的存储系统。
77.另一方面，利用控制部200执行的过程中的至少一部分、存储于数据库部300的内容中的至少一部分可通过显示部400以视觉方式显示。用户可通过显示部400容易确认本发明的图像过滤方法是否正常执行。显示部400可以为显示器、平板电脑之类的视觉显示装置。
78.以上说明仅用于例示性地说明本发明的技术思想，只要是本发明所属技术领域的普通技术人员，就可在不脱离本发明的本质特性的范围内进行多种修改及变形。
79.因此，本发明中公开的实施例并非用于限制本发明的技术思想，而是用于说明，本发明的技术思想的范围不局限于这种实施例。本发明的保护范围应根据以下的发明要求保护范围解释，与其等同的范围内的所有技术思想应被解释为包括在本发明的发明要求保护范围。
80.工业上的可利用性
81.本发明提供即使有效数据和噪声数据一同扫描，并以二维图像数据获得，在三维体积数据转换中也排除具有已设定或学习的基准颜色或相当于基准颜色范围的颜色信息的图像数据的部分的图像过滤方法。