一种适用于白板一体机的抠图方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种适用于白板一体机的抠图方法及装置。


背景技术：

2.白板一体机作为新型多媒体互动教学终端，集合电子白板、短焦投影、功放、音响、电脑、视频展台、中控、无线耳麦、有线电视等多媒体设备功能于一体。如今白板一体机上的白板可以显示图片和视频，在实际应用场景下，用户经常需要对图片或视频帧中的目标物体进行抠图处理。而现有的抠图方法要求用户用虚线手动勾勒图片或视频帧中的目标物体才可抠取出目标物体，不仅用户操作麻烦，无法快速地从图片或视频帧中抠取出目标物体，而且抠图效果受用户勾勒的虚线影响，当用户勾勒的虚线不贴合目标物体的轮廓时，无法准确地从图片或视频帧中抠取出目标物体。


技术实现要素：

3.为了克服现有技术的缺陷，本发明提供一种适用于白板一体机的抠图方法及装置，能够快速准确地从白板上的待处理图像中抠取出目标物体。
4.为了解决上述技术问题，第一方面，本发明一实施例提供一种适用于白板一体机的抠图方法，包括：
5.针对白板上的待处理图像，在检测到用户对所述待处理图像中目标物体的点击操作时，确定所述目标物体所在的目标候选框；
6.根据所述目标候选框对所述待处理图像中的目标物体进行抠图处理，得到目标图像，并将所述目标图像返回至所述白板。
7.进一步地，所述针对白板上的待处理图像，在检测到用户对所述待处理图像中目标物体的点击操作时，确定所述目标物体所在的目标候选框，具体包括：
8.针对所述白板上的所述待处理图像，实时检测用户对所述待处理图像中目标物体的点击操作；其中，所述点击操作包括长按操作，所述长按操作为按触时间达到预设时间的操作；
9.在检测到用户对所述待处理图像中目标物体的点击操作时，将所述待处理图像和按触像素点输入预先构建的候选框识别模型，通过所述候选框识别模型识别所述目标物体所在的候选框，得到所述目标候选框。
10.进一步地，所述将所述待处理图像和按触像素点输入预先构建的候选框识别模型，通过所述候选框识别模型识别所述目标物体所在的候选框，得到所述目标候选框，具体为：
11.将所述待处理图像划分为若干个候选框，分别对每一所述候选框进行特征提取，得到所有所述候选框的特征；
12.根据所有所述候选框的特征，对所有所述候选框进行分类，得到所有所述候选框
的类别；
13.将所述按触像素点所在的候选框作为预选候选框，并基于与所述预选候选框为同一类别的所有候选框，调整所述预选候选框，得到所述目标候选框。
14.进一步地，所述根据所述目标候选框对所述待处理图像中的目标物体进行抠图处理，得到目标图像，具体包括：
15.基于所述目标候选框，对所述待处理图像进行下采样和上采样处理，得到所述目标物体的轮廓；
16.根据所述目标物体的轮廓，从所述待处理图像中抠取出所述目标物体，得到所述目标图像。
17.进一步地，所述将所述目标图像返回至所述白板，具体包括：
18.将所述目标图像返回至所述白板，使所述目标图像叠加在所述待处理图像上；
19.在检测到用户对所述目标图像的移动操作时，根据用户对所述目标图像的移动轨迹移动所述目标图像。
20.第二方面，本发明一实施例提供一种适用于白板一体机的抠图装置，包括：
21.目标候选框确定模块，用于针对白板上的待处理图像，在检测到用户对所述待处理图像中目标物体的点击操作时，确定所述目标物体所在的目标候选框；
22.待处理图像抠图模块，用于根据所述目标候选框对所述待处理图像中的目标物体进行抠图处理，得到目标图像，并将所述目标图像返回至所述白板。
23.进一步地，所述目标候选框确定模块，具体包括：
24.点击操作检测单元，用于针对所述白板上的所述待处理图像，实时检测用户对所述待处理图像中目标物体的点击操作；其中，所述点击操作包括长按操作，所述长按操作为按触时间达到预设时间的操作；
25.候选框识别单元，用于在检测到用户对所述待处理图像中目标物体的点击操作时，将所述待处理图像和按触像素点输入预先构建的候选框识别模型，通过所述候选框识别模型识别所述目标物体所在的候选框，得到所述目标候选框。
26.进一步地，所述候选框识别单元，具体用于：
27.将所述待处理图像划分为若干个候选框，分别对每一所述候选框进行特征提取，得到所有所述候选框的特征；
28.根据所有所述候选框的特征，对所有所述候选框进行分类，得到所有所述候选框的类别；
29.将所述按触像素点所在的候选框作为预选候选框，并基于与所述预选候选框为同一类别的所有候选框，调整所述预选候选框，得到所述目标候选框。
30.进一步地，所述待处理图像抠图模块，具体包括：
31.物体轮廓确定模块，用于基于所述目标候选框，对所述待处理图像进行下采样和上采样处理，得到所述目标物体的轮廓；
32.目标图像获取模块，用于根据所述目标物体的轮廓，从所述待处理图像中抠取出所述目标物体，得到所述目标图像。
33.进一步地，所述待处理图像抠图模块，具体包括：
34.目标图像返回单元，用于将所述目标图像返回至所述白板，使所述目标图像叠加
在所述待处理图像上；
35.目标图像移动单元，在检测到用户对所述目标图像的移动操作时，根据用户对所述目标图像的移动轨迹移动所述目标图像。
36.本发明的实施例，具有如下有益效果：
37.通过针对白板上的待处理图像，在检测到用户对待处理图像中目标物体的点击操作时，确定目标物体所在的目标候选框；根据目标候选框对待处理图像中的目标物体进行抠图处理，得到目标图像，并将目标图像返回至白板，完成从白板上的待处理图像中抠取出目标物体。相比于现有技术，应用本发明的实施例提供的适用于白板一体机的抠图方法，能够使用户在对待处理图像中的目标物体进行抠图处理时，可直接在白板上采用点击操作选择待处理图像中的目标物体，无需用虚线手动勾勒待处理图像中的目标物体，简化用户操作，且通过根据目标物体所在的目标候选框对待处理图像中的目标物体进行抠图处理，能够有效优化抠图效果，从而实现快速准确地从白板上的待处理图像中抠取出目标物体。
附图说明
38.图1为本发明第一实施例中的一种适用于白板一体机的抠图方法的流程示意图；
39.图2为本发明第二实施例中的一种适用于白板一体机的抠图装置的结构示意图。
具体实施方式
40.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以处理器作为执行主体为例进行说明。
42.如图1所示，第一实施例提供一种适用于白板一体机的抠图方法，包括步骤s1～s2：
43.s1、针对白板上的待处理图像，在检测到用户对待处理图像中目标物体的点击操作时，确定目标物体所在的目标候选框；
44.s2、根据目标候选框对待处理图像中的目标物体进行抠图处理，得到目标图像，并将目标图像返回至白板。
45.在本实施例的一优选实施方式中，待处理图像为图片或视频帧。
46.作为示例性地，在步骤s1中，打开白板，向白板发送图片或视频。当向白板发送图片时，直接以该图片为待处理图像，当向白板发送视频时，实时检测用户对该视频中所有视频帧的选择操作，并在检测到用户对该视频中任一视频帧的选择操作时，以用户选择的视频帧为待处理图像。
47.针对白板上的待处理图像，实时检测用户对待处理图像中目标物体的点击操作，并在检测到用户对待处理图像中目标物体的点击操作时，确定目标物体所在的目标候选框。
48.在步骤s2中，当确定目标物体所在的目标候选框时，根据目标候选框对待处理图像中的目标物体进行抠图处理，具体是确定待处理图像中处于目标候选框内的部分图像，从框内图像中抠取出目标物体，得到目标图像，并将目标图像返回至白板，以在白板上显示目标图像，完成从白板上的待处理图像中抠取出目标物体。
49.应用本实施例提供的适用于白板一体机的抠图方法，能够使用户在对待处理图像中的目标物体进行抠图处理时，可直接在白板上采用点击操作选择待处理图像中的目标物体，无需用虚线手动勾勒待处理图像中的目标物体，简化用户操作，且通过根据目标物体所在的目标候选框对待处理图像中的目标物体进行抠图处理，能够有效优化抠图效果，从而实现快速准确地从白板上的待处理图像中抠取出目标物体。
50.在优选的实施例当中，所述针对白板上的待处理图像，在检测到用户对待处理图像中目标物体的点击操作时，确定目标物体所在的目标候选框，具体包括：针对白板上的待处理图像，实时检测用户对待处理图像中目标物体的点击操作；其中，点击操作包括长按操作，长按操作为按触时间达到预设时间的操作；在检测到用户对待处理图像中目标物体的点击操作时，将待处理图像和按触像素点输入预先构建的候选框识别模型，通过候选框识别模型识别目标物体所在的候选框，得到目标候选框。
51.作为示例性地，点击操作选用长按操作，预设时间设置5秒。
52.可以理解的是，点击操作也可选用双击操作等等。
53.针对白板上的待处理图像，实时检测用户对待处理图像中目标物体的长按操作，具体是实时检测用户是否有在白板上对待处理图像中目标物体进行按触，以及对待处理图像中目标物体的按触时间是否达到预设时间，即5秒，若用户有在白板上对待处理图像中目标物体进行按触，且对待处理图像中目标物体的按触时间达到预设时间，则此时检测到用户对待处理图像中目标物体的点击操作。
54.在检测到用户对待处理图像中目标物体的点击操作时，获取用户在白板上对待处理图像中目标物体的按触位置，确定按触像素点，将待处理图像和按触像素点输入预先构建的候选框识别模型，通过候选框识别模型识别目标物体所在的候选框，得到目标候选框。
55.其中，候选框识别模型是基于神经网络算法构建，经过大量样本数据训练得到的，可以准确识别目标候选框。
56.本实施例通过适应于用户操作习惯选用不同方式的点击操作，利用候选框识别模型识别目标候选框，能够进一步简化用户操作，以及准确识别目标候选框，更好地实现快速准确地从待处理图像中抠取出目标物体。
57.在优选的实施例当中，所述将待处理图像和按触像素点输入预先构建的候选框识别模型，通过候选框识别模型识别目标物体所在的候选框，得到目标候选框，具体为：将待处理图像划分为若干个候选框，分别对每一候选框进行特征提取，得到所有候选框的特征；根据所有候选框的特征，对所有候选框进行分类，得到所有候选框的类别；将按触像素点所在的候选框作为预选候选框，并基于与预选候选框为同一类别的所有候选框，调整预选候选框，得到目标候选框。
58.作为示例性地，当将待处理图像和按触像素点输入候选框识别模型时，将待处理图像划分为若干个候选框，通过候选框识别模型中的特征提取网络，比如卷积神经网络分别对每一候选框进行特征提取，得到所有候选框的特征，通过候选框识别模型中的分类网
络，比如支持向量机根据所有候选框的特征，对所有候选框进行分类，得到所有候选框的类别，并将按触像素点所在的候选框作为预选候选框，通过候选框识别模型中的目标检测网络，比如边界框回归(bounding box regression)基于与预选候选框为同一类别的所有候选框，调整预选候选框的大小，得到目标候选框。
59.本实施例通过利用候选框识别模型识别目标候选框，能够准确识别目标候选框，更好地实现快速准确地从待处理图像中抠取出目标物体。
60.在优选的实施例当中，所述根据目标候选框对待处理图像中的目标物体进行抠图处理，得到目标图像，具体包括：基于目标候选框，对待处理图像进行下采样和上采样处理，得到目标物体的轮廓；根据目标物体的轮廓，从待处理图像中抠取出目标物体，得到目标图像。
61.作为示例性地，当得到目标物体所在的目标候选框时，确定待处理图像中处于目标候选框内的部分图像，得到框内图像。为了自动勾勒框内图像中目标物体的轮廓，应用语义分割思想，对框内图像进行下采样和上采样处理，从框内图像中抠取出目标物体，得到目标图像。
62.例如，下采样把图像像素一直缩小2倍，直至缩小到高度和宽度为1/32，最后把缩小为1/32的图像进行2倍上采样，得到1/16的图像，将其与之前一直缩小到1/16的图像进行逐点相加(图形缩小到1/16和缩小到1/32再乘2得到的图形是不一样的)，判断每一像素点的类别，以此类推，逐点相加就能得到清晰的目标物体的轮廓。
63.本实施例通过对框内图像进行下采样和上采样处理，得到目标物体的轮廓，并根据目标物体的轮廓从待处理图像中抠取出目标物体，能够更好地实现快速准确地从待处理图像中抠取出目标物体。
64.在优选的实施例当中，所述将目标图像返回至白板，具体包括：将目标图像返回至白板，使目标图像叠加在待处理图像上；在检测到用户对目标图像的移动操作时，根据用户对目标图像的移动轨迹移动目标图像。
65.作为示例性地，在得到目标图像时，将目标图像返回至白板，使目标图像叠加在待处理图像上，具体可叠加在待处理图像中目标物体所在的位置上，实时检测用户对目标图像的移动操作。其中，移动操作包括拖拽操作。
66.在检测到用户对目标图像的移动操作时，获取用户对目标图像的移动轨迹，按照用户对目标图像的移动轨迹移动目标图像，以根据用户需求，将目标图像移动至白板上的空白位置，或者移动至预先上传至白板的背景图像上。
67.本实施例通过适应于用户操作习惯选用不同方式的移动操作，使目标图像按照用户对目标图像的移动轨迹任意移动至白板上的空白位置或白板上的背景图像上，能够在实现快速准确地从待处理图像中抠取出目标物体的同时，满足用户需求，提升用户体验。
68.基于与第一实施例相同的发明构思，第二实施例提供如图2所示的一种适用于白板一体机的抠图装置，包括：目标候选框确定模块21，用于针对白板上的待处理图像，在检测到用户对待处理图像中目标物体的点击操作时，确定目标物体所在的目标候选框；待处理图像抠图模块22，用于根据目标候选框对待处理图像中的目标物体进行抠图处理，得到目标图像，并将目标图像返回至白板。
69.在优选的实施例当中，目标候选框确定模块21，具体包括：点击操作检测单元，用
于针对白板上的待处理图像，实时检测用户对待处理图像中目标物体的点击操作；其中，点击操作包括长按操作，长按操作为按触时间达到预设时间的操作；候选框识别单元，用于在检测到用户对待处理图像中目标物体的点击操作时，将待处理图像和按触像素点输入预先构建的候选框识别模型，通过候选框识别模型识别目标物体所在的候选框，得到目标候选框。
70.在优选的实施例当中，候选框识别单元，具体用于：将待处理图像划分为若干个候选框，分别对每一候选框进行特征提取，得到所有候选框的特征；根据所有候选框的特征，对所有候选框进行分类，得到所有候选框的类别；将按触像素点所在的候选框作为预选候选框，并基于与预选候选框为同一类别的所有候选框，调整预选候选框，得到目标候选框。
71.在优选的实施例当中，待处理图像抠图模块22，具体包括：物体轮廓确定模块，用于基于目标候选框，对待处理图像进行下采样和上采样处理，得到目标物体的轮廓；目标图像获取模块，用于根据目标物体的轮廓，从待处理图像中抠取出目标物体，得到目标图像。
72.在优选的实施例当中，待处理图像抠图模块22，具体包括：目标图像返回单元，用于将目标图像返回至白板，使目标图像叠加在待处理图像上；目标图像移动单元，在检测到用户对目标图像的移动操作时，根据用户对目标图像的移动轨迹移动目标图像。
73.综上所述，实施本发明的实施例，具有如下有益效果：
74.通过针对白板上的待处理图像，在检测到用户对待处理图像中目标物体的点击操作时，确定目标物体所在的目标候选框；根据目标候选框对待处理图像中的目标物体进行抠图处理，得到目标图像，并将目标图像返回至白板，完成从白板上的待处理图像中抠取出目标物体。应用本发明的实施例提供的适用于白板一体机的抠图方法，能够使用户在对待处理图像中的目标物体进行抠图处理时，可直接在白板上采用点击操作选择待处理图像中的目标物体，无需用虚线手动勾勒待处理图像中的目标物体，简化用户操作，且通过根据目标物体所在的目标候选框对待处理图像中的目标物体进行抠图处理，能够有效优化抠图效果，从而实现快速准确地从白板上的待处理图像中抠取出目标物体。
75.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
76.本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。