一种图像处理方法、终端及计算机可读存储介质与流程

1.本发明涉及图像识别技术领域，特别是涉及一种图像处理方法、终端及计算机可读存储介质。


背景技术：

2.随着互联网的快速发展，特别是基于网络的视频业务的快速发展，给人们的生产生活带来极大的方便。现如今，我们随时随地都能够看到视频监控系统，例如小区、商场、马路上，停车场等等公共区域。但是，人们的隐私数据被频繁泄露的报道层出不穷，且随着人们的安全意识增强，人们更加渴望自己的隐私能够得到友善的保护。
3.目前，视频的隐私遮挡需求被频繁提出，其主要目的是为了保护用户的隐私数据不被非法获取而导致个人信息泄露。然而，当隐私被遮挡时，往往重要的信息也将丢失，对于特殊行业，特别是公共安全行业，往往在保障用户隐私不被泄露和公共安全方面陷入两难境地。


技术实现要素：

4.本发明主要解决的技术问题是提供一种图像处理方法、终端及计算机可读存储介质，解决现有技术中在目标跟踪过程中，不能保障公共安全同时保证用户的隐私不被泄漏的问题。
5.为解决上述技术问题，本发明采用的第一个技术方案是：提供一种图像处理方法，图像处理方法包括：获取第一视频帧，第一视频帧由第一图像采集设备采集得到；对第一视频帧进行目标检测，确定第一视频帧中包含的第一目标对象；对第一视频帧中包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息；响应于包含第一目标对象的区域存在预设行为轨迹，则对隐私遮挡图像信息进行隐私还原处理。
6.其中，对第一视频帧中包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息，之前包括：根据第一目标对象生成对应的身份信息；对第一目标对象进行特征提取，得到第一特征图；将第一目标对象的身份信息和第一特征图进行关联。
7.其中，图像处理方法还包括：获取第二视频帧，第二视频帧由第二图像采集设备采集得到；对第二视频帧进行目标检测，确定第二视频帧中包含的第二目标对象；响应于第二目标对象是第一目标对象；则将第一目标对象的身份信息发送给第二图像采集设备。
8.其中，图像处理方法还包括：对第二目标对象进行特征提取，得到第二特征图；响应于第二特征图是第一特征图，则将第二目标对象的轨迹信息与第一目标对象关联。
9.其中，对第一视频帧中的包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息，包括：获取第一视频帧中包含第一目标对象的区域的数据；通过cp-abe算法对包含第一目标对象的区域的数据进行加密，得到隐私遮挡数据；将隐私遮挡数据与第一视频帧其它未包含第一目标对象的区域的数据进行合并，得到隐私遮挡图像信息。
10.其中，对第一视频帧进行目标检测，确定第一视频帧中包含的第一目标对象，包
括：对第一视频帧进行目标检测，得到第一视频帧中包含的候选目标对象；判断候选目标对象是否属于预设目标对象；如果候选目标对象属于预设目标对象，则确定候选目标对象为第一目标对象。
11.其中，获取第一视频帧，之前包括：预存预设行为轨迹，并根据预设行为轨迹设置访问结构。
12.其中，响应于包含第一目标对象的区域存在预设行为轨迹，则对隐私遮挡图像信息进行隐私还原处理，包括：如果包含第一目标对象的区域存在预设行为轨迹，则通过访问结构对预设行为轨迹进行验证；如果验证成功，则对隐私遮挡图像信息进行隐私还原处理。
13.其中，预设行为轨迹包括偷盗动作、打架动作、停滞危险区域动作中的一种。
14.为解决上述技术问题，本发明采用的第二个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述图像处理方法中的步骤。
15.为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法中的步骤。
16.本发明的有益效果是：区别于现有技术的情况，提供的一种图像处理方法、终端及计算机可读存储介质，图像处理方法通过获取第一视频帧，第一视频帧由第一图像采集设备采集得到；对第一视频帧进行目标检测，确定第一视频帧中包含的第一目标对象；对第一视频帧中包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息；响应于包含第一目标对象的区域存在预设行为轨迹，则对隐私遮挡图像信息进行隐私还原处理。本技术对获取的第一视频帧进行检测得到第一目标对象，对包含第一目标对象的区域进行隐私处理，进而保证第一目标对象的隐私不被泄露；当第一目标对象的区域存在预设行为轨迹时，则可以对隐私遮挡图像信息进行隐私还原处理，即在出现违反公共安全的行为时，对包含第一目标对象的区域的重要信息进行还原，进而保障了公共安全。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
18.图1是本发明提供的图像处理方法的流程示意图；
19.图2是本发明提供的图像处理方法一具体实施例的流程示意图；
20.图3是本发明提供的图像处理方法另一具体实施例的流程示意图；
21.图4是图像采集设备的布局图；
22.图5是本发明提供的终端一实施方式的示意框图；
23.图6是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
24.下面结合说明书附图，对本技术实施例的方案进行详细说明。
25.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
26.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
27.为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种图像处理方法做进一步详细描述。
28.请参阅图1，图1是本发明提供的图像处理方法的流程示意图。
29.本实施例中提供一种图像处理方法，该方法可以对实时采集的图像进行处理，也可以对离线视频中的视频帧进行处理。该图像处理方法包括如下步骤。
30.s11：获取第一视频帧。
31.具体地，第一视频帧由第一图像采集设备采集得到。在一可选实施例中，预存预设行为轨迹，并根据预设行为轨迹设置访问结构。
32.s12：对第一视频帧进行目标检测，确定第一视频帧中包含的第一目标对象。
33.具体地，对第一视频帧进行目标检测，得到第一视频帧中包含的候选目标对象；判断候选目标对象是否属于预设目标对象；如果候选目标对象属于预设目标对象，则确定候选目标对象为第一目标对象。根据第一目标对象生成对应的身份信息；对第一目标对象进行特征提取，得到第一特征图；将第一目标对象的身份信息和第一特征图进行关联。
34.s13：对第一视频帧中包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息。
35.具体地，获取第一视频帧中包含第一目标对象的区域的数据；通过cp-abe(ciphertext policy attribute based encryption，密文策略属性基加密系统)算法对包含第一目标对象的区域的数据进行加密，得到隐私遮挡数据；将隐私遮挡数据与第一视频帧其它未包含第一目标对象的区域的数据进行合并，得到隐私遮挡图像信息。
36.s14：响应于包含第一目标对象的区域存在预设行为轨迹，则对隐私遮挡图像信息进行隐私还原处理。
37.具体地，如果包含第一目标对象的区域存在预设行为轨迹，则通过访问结构对预设行为轨迹进行验证；响应于验证成功，则对隐私遮挡图像信息进行隐私还原处理。
38.在一具体实施例中，获取第二视频帧，第二视频帧由第二图像采集设备采集得到；对第二视频帧进行目标检测，确定第二视频帧中包含的第二目标对象；响应于第二目标对象是第一目标对象；则将第一目标对象的身份信息发送给第二图像采集设备。对第二目标对象进行特征提取，得到第二特征图；响应于第二特征图是第一特征图，则将第二目标对象的轨迹信息与第一目标对象关联。
39.本实施例提供的图像处理方法通过获取第一视频帧，第一视频帧由第一图像采集设备采集得到；对第一视频帧进行目标检测，确定第一视频帧中包含的第一目标对象；对第一视频帧中包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息；响应于包含第一目标对象的区域存在预设行为轨迹，则对隐私遮挡图像信息进行隐私还原处理。本技术对获取的第一视频帧进行检测得到第一目标对象，对包含第一目标对象的区域进行
隐私处理，进而保证第一目标对象的隐私不被泄露；当第一目标对象的区域存在预设行为轨迹时，则可以对隐私遮挡图像信息进行隐私还原处理，即在出现违反公共安全的行为时，对包含第一目标对象的区域的重要信息进行还原，进而保障了公共安全。
40.请参阅图2，图2是本发明提供的图像处理方法一具体实施例的流程示意图。本实施例中提供一种图像处理方法，该方法可以对实时采集的图像进行处理，也可以对离线视频中的视频帧进行处理。该图像处理方法包括如下步骤。
41.s201：预存预设行为轨迹，并根据预设行为轨迹设置访问结构。
42.具体地，在本实施例中，首先设定预设行为轨迹。其中，预设行为轨迹包括偷盗动作、打架动作、停滞危险区域动作等其它违法违规行为。当图像中出现预设行为轨迹时，通过访问结构验证后可以对图像采集设备中的图像进行隐私还原查看。其中，访问结构包括图像采集设备管理人员、图像采集设备维护人员和公安系统人员。当访问结构中的图像采集设备管理人员和图像采集设备维护人员两者中的至少一个与公安系统人员均同意查看图像信息，则表明访问结构验证成功。在一具体实施例中，可以预先在图像采集设备中录入图像采集设备管理人员、图像采集设备维护人员和公安系统人员的特征信息，并保存。例如，特征信息包括职业、工作年限、所属部门、特定事项等信息，通过设定访问结构对图像采集设备的访问权限进行管理，进而保护图像采集设备中采集的图像信息包含的隐私数据不被泄露。
43.其中，该访问结构可根据具体的应用场景以及用户的实际需要来进行合理设定。以向图像采集设备中输入的访问结构中公安系统人员的特征数据为：交警、五年工龄、十年工龄、滨江区、闯红灯以及后勤部门为例，则相应地，该图像采集设备能够根据该特征数据组成一个访问结构为：滨江区工龄在五年以上十年以下非后勤部门的交警可以查看闯红灯的去除图像中隐私遮挡的车辆监控图像信息。而不满足该访问结构的人员则无法去除相应的隐私遮挡，从而能够通过设置访问结构来进行细粒度的控制隐私遮挡部分的访问权限。
44.基于第一图像采集设备对监控区域的图像进行采集并进行目标检测得到第一目标对象，对检测得到的第一目标对象进行隐私遮挡处理。例如，对检测得到的第一目标对象的面部进行隐私遮挡处理。
45.s202：获取第一视频帧。
46.具体地，通过第一图像采集设备获取当前视频帧，当前视频帧作为第一视频帧。在其他可选实施例中，第一图像采集设备获取视频数据，将需要检测的视频帧作为第一视频帧。也就是说，该方法中的第一视频帧可以是实时采集的图像数据，也可以是离线状态下的图像数据。其中，第一图像采集设备可以为网络摄像机(ip camera，ipc)。
47.s203：对第一视频帧进行目标检测，得到第一视频帧中包含的候选目标对象。
48.具体地，对获取到的第一视频帧进行目标检测得到候选目标对象的检测框。其中，候选目标对象的检测框可理解为第一视频帧中需做隐私遮挡处理的区域部分，以防止隐私信息泄露的区域，具体可以是通过第一图像采集设备上集成的一经过训练的网络检测模型对第一视频帧中的目标对象进行检测，或是，对特殊图标或图形区域进行捕捉的方式来进行检测，以在检测出第一视频帧中的包含候选目标对象的检测框后，对包含候选目标对象的检测框进行标记。其中，该第一视频帧可以是视频码流信息，也可以是图片信息，本技术对此不做限定。
49.s204：判断候选目标对象是否属于预设目标对象。
50.具体地，设定需要监控的预设目标对象，本技术中的方法仅对预设目标对象进行跟踪处理。其中，预设目标对象包括人、动物、车辆等。将第一视频帧中检测得到的检测框中的候选目标对象与预设目标对象进行比对。如果候选目标对象属于预设目标对象，则直接跳转至步骤s205；如果候选目标对象不属于预设目标对象，则直接跳转至步骤s206。
51.s205：确定候选目标对象为第一目标对象。
52.具体地，如果候选目标对象属于预设目标对象，则确定候选目标对象为第一目标对象。
53.s206：获取下一视频帧。
54.具体地，如果候选目标对象不属于预设目标对象，则确定候选目标对象不属于跟踪的对象，可以直接获取下一视频帧进行目标检测。
55.s207：根据第一目标对象生成对应的身份信息。
56.具体地，当在候选目标对象中确定第一目标对象时，为第一目标对象生成对应的身份信息。其中，身份信息是第一目标对象唯一的身份标识符，记为身份信息(identity document，id)。
57.s208：对第一目标对象进行特征提取，得到第一特征图。
58.具体地，对包含第一目标对象的检测框进行特征提取，得到第一目标对象的第一特征图。其中，通过卷积神经网络对包含第一目标对象的检测框进行特征提取得到第一特征图。
59.s209：将第一目标对象的身份信息和第一特征图进行关联。
60.具体地，将第一视频帧中检测得到的第一目标对象的id与提取的第一特征图进行关联并保存。
61.s210：获取第一视频帧中包含第一目标对象的区域的数据并加密，得到隐私遮挡数据。
62.具体地，通过设定隐私遮挡规则对第一视频帧中包含第一目标对象的检测框进行隐私遮挡处理。其中，可以对第一目标对象的预设区域的数据进行提取并进行加密。例如，对第一目标对象的面部的数据进行提取并进行加密。可以通过第一图像采集设备的系统公共参数和预先设置的访问结构对第一目标对象的预设区域的数据进行加密。也可以通过客户端对接收的第一视频帧中包含的第一目标对象的预设区域的数据进行提取并进行加密。在一具体实施例中，通过cp-abe算法对第一目标对象的预设区域的数据进行加密，得到隐私遮挡数据。
63.s211：将隐私遮挡数据与第一视频帧其它未包含第一目标对象的区域的数据进行合并，得到隐私遮挡图像信息。
64.具体地，将第一目标对象的预设区域的数据中对应的图像的像素值调整为0，以将加密后的第一目标对象的预设区域的数据合并到已做剪切处理的第一视频帧数据中。也就是说，将进行加密处理的包含第一目标对象的检测框的数据与第一视频帧中其它未进行加密处理的数据进行合并生成隐私遮挡图像信息。
65.在另一可选实施例中，生成一背景颜色为白色或蓝色等任一纯色的与该包含第一目标对象的预设区域的尺寸大小相同的图片覆盖到第一视频帧中第一目标对象的预设区
域上，以得到对第一视频帧中第一目标对象的预设区域的数据进行隐私遮挡处理后的隐私遮挡图像信息。
66.第一图像采集设备将第一视频帧对应的隐私遮挡图像信息发送给客户端，客户端对隐私遮挡图像信息中的第一目标对象的运动轨迹进行评判，进而确定是否需要对第一目标对象进行隐私还原。
67.s212：判断第一目标对象是否存在预设行为轨迹。
68.具体地，由于通过上述步骤对第一目标对象的预设区域进行隐私遮挡，通过判断包含第一目标对象的检测框是否处于预设范围，或通过判断检测框中第一目标对象的行为是否属于预设行为，进而确定第一目标对象是否存在预设行为轨迹。
69.如果第一目标对象存在预设行为轨迹，则直接跳转至步骤s213；如果第一目标对象不存在预设行为轨迹，则直接跳转至步骤s215。
70.s213：通过访问结构对预设行为轨迹进行验证。
71.具体地，如果包含第一目标对象的区域存在预设行为轨迹，则通过访问结构对预设行为轨迹进行验证。当访问结构中的图像采集设备管理人员和图像采集设备维护人员两者中的至少一个与公安系统人员均同意查看图像信息，则表明访问结构验证成功。以便于在图像采集设备管理人员和图像采集设备维护人员两者中的至少一个与公安系统人员共同存在时，对第一视频帧中的第一目标对象进行隐私还原。
72.s214：响应于验证成功，对隐私遮挡图像信息进行隐私还原处理。
73.具体地，当访问结构中的图像采集设备管理人员和图像采集设备维护人员两者中的至少一个与公安系统人员均同意查看图像信息，则对第一视频帧中隐私遮挡图像信息进行隐私还原处理。方便管理人员预览第一视频帧查看第一目标对象的违法行为，并进行公共安全维护。
74.s215：不需要对隐私遮挡图像信息进行隐私还原处理。
75.具体地，如果包含第一目标对象的区域不存在预设行为轨迹，则表明第一目标对象的行为轨迹属于正常行为，包含第一目标对象的检测框中的预设区域依然以隐私遮挡的状态存在，进而保护第一目标对象的隐私不被泄漏。
76.请参阅图3和图4，图3是本发明提供的图像处理方法另一具体实施例的流程示意图；图4是图像采集设备的布局图。在一可选实施例中，将至少两个图像采集设备按照图4部署，即至少两个不同的图像采集设备监控覆盖范围有部分重叠。具体地，图像采集设备包括ipc1、ipc2和ipc3，当第一目标对象从第一图像采集设备(ipc1)的监控覆盖范围移动到第二图像采集设备(ipc2)的监控覆盖范围时，具体实施步骤如下。
77.s31：通过第二图像采集设备获取第二视频帧，并将第二视频帧发送给第一图像采集设备。
78.具体地，第二图像采集设备对获取的第二视频帧进行目标检测，并判断第二视频帧中是否检测到包含第二目标对象的检测框。当第二视频帧中检测得到包含第二目标对象的检测框，则第二图像采集设备发送信号给第一图像采集设备。例如，第一图像采集设备和第二图像采集设备的监控覆盖范围出现重叠区s区，当第一目标对象进入s区域后，第二图像采集设备获取第二视频帧，并对第二视频帧进行目标检测，当第二视频帧中检测到包含第二目标对象的检测框，则第二图像采集设备发送信号给第一图像采集设备，表明即将离
开第一图像采集设备监控覆盖范围的第一目标对象，可能进入第二图像采集设备的监控覆盖范围。
79.s32：第一图像采集设备将第一目标对象的身份信息同步给第二目标对象。
80.具体地，第一图像采集设备接收到第二图像采集设备发送的信号，将第一目标对象的身份信息发送给第二图像采集设备，将第一目标对象的身份信息作为第二目标对象的身份信息。
81.s33：对第二目标对象进行特征提取，得到第二特征图。
82.具体地，对包含第二目标对象的检测框进行特征提取，得到第二目标对象的第二特征图。其中，通过卷积神经网络对包含第二目标对象的检测框进行特征提取得到第二特征图。在一具体实施例中，可以直接对第二视频帧中包含第二目标对象的检测框进行特征提取，也可以通过第二图像采集设备重新采集一张清晰可识别的视频帧，并对该视频帧进行目标检测得到包含第二目标对象的检测框，对包含第二目标对象的检测框进行特征提取得到第二特征图。在本实施例中，第二图像采集设备对包含第二目标对象的区域进行特征提取，得到第二特征图。将第二特征图与第二目标对象的身份信息进行关联，并将关联的第二特征图与第二目标对象的身份信息发送给第一图像采集设备。在另一可选实施例中，第二图像采集设备将采集的第二视频帧发送给第一图像采集设备，第一图像采集设备对包含第二目标对象的检测框进行特征提取得到第二特征图，将第二特征图与第二目标对象的身份信息进行关联。
83.s34：判断第二目标对象是否是第一目标对象。
84.具体地，判断第二目标对象的第二特征图与第一目标对象的第一特征图的相似度是否超过阈值，进而确定第二目标对象是否是第一目标对象。其中，第一图像采集设备获取与第二目标对象的身份信息关联的第二特征图，在第一图像采集设备中查找具有相同身份信息的目标对象，判断第二特征图与具有相同身份信息的第一特征图的相似度是否超过阈值。
85.如果第二目标对象的第二特征图与第一目标对象的第一特征图的相似度超过阈值，则直接跳转至步骤35；如果第二目标对象的第二特征图与第一目标对象的第一特征图的相似度未超过阈值，则直接跳转至步骤36。
86.s35：将第一目标对象的轨迹信息与第二目标对象关联。
87.具体地，如果第二目标对象的第二特征图与第一目标对象的第一特征图的相似度超过阈值，则表明第二目标对象是第一目标对象，第一目标对象从第一图像采集设备的监控覆盖范围移动至第二图像采集设备的监控覆盖范围，第二目标对象在第二图像采集设备的监控覆盖范围内的轨迹信息发送给第一图像采集设备，使第二目标对象在第二图像采集设备的监控覆盖范围内的轨迹信息与第一目标对象在第一图像采集设备的监控覆盖范围内的轨迹信息相互关联，且将第一图像采集设备将第一目标对象在第一图像采集设备的监控覆盖范围内的轨迹信息发送给第二图像采集设备，使第一目标对象在第一图像采集设备的监控覆盖范围内的轨迹信息与第二目标对象在第二图像采集设备的监控覆盖范围内的轨迹信息相互关联，方便查看第一目标对象在整个监控区域的整体运动轨迹。
88.s36：为第二目标对象生成新身份信息。
89.具体地，如果第二目标对象的第二特征图与第一目标对象的第一特征图的相似度
未超过阈值，则表明第二目标对象不是第一目标对象，之前对第二目标对象同步的第一目标对象的身份信息有误，需要重新为第二目标对象生成新的身份信息。
90.s37：第二图像采集设备对获取的第二视频帧中包含第二目标对象的检测框的预设区域的数据进行加密并生成对应的隐私遮挡图像信息。
91.具体实施方式与步骤s210和s211相同，在此不再赘述。
92.对第二图像采集设备采集的第二视频帧进行查看的方式与第一视频帧的查看方式是相同的，在此不再赘述。
93.本实施例提供的图像处理方法通过获取第一视频帧，第一视频帧由第一图像采集设备采集得到；对第一视频帧进行目标检测，确定第一视频帧中包含的第一目标对象；对第一视频帧中包含第一目标对象的区域进行隐私遮挡处理，得到隐私遮挡图像信息；响应于包含第一目标对象的区域存在预设行为轨迹，则对隐私遮挡图像信息进行隐私还原处理。本技术对获取的第一视频帧进行检测得到第一目标对象，对第一视频帧和采集的其它视频帧中的包含第一目标对象的区域进行隐私处理，进而保证第一目标对象的隐私不被泄露；当第一目标对象的区域存在预设行为轨迹时，则可以对隐私遮挡图像信息进行隐私还原处理，即在出现违反公共安全的行为时，对包含第一目标对象的区域的重要信息进行还原，进而保障了公共安全。
94.参阅图5，图5是本发明提供的终端一实施方式的示意框图。该实施方式中的终端70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述图像处理方法中，为避免重复，此处不一一赘述。
95.参阅图6，图6是本发明提供的计算机可读存储介质一实施方式的示意框图。
96.本技术的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本技术实施方式提供的图像处理方法。
97.其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
98.以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。