图像处理方法、装置、计算机可读介质及电子设备与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、计算机可读介质及电子设备。


背景技术：

2.随着5g时代的来临，直播技术在娱乐、教育等行业中的应用越来越普及，涌现出很多新颖有趣的新玩法，如直播互动、个性贴纸等等，给用户头像实时地贴上活泼有趣的贴纸，可以增强用户的体验。
3.然而，现有的涉及贴纸应用的图像处理方法存在算法流程过长，计算量过大，冗余计算过多等诸多缺陷。


技术实现要素：

4.本技术的实施例提供了一种图像处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上能够有效提高了图像处理的效率。
5.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
6.根据本技术实施例的一个方面，提供了一种图像处理方法，包括：对待处理图像进行目标检测；若检测到所述待处理图像中包含有目标对象，则根据所述待处理图像的特征图，生成热力图；根据所述热力图中各个像素点的热力值大小，确定所述热力图中的目标像素点，并根据所述目标像素点的位置，在所述待处理图像中确定与所述目标像素点的位置相对应的显示区域；在所述显示区域内添加第一多媒体元素。
7.根据本技术实施例的一个方面，提供了一种图像处理装置，包括：检测单元，配置为对待处理图像进行目标检测；生成单元，配置为若检测到所述待处理图像中包含有目标对象，则根据所述待处理图像的特征图，生成热力图；第一确定单元，配置为根据所述热力图中各个像素点的热力值大小，确定所述热力图中的目标像素点，并根据所述目标像素点的位置，在所述待处理图像中确定与所述目标像素点的位置相对应的显示区域；第一添加单元，配置为在所述显示区域内添加第一多媒体元素。
8.在本技术的一些实施例中，基于前述方案，所述第一确定单元包括：第一确定子单元，配置为根据所述热力图中各个像素点的热力值大小，确定所述热力图中热力值最大的像素点；第二确定子单元，配置为将所述热力图中热力值最大的像素点作为所述目标像素点。
9.在本技术的一些实施例中，基于前述方案，所述第二确定子单元配置为：若所述热力值最大的像素点在所述热力图的指定区域内，则将所述热力值最大的像素点作为所述目标像素点；若所述热力值最大的像素点不在所述指定区域内，则确定所述热力图中不存在所述目标像素点。
10.在本技术的一些实施例中，基于前述方案，所述装置还包括：第二添加单元，配置
为若确定所述热力图中不存在所述目标像素点，则在所述待处理图像中的预定区域内添加第二多媒体元素。
11.在本技术的一些实施例中，基于前述方案，所述生成单元配置为：基于所述待处理图像的特征图中指定的部分区域的特征值，生成所述热力图。
12.在本技术的一些实施例中，基于前述方案，所述装置还包括：输入单元，配置为将所述待处理图像输入预先训练好的特征提取模型，所述特征提取模型中包含有多个特征提取层；选择单元，配置为选择所述特征提取模型中任意一个特征提取层输出的特征图，作为所述待处理图像的特征图，或者，根据所述特征提取模型中多个特征提取层分别输出的特征图，生成所述待处理图像的特征图。
13.在本技术的一些实施例中，基于前述方案，所述装置还包括：获取单元，配置为获取所述待处理图像中包含有所述目标对象的第一概率以及所述待处理图像中不包含所述目标对象的第二概率；计算单元，配置为计算所述第一概率与所述第二概率的第一比值，以及所述第二概率与所述第一概率的第二比值；第二确定单元，配置为基于所述第一比值与所述第二比值之间的关系，确定所述待处理图像中是否包含有所述目标对象。
14.在本技术的一些实施例中，基于前述方案，所述获取单元包括：提取子单元，配置为对所述待处理图像进行特征提取，得到所述待处理图像的特征向量；分类子单元，配置为基于所述特征向量对所述待处理图像进行分类，以获取所述待处理图像中包含有所述目标对象的第一概率以及所述待处理图像中不包含所述目标对象的第二概率。
15.在本技术的一些实施例中，基于前述方案，所述提取子单元配置为：利用预先训练好的特征提取模型对所述待处理图像进行特征提取，获得所述特征提取模型的各个特征提取层输出的特征；基于所述各个特征提取层输出的特征，生成所述待处理图像的特征向量。
16.在本技术的一些实施例中，基于前述方案，所述分类子单元配置为：将所述待处理图像的特征向量输入预定的分类器；获取所述分类器输出的分类结果，所述分类结果中包含有所述待处理图像包含有所述目标对象的第一概率以及所述待处理图像不包含所述目标对象的第二概率。
17.在本技术的一些实施例中，基于前述方案，所述第一确定单元配置为：根据所述热力图与所述待处理图像之间的映射关系，将所述热力图中的目标像素点的位置映射到所述待处理图像中，得到所述待处理图像中与所述目标像素点的位置相对应的目标位置；将包含所述目标位置的预设大小的区域，作为与所述目标像素点的位置相对应的显示区域。
18.在本技术的一些实施例中，基于前述方案，所述装置还包括：第三添加单元，配置为若确定所述待处理图像中不包含所述目标对象，则在所述待处理图像中的预定区域内添加第二多媒体元素。
19.根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的图像处理方法。
20.根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。
21.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质
中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的图像处理方法。
22.在本技术的一些实施例所提供的技术方案中，通过在检测到待处理图像中包含有目标对象时，根据待处理图像的特征图生成热力图，然后根据热力图中各个像素点的热力值大小，确定热力图中的目标像素点，并根据目标像素点的位置，在待处理图像中确定与目标像素点的位置相对应的显示区域，从而达到在显示区域内添加第一多媒体元素的目的。本技术实施例的技术方案通过待处理图像的特征图生成热力图，然后根据热力图中目标像素点的位置确定出显示区域，从而在显示区域内添加第一多媒体元素，克服了现有技术中图像处理过程存在的计算量大，算法流程长等问题，节省了人力成本，有效提高了图像处理的效率，而且可适用于任意的图像文件，具有广泛适用性。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
25.图1示出了可以应用本技术实施例的技术方案的一个示例性系统架构的示意图；
26.图2示出了根据本技术的一个实施例的图像处理方法的流程图；
27.图3示出了根据本技术的一个实施例的图像处理方法的流程图；
28.图4示出了根据本技术的一个实施例的图像处理方法的流程图；
29.图5示出了根据本技术的一个实施例的图像处理方法的流程图；
30.图6示出了根据本技术的一个实施例的图像处理方法的流程图；
31.图7a
‑
7b示出了根据本技术的一个实施例的热力图和待处理图像的示意图；
32.图8示出了根据本技术的一个实施例的图像处理方法的逻辑图；
33.图9示出了根据本技术的一个实施例的图像处理装置的框图；
34.图10示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
35.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
36.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
37.需要说明的是，本技术的说明书和权利要求书及上述附图中使用的术语仅用于描
述实施例，并不旨在限制本技术的范围。应该理解的是，术语“包括”、“包含”、“具有”等在本文中使用时指定存在所陈述的特点、整体、步骤、操作、元件、组件和/或其群组，但并不排除存在或添加其他特点、整体、步骤、操作、元件、组件和/或其群组中的一个或多个。
38.将进一步理解的是，尽管术语“第一”、“第二”、“第三”等可以在本文中用于描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件。类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包含关联的列出的项目中的一个或多个的任何和所有组合。
39.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
40.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
41.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
42.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图。
43.如图1所示，系统架构100可以包括终端设备102和服务器104，终端设备102和服务器104均可单独用于执行本技术实施例中提供的图像处理方法。终端设备102和服务器104也可通过交互协同执行本技术实施例中提供的图像处理方法。
44.需要说明的是，在本技术中，终端设备102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端设备102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
45.服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
46.下面以终端设备102为执行主体对本技术实施例的图像处理方法进行说明，在本技术的一个实施例中，终端设备102可以对待处理图像进行目标检测，其中，待处理图像可以是终端设备102从本地或者其他数据库中获取得到的图像，如果终端设备102检测到待处理图像中包含有目标对象，则可以进一步根据待处理图像的特征图，生成热力图，然后，终端设备102可以根据热力图中各个像素点的热力值大小，确定热力图中的目标像素点，在确定出目标像素点之后，终端设备102可以根据目标像素点的位置，在待处理图像中确定与目标像素点的位置相对应的显示区域，最后，终端设备102可以将第一多媒体元素添加到显示区域内。其中，第一多媒体元素可以是静态图像、动态图像(如动态gif文件)，或者flash、视频、三维动画文件等。
47.本技术实施例提供的图像处理方法涉及人工智能的计算机视觉技术和机器学习等技术。其中：
48.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
49.计算机视觉技术(computer vision,cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
50.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
51.本技术通过下述的实施例对涉及的计算机视觉技术和机器学习等技术进行说明。
52.在一个实施例中，如图2所示，提供一种图像处理方法，以该方法应用于计算机设备为例来举例说明。该计算机设备具体可以是图1中的终端设备102或者服务器104。该图像处理方法包括以下步骤：
53.步骤s210、对待处理图像进行目标检测；
54.步骤s220、若检测到待处理图像中包含有目标对象，则根据待处理图像的特征图，生成热力图；
55.步骤s230、根据热力图中各个像素点的热力值大小，确定热力图中的目标像素点，并根据目标像素点的位置，在待处理图像中确定与目标像素点的位置相对应的显示区域；
56.步骤s240、在显示区域内添加第一多媒体元素。
57.下面对这些步骤进行详细描述。
58.在步骤s210中，对待处理图像进行目标检测。
59.本实施例中，可以首先对待处理图像进行目标检测，目标检测用于检测待处理图像中是否存在目标对象，目标对象可以包括但不限于人脸、动物、建筑物、虚拟对象(游戏角色、动画角色等)或其他实体对象等，且目标对象可以是一种或者多种不同的对象，具体可以根据实际应用场景而定，例如，待处理图像为关于人脸的图像时，目标对象可以是待处理图像中的人脸，待处理图像为关于建筑物的图像时，目标对象可以是待处理图像中的建筑物，待处理图像是关于教室的图像时，目标对象可以包括黑板、粉笔、课桌等物品，也可以包括人。
60.其中，待处理图像可以是实时获取，比如通过终端设备的摄像头实时拍摄得到的图像，也可以是从数据库、区块链或者分布式文件系统中获取的图像，本技术实施例中对此不进行限定。这里所述的待处理图像可以是单独的图像，也可以是视频中的一帧。
61.对待处理图像进行目标检测可以采用现有的目标检测算法来实现，目标检测算法主要分为两大类：单步(one
‑
stage)法和两步(two
‑
stage)法。单步法主要通过若干个特征图直接输出目标对象的坐标(即包括目标对象的预测框)和置信度，单步法的主要代表算法有yolo算法和单步多框检测器(single shot multibox detector，ssd)，其中，yolo算法是一种一阶段的快速目标检测算法。yolo将全图划分为s
×
s的格子，每个格子负责中心在该格子的目标检测，采用一次性预测所有格子所含目标对象的坐标值、置信度以及所有类别概率向量来将问题一次性解决。而ssd算法是一种一阶段的目标检测算法，使用卷积神经网络直接进行检测，而不是像yolo那样在全连接层之后做检测。
62.两步法一般要经过两步，第一步先处理图像得到许多的候选区域(即proposals)，然后再对候选区域进行精细分类和坐标回归，得到最终的结果。但是由于候选区域量巨大，为了消除多余的候选区域，找到最佳的物体检测位置，加快目标检测识别的速度，一般会选用如非极大值抑制(non
‑
maximum suppression，nms)算法等的方法来去除多余的候选区域。两步法的主要代表算法有r
‑
cnn系算法(r
‑
cnn，fast r
‑
cnn,faster r
‑
cnn，face r
‑
cnn等)。
63.在步骤s220中，若检测到待处理图像中包含有目标对象，则根据待处理图像的特征图，生成热力图。
64.如果检测到待处理图像中包含有目标对象，则可以进一步根据待处理图像的特征图，生成热力图。其中，生成的热力图是以预设显示形式显示待处理图像的图像特征信息的图示，此处的预设显示形式可包括特殊高亮的形式、指定显示颜色的形式，等等，待处理图像的图像特征信息包含待处理图像中目标对象的特征信息。
65.具体实施时，根据待处理图像的特征图，生成热力图，具体可以通过以下方式实现：首先，对待处理图像的特征图进行特征点标注，该特征点可以是待处理图像中目标对象上的特征点，并生成特征点坐标；然后，可以以特征点坐标为中心，以预设距离阈值为边长，确定特征点坐标对应的热力区域；进一步，可以根据热力区域中各像素点对应的热力权重以及各像素点对应的特征值计算热力区域中各像素点的热力值，根据热力区域中各像素点的热力值，在热力区域中呈现各像素点的热力值对应的颜色，生成热力图。其中，热力区域中各像素点对应的热力权重可根据热力区域中各像素点与热力区域的中心点间的距离确定，像素点距离中心点越远，对应的热力值越小，在热力区域边界处的像素点的热力值即递减为0。
66.其中，上述的热力区域可以是方形区域，还可以是三角形、圆形、规则或不规则多边形，具体的热力区域的形状可以根据实际需求确定，在此不做任何限制。
67.在一些实施方式中，在确定热力区域后，也可以为特征点坐标设置初始热力值，并将初始热力值作为均值，然后，将均值以及预设的方差输入热力值计算函数，计算得到热力区域中各像素点的热力值，最后，根据热力区域中各像素点的热力值，在热力区域中呈现各像素点的热力值对应的颜色，生成热力图。具体的，热力值计算函数可以是高斯函数。
68.在步骤s230中，根据热力图中各个像素点的热力值大小，确定热力图中的目标像
素点，并根据目标像素点的位置，在待处理图像中确定与目标像素点的位置相对应的显示区域。
69.在生成热力图后，可以进一步根据热力图中各个像素点的热力值大小，确定热力图中的目标像素点，并根据目标像素点的位置，在待处理图像中确定与目标像素点的位置相对应的显示区域。
70.可以理解的是，热力图是以预设显示形式显示待处理图像的图像特征信息的图示，热力值大小可以反映出各像素点的特征显著情况，计算机设备可以直接根据热力图中各个像素点的热力值大小，确定出目标像素点，换言之，计算机设备可以通过选择目标像素点定位到待处理图像中特征显著的像素点，这样一来，在待处理图像中确定出与目标像素点的位置相对应的显示区域，也即是确定出待处理图像中特征显著的区域。
71.其中，特征显著的含义可以理解为像素点的像素值与周围多个像素点的像素值之间的差值大于预设像素差，待处理图像中目标对象各像素点的特征显著性强于目标对象以外各像素点的特征显著性。
72.在步骤s240中，在显示区域内添加第一多媒体元素。
73.其中，第一多媒体元素可以用于添加至待处理图像中的显示区域内，通过在待处理图像中添加第一多媒体元素可以丰富图像的表现形式，给用户带来了更新鲜有趣的感受。
74.第一多媒体元素从文件格式上可以是静态图像文件、动态图像文件(如动态gif文件)，或者flash、视频、三维动画文件，从内容上可以是服饰或场景等，例如第一多媒体元素可以是人脸的装饰元素，如帽子、扇子，手帕、眼镜等；人脸的组成元素，如特制的嘴巴、眉毛、胡须和眼睛等；背景元素，如风景、搞笑背景等。
75.在确定出显示区域之后，则可以在显示区域内添加第一多媒体元素。具体实施时，第一多媒体元素可以按照预设方式添加在显示区域内，预设方式可以是将第一多媒体元素的中心与显示区域的中心对齐的方式，也可以是根据显示区域中的目标对象，执行对应的第一多媒体元素的添加，例如，目标对象是人时，可以将作为第一多媒体元素的眼镜元素添加到显示区域中的目标对象的眼睛部位，还可以是其他方式，在此不做具体限定。
76.基于以上实施例的技术方案，通过待处理图像的特征图生成热力图，然后根据热力图中目标像素点的位置确定出显示区域，从而在显示区域内添加第一多媒体元素，克服了现有技术中图像处理过程存在的计算量大，算法流程长等问题，节省了人力成本，有效提高了图像处理的效率，而且可适用于任意的图像文件，具有广泛适用性。
77.在本技术的一个实施例中，如果待处理图像中不包含有目标对象，则可以执行在待处理图像中的预定区域内添加第二多媒体元素的操作。在该实施例中，区别于待处理图像中包含有目标对象的情形，在待处理图像中包含有目标对象的情形下，可以进一步在待处理图像中确定出显示区域，而在待处理图像中不包含目标对象的情形下，则可以直接在待处理图像中的预定区域内添加第二多媒体元素。
78.其中，预定区域可以是在待处理图像中预先设定的一个固定区域，第二多媒体元素可以是任何可用于进行显示的多媒体元素，包括但不限于静态图像、动态图像、flash、视频、三维动画文件等等。
79.值得一提的是，第二多媒体元素可以用于提示待处理图像中不包含目标对象，例
如，当目标对象为人脸时，则可以将带有镂空部分的图像作为第二多媒体元素添加至预定区域，该镂空部分形成的是人脸的形状，从而可以提示在待处理图像中不包含目标对象。
80.在本技术的一个实施例中，如图3所示，确定热力图中的目标像素点可以具体包括步骤s310
‑
步骤s320：
81.步骤s310、根据热力图中各个像素点的热力值大小，确定热力图中热力值最大的像素点；
82.步骤s320、将热力图中热力值最大的像素点作为目标像素点。
83.在该实施例中，可以首先根据热力图中各个像素点的热力值大小，确定出热力图中热力值最大的像素点，然后可以将热力图中热力值最大的像素点作为目标像素点。
84.在本技术的一个实施例中，在确定出热力图中热力值最大的像素点之后，可以进一步判断热力值最大的像素点是否在热力图的指定区域内，如果热力值最大的像素点在热力图的指定区域内，则可以将热力值最大的像素点作为目标像素点。
85.在本实施例中，由于考虑到目标对象可能处于待处理图像的边缘区域的情况，而在边缘区域添加第一多媒体元素的意义不大，因此，只有热力值最大的像素点在热力图的指定区域内，才会将热力值最大的像素点作为目标像素点，进而根据目标像素点确定显示区域，并在显示区域添加第一多媒体元素。反之，如果热力值最大的像素点不在热力图的指定区域内，则可以确定热力图中不存在目标像素点。
86.在本技术的一个实施例中，如果确定热力图中不存在目标像素点，因而也就不需要根据目标像素点在待处理图像中确定与目标像素点的位置相对应的显示区域，那么在这种情况下，可以直接在待处理图像中的预定区域内添加第二多媒体元素。
87.其中，预定区域可以是在待处理图像中预先设定的一个固定区域，第二多媒体元素可以是任何可用于进行显示的多媒体元素，包括但不限于静态图像、动态图像、flash、视频、三维动画文件等等。
88.在本技术的一个实施例中，由于在实际应用中目标对象处于待处理图像的边缘区域的情况发生的概率很小，因此，在根据待处理图像的特征图生成热力图时，可以是仅针对特征图中指定的部分区域生成热力图，这样一来则可以进一步减少图像处理过程中的计算量。
89.具体地，在该实施例中，计算机设备可以首先获取待处理图像的特征图中指定的部分区域的特征值，特征值是指定的部分区域中各个特征点对应的值，计算机设备可以通过预设算法计算得到各个特征点的特征值。指定的部分区域可以根据实际情况确定，在此不进行具体限定。
90.可以理解的是，指定的部分区域也即是热力区域，因此，在获取到指定的部分区域的特征值之后，则可以根据指定的部分区域中各像素点对应的特征值计算各像素点的热力值，然后，根据各像素点的热力值，在指定的部分区域中呈现各像素点的热力值对应的颜色，生成热力图。
91.在本技术的一个实施例中，待处理图像的特征图可以是将待处理图像输入预先训练好的特征提取模型中进行特征提取，以得到对应的特征图。具体而言，特征提取模型中可以包含有多个特征提取层，每个特征提取层用于对输入的待处理图像进行特征处理，输出特征图。
92.特征提取模型是通过对神经网络构成的模型进行训练得到的，神经网络模型可以是卷积神经网络模型(convolutional neural network，cnn)、深度神经网络模型(deep neural network，dnn)和循环神经网络模型(recurrent neural network，rnn)等，本技术实施例在此不进行具体限定。
93.其中，卷积神经网络包括卷积层和池化层。深度神经网络包括输入层、隐含层和输出层，层与层之间是全连接的关系。循环神经网络是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
94.在本实施例中，将待处理图像输入预先训练好的特征提取模型中进行特征提取以获得特征图可以是选择特征提取模型中任意一个特征提取层输出的特征图，作为待处理图像的特征图，也可以根据特征提取模型中多个特征提取层分别输出的特征图，生成待处理图像的特征图，例如，将多个特征提取层分别输入的特征图进行融合，得到待处理图像的特征图。
95.在本技术的一个实施例中，对于待处理图像中是否包含有目标对象，可以通过待处理图像中包含有目标对象的第一概率以及待处理图像中不包含有目标对象的第二概率来判断得出，如图4所示，在该实施例中，具体可以包括步骤s410
‑
步骤s430，现详细说明如下：
96.步骤s410、获取待处理图像中包含有目标对象的第一概率以及待处理图像中不包含目标对象的第二概率。
97.为了确定待处理图像中是否包含有目标对象，计算机设备可以预先获取待处理图像中包含有目标对象的第一概率以及待处理图像中不包含目标对象的第二概率。可以理解的是，待处理图像要么包含有目标对象，要么不包含目标对象，因此，第一概率和第二概率之和是1。
98.其中，获取待处理图像中包含有目标对象的第一概率以及待处理图像中不包含目标对象的第二概率的方法可以是通过概率预测模型进行预测，例如，利用机器学习方法，基于训练图像样本集合训练得到概率预测模型，然后基于概率预测模型获取相应概率。
99.步骤s420、计算第一概率与第二概率的第一比值，以及第二概率与第一概率的第二比值。
100.在获取到第一概率以及第一概率之后，则可以根据第一概率以及第二概率，计算第一概率与第二概率的第一比值，以及第二概率与第一概率的第二比值。
101.步骤s430、基于第一比值与第二比值之间的关系，确定待处理图像中是否包含有目标对象。
102.在本实施例中，在计算得到第一比值和第二比值之后，则可以基于第一比值与第二比值之间的关系，确定待处理图像中是否包含有目标对象。
103.在一些实施方式中，由于概率问题可以转化成预测一个事件发生的机会比问题，因此，在计算得到第一比值与第二比值之后，可以进一步计算第一比值的对数值以及第二比值的对数值，如果第一比值的对数值大于或者等于第二比值的对数值，则可以确定待处理图像中包含有目标对象，相反地，如果第一比值的对数值小于第二比值的对数值，则可以
确定待处理图像中不包含有目标对象。
104.在本技术的一个实施例中，获取待处理图像中包含有目标对象的第一概率以及待处理图像中不包含目标对象的第二概率的方法还可以是通过对待处理图像进行分类获得，在该实施例中，如图5所示，可以具体包括步骤s510
‑
步骤s520，具体说明如下：
105.在步骤s510中，对待处理图像进行特征提取，得到待处理图像的特征向量。
106.在本实施例中，首先可以对待处理图像进行特征提取，获得待处理图像的特征向量。特征向量是对图像的特征的向量化表示，特征用于描述图像的特性，可以根据待处理图像的相关信息提取得到，例如根据图像中包含的内容等信息中的至少一个，还可以根据待处理图像对应的属性信息，例如待处理图像的作者或者待处理图像对应的标签等提取得到对应特征。
107.在一个实施例中，对待处理图像进行特征提取可以是利用预先训练好的特征提取模型对待处理图像进行特征提取，获得特征提取模型的各个特征提取层输出的特征，基于各个特征提取层输出的特征，生成待处理图像的特征向量。待处理图像的特征向量由特征提取模型中提取的待处理图像的多层特征组成。在特征提取模型中，将待处理图像输入特征提取模型的最低层，在每一层提取一个特征，并依次传输至下一层，即上一层提取的特征为下一层的输入。整个特征提取模型中可以提取到待处理图像的多层特征，根据该多层特征可以组成待处理图像的特征向量。
108.在步骤s520中，基于特征向量对待处理图像进行分类，以获取待处理图像中包含有目标对象的第一概率以及待处理图像中不包含目标对象的第二概率。
109.在提取得到待处理图像的特征向量之后，计算机设备则可以基于待处理图像的特征向量对待处理图像进行分类，然后，基于分类数据获取待处理图像中包含有目标对象的第一概率以及待处理图像中不包含目标对象的第二概率。
110.具体实施时，一种实现方式为，将待处理图像的特征向量输入预定的分类器，由预定的分类器输出分类结果。其中，分类器是具有对图像进行分类的能力的机器学习模型，机器学习模型可以是通过卷积神经网络模型、循环神经网络模型、支持向量机模型等训练得到的模型。
111.分类结果可以包括各预设分类类别对应的概率值，分类结果可以是一个向量，向量中的每个向量值表示各预设分类类别对应的概率。在本实施例中，预设分类类别可以包括待处理图像包含有目标对象以及待处理图像不包含目标对象两个类别，因此在将待处理图像的特征向量输入预定的分类器之后，通过分类器输出的分类结果可以获取到待处理图像包含有目标对象的第一概率以及待处理图像不包含目标对象的第二概率。
112.例如，预设分类类别包含待处理图像包含有目标对象以及待处理图像不包含目标对象两个类别，分类器输出的分类结果为(0.8 0.2)，则根据分类结果可以获知待处理图像包含有目标对象的第一概率为0.8，待处理图像不包含目标对象的第二概率为0.2。
113.另一种实现方式为，针对各预设分类类别，可以根据特征向量分别与各预设分类类别的类别特征向量之间的距离，以及各预设分类类别的类别特征向量的权重，确定待处理图像属于各预设分类类别的概率。类别特征向量可以是基于对应的预设分类类别下训练样本的训练特征向量确定的。
114.在本技术的一个实施例中，如图6所示，确定与目标像素点的位置相对应的显示区
域的方法可以包括步骤s610
‑
步骤s620，详细阐述如下：
115.步骤s610、根据热力图与待处理图像之间的映射关系，将热力图中的目标像素点的位置映射到待处理图像中，得到待处理图像中与目标像素点的位置相对应的目标位置。
116.在确定热力图中的目标像素点后，可以直接根据热力图与待处理图像之间的映射关系，将热力图中的目标像素点的位置映射到待处理图像中，得到待处理图像中与目标像素点的位置相对应的目标位置。
117.具体而言，可以将热力图视为多行
×
多列像素点组成的第一矩阵，将待处理图像也视为由多行
×
多列像素点组成的第二矩阵，根据第一矩阵的长宽以及第二矩阵的长宽可以确定热力图与待处理图像之间的比例关系，基于该比例关系得到热力图与待处理图像之间的映射关系。
118.因此，在本技术实施例中，应用映射关系，如果已知目标像素点的位置，则可以将目标像素点的位置映射到待处理图像中，得到待处理图像中与目标像素点的位置相对应的目标位置。
119.请参见图7a和图7b，图7a
‑
7b示出了根据本技术的一个实施例的热力图和待处理图像的示意图，如图7a所示，热力图中每一个矩形块代表一个像素点，热力图的大小是一个5
×
5的矩阵，在热力图中存在目标像素点，目标像素点用字母“c”表示，目标像素点处于第一矩阵的正中心位置，如图7b所示，待处理图像中每一个矩形块也代表一个像素点，待处理图像的大小是一个20
×
20的矩阵。因此，根据两个矩阵的长宽关系可以得出热力图中一个像素点可以对应待处理图像中四个像素点，基于这种映射关系，可以将目标像素点c的位置映射到待处理图像中，得到待处理图像中与目标像素点的位置相对应的目标位置，即黑色区域c’。
120.步骤s620、将包含目标位置的预设大小的区域，作为与目标像素点的位置相对应的显示区域。
121.具体实施时，考虑到显示区域是用于添加第一多媒体元素的，而目标位置的大小与第一多媒体元素的大小可能存在不一致的情况，因此，在本实施例中，可以将包含目标位置的预设大小的区域，作为与目标像素点的位置相对应的显示区域。
122.其中，包含目标位置的预设大小的区域可以是以目标位置为中心的预设大小的区域，也可以是不以目标位置为中心的预设大小的区域。预设大小可以与第一多媒体元素的大小相同，也可以大于第一多媒体元素。
123.图8示出了根据本技术的一个实施例的图像处理方法的逻辑图，如图8所示，该图像处理方法可以具体包括如下步骤：
124.s1、对待处理图像进行目标检测，若检测到待处理图像中不包含目标对象，则执行步骤s2；若检测到待处理图像中包含有目标对象，则执行步骤s3。
125.s2、在待处理图像中的预定区域内添加第二多媒体元素。
126.其中，第二多媒体元素可以用于提示待处理图像中不包含目标对象，例如，如图8中标号(1)示出的图像所示，当目标对象为人脸时，则可以将带有镂空部分的图像作为第二多媒体元素添加至预定区域，该镂空部分形成的是人脸的形状，从而可以提示在待处理图像中不包含目标对象
‑
人。
127.s3、根据待处理图像的特征图，生成热力图，并根据热力图中各个像素点的热力值
大小，确定热力图中的目标像素点。
128.请参见图8中标号(2)对应的图像所示，其中，字母“c”则表示确定出的热力图中的目标像素点。
129.s4、根据目标像素点的位置，在待处理图像中确定与目标像素点的位置相对应的显示区域。如图8中标号(3)对应的图像所示，其示出了根据图8中标号(2)对应的图像中的目标像素点c的位置确定出的显示区域，同样用字母“c”进行表示。
130.s5、在显示区域内添加第一多媒体元素。
131.如图8中标号(4)对应的图像所示，示出了在显示区域内添加第一多媒体元素之后得到的图像，其中，待处理图像中包含有目标对象，即人脸，第一多媒体元素则为包含有“good”字样的图像。
132.以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的图像处理方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的图像处理方法的实施例。
133.图9示出了根据本技术的一个实施例的图像处理装置的框图，参照图9所示，根据本技术的一个实施例的图像处理装置900，包括：检测单元902、生成单元904、第一确定单元906和第一添加单元908。
134.其中，所述检测单元902，配置为对待处理图像进行目标检测；所述生成单元904，配置为若检测到所述待处理图像中包含有目标对象，则根据所述待处理图像的特征图，生成热力图；所述第一确定单元906，配置为根据所述热力图中各个像素点的热力值大小，确定所述热力图中的目标像素点，并根据所述目标像素点的位置，在所述待处理图像中确定与所述目标像素点的位置相对应的显示区域；所述第一添加单元908，配置为在所述显示区域内添加第一多媒体元素。
135.在本技术的一些实施例中，所述第一确定单元906包括：第一确定子单元，配置为根据所述热力图中各个像素点的热力值大小，确定所述热力图中热力值最大的像素点；第二确定子单元，配置为将所述热力图中热力值最大的像素点作为所述目标像素点。
136.在本技术的一些实施例中，所述第二确定子单元配置为：若所述热力值最大的像素点在所述热力图的指定区域内，则将所述热力值最大的像素点作为所述目标像素点；若所述热力值最大的像素点不在所述指定区域内，则确定所述热力图中不存在所述目标像素点。
137.在本技术的一些实施例中，所述装置还包括：第二添加单元，配置为若确定所述热力图中不存在所述目标像素点，则在所述待处理图像中的预定区域内添加第二多媒体元素。
138.在本技术的一些实施例中，所述生成单元904配置为：基于所述待处理图像的特征图中指定的部分区域的特征值，生成所述热力图。
139.在本技术的一些实施例中，所述装置还包括：输入单元，配置为将所述待处理图像输入预先训练好的特征提取模型，所述特征提取模型中包含有多个特征提取层；选择单元，配置为选择所述特征提取模型中任意一个特征提取层输出的特征图，作为所述待处理图像的特征图，或者，根据所述特征提取模型中多个特征提取层分别输出的特征图，生成所述待处理图像的特征图。
140.在本技术的一些实施例中，所述装置还包括：获取单元，配置为获取所述待处理图
像中包含有所述目标对象的第一概率以及所述待处理图像中不包含所述目标对象的第二概率；计算单元，配置为计算所述第一概率与所述第二概率的第一比值，以及所述第二概率与所述第一概率的第二比值；第二确定单元，配置为基于所述第一比值与所述第二比值之间的关系，确定所述待处理图像中是否包含有所述目标对象。
141.在本技术的一些实施例中，所述获取单元包括：提取子单元，配置为对所述待处理图像进行特征提取，得到所述待处理图像的特征向量；分类子单元，配置为基于所述特征向量对所述待处理图像进行分类，以获取所述待处理图像中包含有所述目标对象的第一概率以及所述待处理图像中不包含所述目标对象的第二概率。
142.在本技术的一些实施例中，所述提取子单元配置为：利用预先训练好的特征提取模型对所述待处理图像进行特征提取，获得所述特征提取模型的各个特征提取层输出的特征；基于所述各个特征提取层输出的特征，生成所述待处理图像的特征向量。
143.在本技术的一些实施例中，所述分类子单元配置为：将所述待处理图像的特征向量输入预定的分类器；获取所述分类器输出的分类结果，所述分类结果中包含有所述待处理图像包含有所述目标对象的第一概率以及所述待处理图像不包含所述目标对象的第二概率。
144.在本技术的一些实施例中，所述第一确定单元906配置为：根据所述热力图与所述待处理图像之间的映射关系，将所述热力图中的目标像素点的位置映射到所述待处理图像中，得到所述待处理图像中与所述目标像素点的位置相对应的目标位置；将包含所述目标位置的预设大小的区域，作为与所述目标像素点的位置相对应的显示区域。
145.在本技术的一些实施例中，所述装置还包括：第三添加单元，配置为若确定所述待处理图像中不包含所述目标对象，则在所述待处理图像中的预定区域内添加第二多媒体元素。
146.图10示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
147.需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
148.如图10所示，计算机系统1000包括中央处理单元(central processing unit，cpu)1001，其可以根据存储在只读存储器(read
‑
only memory，rom)1002中的程序或者从存储部分1008加载到随机访问存储器(random access memory，ram)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram 1003中，还存储有系统操作所需的各种程序和数据。cpu 1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(input/output，i/o)接口1005也连接至总线1004。
149.以下部件连接至i/o接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
150.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机
软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(cpu)1001执行时，执行本技术的系统中限定的各种功能。
151.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
152.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
153.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
154.作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
155.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多
模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
156.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
157.本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
158.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。