一种获取人像间关系的方法以及计算机程序产品与流程

1.本技术涉及图像处理领域，具体而言本技术实施例涉及一种获取人像间关系的方法以及计算机程序产品。


背景技术：

2.现有很多人像聚档技术，通过人像图(或称为人像抓拍图、人像裁剪图等)的聚合，形成目标人物的数字人像档案集。通过人像档案集可以获得目标人物的行为轨迹、常见衣着、出没规律等信息，形成真实人物在数字世界的数字孪生档案。人像聚档技术正在越来越多地应用于安防产品中，例如，园区陌生人轨迹的描绘或者城市关键人员的信息挖掘。
3.但现有的人像档案集之间的关系是相互孤立的，而真实世界人与人之间的关系信息无法通过人像档案集反映出来。例如，真实世界常常共同出现的一家人，在数字世界中却无法通过人像档案集检索找到关联档案，当大家只有孤立的数字孪生形象时，是无法形成互有交流的元宇宙的。
4.因此如何进一步挖掘人像间的关系就成了亟待解决的技术问题。


技术实现要素：

5.本技术实施例的目的在于提供一种获取人像间关系的方法以及计算机程序产品，通过本技术一些实施例的技术方案首先找到具有关联关系的人像图(或称为人像抓拍图)，然后在人像图归档(即不同的人属于不同的人像档案集，且相同的人属于同一个人像档案集)后，对人像档案集间的各人像图基于弱关系值进行人像档案集间的强关系挖局(例如，对弱关系进行加权累加)，得到的强关系值即可定量描述人像档案集间的关系，积分更高的人像档案集间关联更大，即完成了人像档案集之间的关系挖掘。
6.第一方面，本技术的一些实施例提供一种获取人像间关系的方法，所述方法包括：获取多张人像图；获取所述多张人像图中任意两张人像图之间的弱关系值，其中，所述弱关系值用于表征两张人像图之间是否存在关联关系；基于所述多张人像图得到多个人像档案集，其中，一个人像档案集包括至少一张人像图；根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值，其中，所述强关系值用于表征不同人像档案集之间的关联程度。
7.本技术的一些实施例首先挖掘不同人像图之间的弱关系，之后再基于挖掘出的弱关系挖掘出不同人像档案集间存在的强关系，无需数据标注，不要求数据规模，算法依赖少，不要求复杂全面的数据信息，仅使用人像图即可完成不同人像档案集的关联关系挖掘。
8.在本一些实施例中，所述获取所述多张人像图中任意两张人像图之间的弱关系值，包括：获取所述多张人像图中各张人像图的采集属性信息的值，其中，所述采集属性信息包括：人像采集时间和人像采集地点，所述人像采集地点采用采集相应人像图的图像采集设备所在的位置表征或者采用被采集人在空间中的位置表征；根据所述采集属性信息的值得到所述弱关系值。
9.本技术的一些实施例通过基于获取的采集人像图的采集属性信息的值来获取不同人像图之间的弱关系值，进而可以根据时空碰撞进行弱关系值挖掘。
10.在一些实施例中，所述任意两张人像图包括第一人像图和第二人像图，与所述第一人像图对应的人像采集时间为第一时刻，与所述第二人像图对应的人像采集时间为第二时刻，与所述第一人像图对应的人像采集地点为第一位置，且与所述第二人像图对应的人像采集地点为第二位置；所述根据所述采集属性信息的值得到所述弱关系值，包括：若所述第一时刻与所述第二时刻的差值小于或等于时间阈值，且所述第一位置与所述第二位置之间的距离小于或等于距离阈值，则将所述第一人像图和所述第二人像图之间的弱关系值记录为第一数值；或者，若所述第一时刻与所述第二时刻的差值大于时间阈值，或者所述第一位置与所述第二位置之间的距离大于距离阈值，则将所述第一人像图和所述第二人像图之间的弱关系值记录为第二数值。
11.本技术的一些实施例通过设置的距离阈值和时间阈值确认两个人像图之间是否存在关联关系，这样可以挖掘出同时和/或邻近时间出现在同一地点或者邻近地点的所有人，并将与这些人对应的人像图之间的弱关系值设置为非零数即完成了基于时空碰撞的弱关系挖掘。
12.在一些实施例中，所述任意两张人像图包括第三人像图和第四人像图，其中，所述获取所述多张人像图中任意两张人像图之间的弱关系值，包括：若确认所述第三人像图与所述第四人像图上的两人之间存在共同行为，则将所述第三人像图和所述第四人像图之间的弱关系值赋值为第三数值；或者，若确认所述第三人像图与所述第四人像图上的两人之间不存在共同行为，则将所述第三人像图和所述第四人像图之间的弱关系值赋值为第四数值。
13.本技术的一些实施例根据(例如，根据图像检测模型包括的动作识别模型进行互动行为判断)两人是否存在互动动作来挖掘存在的弱关系值，与时空碰撞(即根据采集属性信息的值)获取弱关系值的方案相比，基于互动行为挖掘弱关系值的技术方案并不需要得到采集图像的属性信息的值，减少了原始数据需求量。
14.在一些实施例中，所述共同行为包括：拉手、拥抱、对话、挽手、同骑一辆非机动车和同乘一辆机动车中的至少一种行为。
15.本技术的一些实施例提供了一种通过识别多种动作来挖掘不同人像图之间的弱关系值的技术方案，提升了技术方案的应用场景。
16.在一些实施例中，所述根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值，包括：根据积分算法和所述弱关系值得到所述强关系值。
17.本技术的一些实施例提供一种根据积分算法和弱关系值挖掘不同人像档案集间强关系值的技术方案，使得挖掘出的强关系值更加准确客观。
18.在一些实施例中，所述多个人像档案集包括第一人像档案集和第二人像档案集，其中，所述根据积分算法和所述弱关系值得到所述强关系值，包括：至少根据所述第一人像档案集中各人像图与所述第二人像档案集中各人像图之间的弱关系值的和得到所述强关系值。
19.本技术的一些实施例至少通过求解两个人像档案集包括的各人像图之间的弱关系值的和得到强关系值，使得挖掘出的人像档案集间的关系更加客观准确。
20.在一些实施例中，所述至少根据所述第一人像档案集中各人像图与所述第二人像档案集中各人像图之间的弱关系值的和得到所述强关系值，包括：计算所述第一人像档案集中各人像图与所述第二人像档案集中各人像图之间的弱关系值的和；获取归一化参量的值，其中，所述归一化参量用于表征所述第一人像档案集以及所述第二人像档案集包括的所有人像图的属性特征，所述属性特征包括：人像图数目或者人像图拍摄时长；根据所述和以及所述归一化参量的值得到所述强关系值。
21.本技术的一些实施例还通过不同人像档案集包括的人像图的总数目对得到的和进行归一化操作，从而可以挖掘出不同关系类型的两个人像档案集。
22.在一些实施例中，所述获取归一化参量的值，包括：获取所述第一人像档案集包括的所有人像图的总数目为m，并获取所述第二人像档案集包括的所有人像图的总数目为l，其中，l和m为大于或等于1的整数；所述根据所述和以及所述归一化参量的值得到所述强关系值，包括：求解m和l的乘积；计算所述和与所述乘积的比值得到所述强关系值。
23.本技术的一些实施例选取的归一化参量与各人像档案集包括的所有人像图总数目相关时，具体如何得到强关系值，通过这种归一化处理可以选择出某些类型的人像档案集。
24.在一些实施例中，所述根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值，包括：根据关系图谱和所述弱关系值得到所述强关系值。
25.本技术的一些实施例通过关系图谱和弱关系值来挖掘不同人像档案集的强关系。
26.在一些实施例中，所述基于所述多张人像图得到多个人像档案集，包括：根据聚类算法对所述多张人像图进行聚类操作，得到k个人像档案集，其中，k为大于1的整数；所述根据关系图谱和所述弱关系值得到所述强关系值，包括：根据所述k个人像档案集和所述弱关系值建立所述关系图谱，其中，所述关系图谱包括多个节点以及任意两节点之间边的权重值，每个节点与一个人像档案集对应，两节点之间的边的权重与对应的两个人像档案集中存在的所有弱关系值之和正相关；根据图运算方法更新所述关系图谱包括的边的权重值，直至收敛后，得到任意两节点之间的目标权重值，其中，所述目标权重值用于表征两个人像档案集之间的强关系值。
27.本技术的一些实施例通过建立关系图谱并根据图运算方法挖掘不同人像档案集间的强关系值，提升了数据处理的速度。
28.在一些实施例中，在所述根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值之后，所述方法还包括：若任一强关系值大于关系阈值，则确认与所述任一强关系值对应的两个人像档案集之间存在强关系；响应于查询请求，提供所述强关系。
29.本技术的一些实施例提供了一种获取并展示强关系的技术方案，可以实时展示挖掘出的不同人像档案集的强关系。
30.在一些实施例中，在所述根据所述弱关系值获取所述多个人像档案中不同人像档案之间的强关系值之后，所述方法还包括：对所述强关系值按照大小进行排序，获得一个队列；响应于查询请求，提供所述队列。
31.本技术的一些实施例还提供一种查询并展示挖掘出的人像档案集间关联关系排序结果的技术方案，可以响应于实际应用场景中的查询需求。
32.第二方面，本技术的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的方法。
33.第三方面，本技术的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。
34.第四方面，本技术的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。
35.第五方面，本技术的一些实施例提供一种获取人像间关系的装置，所述装置包括：人像图获取模块，被配置为获取多张人像图；弱关系值挖掘模块，被配置为获取所述多张人像图中任意两张人像图之间的弱关系值，其中，所述弱关系值用于表征两张人像图之间是否存在关联关系；人像档案集获取模块，被配置为基于所述多张人像图得到多个人像档案集，其中，一个人像档案集包括至少一张人像图；强关系挖掘模块，被配置为根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值，其中，所述强关系值用于表征不同人像档案集之间的关联程度。
附图说明
36.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
37.图1为本技术实施例提供的获取人像间关系的系统的组成架构图；
38.图2为本技术实施例提供的获取人像间关系的方法的流程图；
39.图3为本技术实施例提供的获取人像间关系的装置的组成框图；
40.图4为本技术实施例提供的电子设备组成示意图。
具体实施方式
41.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
42.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
43.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建
(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
44.至少为了解决背景技术部分描述的人像档案集间关联关系缺失的问题，本技术的一些实施例提供一种人像关系挖掘方法，在该方法中首先找到具有关联关系(例如，弱关系值为非零)的人像图(或称为人像抓拍图)，这类单次关联关系称为弱关系，往往准确度偏低。然后在将人像图(或称为人像抓拍图)归档后(即得到人像档案集后)，根据弱关系值使用积分算法等方式挖掘不同人像档案集存在的强关系值。强关系值可以定量描述人像档案集间的关系，积分更高的人像档案集间的关联性更大，即完成了关系的挖掘。
45.不难理解的是，通过本技术一些实施例提供的人像关系挖掘方法至少可以找到亲密度更高的人像档案集。例如，根据同伙行踪发现目标人员线索或者通过多对人像档案集间的关系找到团伙，提前挖掘出各地的隐藏团伙势力。显而易见的是，本技术的一些实施例在挖掘人像间的关联关系时无需数据标注，不要求数据规模，算法依赖少，不要求复杂全面的数据信息，仅使用人像图即可完成人像档案集关联。
46.请参看图1，图1为本技术的一些实施例提供的获取人像间关系的系统，该系统包括：多个图像采集单元(例如，图1的第一相机301、第二相机305、第一摄像头302、第二摄像头304和具有图像采集功能的手机终端303等)、网络接入设备400(采用无线接入网络时需要该设备)、服务器200以及终端100。
47.图1的图像采集单元被配置为采集一段视频(包括多帧原始图像)或者采集多张原始图像。可以理解的是，这些视频具有时间信息，例如，各段视频具有拍摄时间或者时间戳，因此对每一帧原始图像上的所有人进行人像截图也就获得了人像图(或称为人像抓拍图)和人像图的时间信息(即人像采集时间)，也就获得了本技术一些实施例所需的人像图的人像采集时间。在本技术的一些实施例中，可以将各图像采集单元(例如，摄像头)的安装位置作为所需的人像采集地点。对于手机等其他的图像采集单元可以通过获取其gps等定位信息来得到本技术一些实施例所需的人像采集地点。
48.例如，在本技术的一些实施例中对各图像采集设备采集的原始图像首先进行人像识别，当识别到原始图像上存在人时则定位每个人所在的目标位置，基于所述目标位置完成人像裁剪得到人像图(即人像抓拍图)，具体地可以采用相关技术的深度学习网络完成人像识别裁剪并输出人像图。可以理解的是，本技术的一些实施例的一张人像图既可以是一个人的头像，也可以是一个人的人体图像。
49.图1的各图像采集单元通过网络接入设备400与服务器200进行通信。结合图1可知，图像采集设备通过无线接入单元(即网络接入设备400)以及核心网单元(图1未示出)将各自采集的原始图像或者视频向服务器200进行发送。可以理解的是，在本技术的一些实施例中，图像采集单元可以通过有线方式接入网路，此时并不需要网络接入设备400。
50.图1的服务器200被配置为接收来自于各图像采集设备的原始图像或者视频，并基于这些原始图像和视频得到多张人像图，并基于人像图进行弱关系值挖掘和人像档案集的强关系值挖掘。需要说明的是，在本技术的一些实施例中，可以由各图像采集设备采集原始
图像并对原始图像进行人像裁剪得到人像图，之后这些图像采集设备向服务器发送的就是人像图。
51.图1的终端100可以接收用户输入的查询指令通过服务器200获取所请求的查询结果。例如，在本技术的一些实施例中，用户需要查看存在强关系值的人像档案集，此时用户会通过终端100向服务器200发送查询请求，该服务器200收到查询请求后向终端100反馈强关系对应的人像档案集，以供用户查看。在本技术的另一些实施例中，用于需要查看所有人像档案集强关系值的排序结果，此时用户会通过终端100向服务器200发送查询请求，服务器200收到查询请求后向终端100反馈根据强关系值排序得到的队列，以供用户查看。需要说明的是，终端100也可以属于移动终端，本技术的实施例不限定终端100的具体设备类型。
52.可以理解的是，本技术实施例得到的人像档案集的强关系值不仅可用于响应用户的查询请求，例如，在本技术的一些实施例中可以将获取的人像档案集之间的强关系值输入至其他的处理系统(例如，元宇宙构建系统)，得到相应系统的处理结果。例如，还可用于档案推荐，具体地，当使用者在查看某关注人员的人像档案集时，系统可以根据强关系值的大小推送给他另外的3-5个人像档案集。
53.需要说明的是，图1仅用于示例性阐述本技术一些实施例的系统架构，并不构成对本技术实施例技术方案应用架构的限制。例如，在本技术的一些实施例中，可以采用手机终端收集来自于多个摄像头的原始图像或人像图，再由手机终端基于这些图像得到人像图的弱关系值并得到人像档案集的强关系值，之后再由手机终端响应用户的查询请求展示相关的查询结果。
54.下面结合图2示例性阐述由服务器200或者手机终端等执行的获取人像间关系的方法。
55.如图2所示，本技术一些实施例提供的获取人像档案件关系的方法包括：s101，获取多张人像图。s102，获取所述多张人像图中任意两张人像图之间的弱关系值，其中，所述弱关系值用于表征两张人像图之间是否存在关联关系。s103，基于所述多张人像图得到多个人像档案集，其中，一个人像档案集包括至少一张人像图。以及s104，根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值，其中，所述强关系值用于表征不同人像档案集之间的关联程度。
56.也就是说，本技术一些实施例的获取人像间关系的方法即人像档案集之间的关系挖掘过程，该过程包括弱关系挖掘(对应于s102得到不同人像图的弱关系值)和强关系挖掘(对应于s104得到不同人像档案集的强关系值)两大步骤，需要说明的是这两个步骤均有很多种实现方法下面结合多种示例阐述上述各步骤的实现过程。
57.下面示例性阐述上述实现过程。
58.在本技术的一些实施例中，s101基于图像采集设备获取多张人像图。例如，在本技术的一些实施例中获取多张人像图的过程示例性包括：获取一段视频，从获取的视频中抽取关键帧，对抽取的关键帧进行人像检测，并基于人像检测结果进行人像裁剪，得到多张人像图，其中，一张人像图包含一个人物。
59.在本技术的一些实施例中，s101涉及的获取多张人像图的过程示例性包括：获取一段视频，从获取的视频中抽取关键帧，对抽取的关键帧进行人像检测，并基于人像检测结果进行人像跟踪和图像裁剪，得到多张人像图，其中，一张人像图包含一个人物。
60.需要说明的是，在本技术的一些实施例中将由视频/图像解析系统解析得到的人像抓拍图称为人像图，这些人像图包括但不限于人脸图片或者人体图片。在本技术的一些实施例中，人像图具有人像采集时间(或称为抓拍时间)、人像采集地点(或称为抓拍地点)等照片信息(即采集属性信息)，本技术的一些实施例通过利用这些照片信息挖掘出不同人像图之间存在的弱关系，得到不同人像图间的弱关系值。
61.下面示例性阐述通过采集属性信息获取不同人像图之间弱关系值的过程。
62.在本技术的一些实施例中，s102示例性包括：
63.第一步，获取所述多张人像图中各张人像图的采集属性信息的值，其中，所述采集属性信息包括：人像采集时间和/或人像采集地点，所述人像采集地点采用采集相应人像图的图像采集设备所在的位置表征或者采用被采集人在空间中的位置表征。也就是说，在本技术的一些实施例中，该第一步包括获取所述多张人像图中各张人像图的人像采集时间的值，并将该人像采集时间的值作为采集属性信息的值。在本技术的一些实施例中，该第一步包括获取所述多张人像图中各张人像图的人像采集地点的值，并将该人像采集地点的值作为采集属性信息的值。在本技术的一些实施例中，该第一步包括获取所述多张人像图中各张人像图的人像采集时间的值和人像采集地点的值，并将该人像采集时间的值和人像采集地点的值一块作为采集属性信息的值。
64.例如，图1的服务器从各图像采集设备分别获取各张人像图的采集属性信息的值。人像采集时间即各张人像图的采集时间。在本技术的一些实施例中，人像采集地点也就是采集各张人像图的图像采集单元所在的位置。在本技术的一些实施例中，可以采用被采集人物在空间中实际位置表征人像采集地点。例如，可以结合深度相机来确定图像上各像素点在实际空间中的坐标位置。
65.第二步，根据所述采集属性信息的值得到所述弱关系值。例如，在本技术的一些实施例中，采集属性信息包括人像采集时间和人像采集地点，此时该步骤可以根据设置的时间阈值和距离阈值确认位于任意两张人像图上的人是否同时出现在同一地点，若出现在同一地点则判断这两张人像图之间存在一次弱关系，记录对应的弱关系值为一个非零值(例如，该非零值为1)，若未出现在同一地点则判断这两张人像图之间不存在弱关系，则记录对应的弱关系值为0。在本技术的一些实施例中，采集属性信息包括人像采集地点，此时该步骤可以根据设置的距离阈值确定两张人像图对应的距离是否满足设置的阈值要求，如果满足则确认这两张人像图之间存在弱关系，并将对应的弱关系值赋值为一个非零值(例如，该非零值为1)，否则确认这两张人像图之间不存在弱关系对应的弱关系值为0。
66.下面结合两个示例阐述上述第一步和第二步。
67.基于时空碰撞(即采集属性信息的值包括人像采集时间和人像采集地点)的弱关系值挖掘过程如下：在本技术的一些实施例中，所述任意两张人像图包括第一人像图和第二人像图，与所述第一人像图对应的人像采集时间为第一时刻，与所述第二人像图对应的人像采集时间为第二时刻，与所述第一人像图对应的人像采集地点为第一位置，且与所述第二人像图对应的人像采集地点为第二位置；则上述第二步实现过程示例性包括：若所述第一时刻与所述第二时刻的差值小于或等于时间阈值，且所述第一位置与所述第二位置之间的距离小于或等于距离阈值，则将所述第一人像图和所述第二人像图之间的弱关系值记录为第一数值(例如，该第一数值为一个大于零的数)；或者若所述第一时刻与所述第二时
刻的差值大于时间阈值，或者所述第一位置与所述第二位置之间的距离大于距离阈值，则将所述第一人像图和所述第二人像图之间的弱关系值记录为第二数值(例如，该第二数值为零)。本技术一些实施例采用第一和第二来对数值进行限定的目的在于说明这两个数值是两个大小不同的数。
68.也就是说，在本技术的一些实施例中，基于时空碰撞的弱关系值挖掘过程包括：首先，针对s101的多张人像图组成的抓拍图集x＝{i1,i2,i3,
……
,im}，计算抓拍图集内两两人像图ii和ij间的时间和空间距离，其中，空间距离可用抓拍地点gps直线距离计算，也可由抓拍地点范围关系计算(例如，同一区域点的距离记为0，否则为1)。其次，如果计算得到的两张人像图的时间距离小于阈值t，且空间距离小于阈值d，则记为一次弱关系积分score(即将弱关系值赋值为一个大于零的数)，含义是两个目标人曾在某一时间地点同时出现。
69.基于图像检测的弱关系挖掘方法示例性包括：在本技术的一些实施例中，所述任意两张人像图包括第三人像图和第四人像图，其中，上述第二步实现过程示例性包括：若确认(例如，通过图像检测模型等动作识别神经网络的模型进行确认)所述第三人像图与所述第四人像图上的两人之间存在共同行为，则将所述第三人像图和所述第四人像图之间的弱关系值赋值为第三数值(例如，该第三数值为大于零的数)；或者，若确认所述第三人像图与所述第四人像图上的两人之间不存在共同行为，则将所述第三人像图和所述第四人像图之间的弱关系值赋值为第四数值(例如，该第四数值为零)。例如，所述共同行为包括：拉手、拥抱、对话、挽手、同骑一辆非机动车和同乘一辆机动车中的至少一种行为。本技术一些实施例采用第三和第四来对数值进行限定的目的在于说明这两个数值是两个大小不同的数。需要说明的是，在本技术的一些实施例中第三数值可能与第一数值大小相同，第四数值可能与第二数值大小相同，也就是说，本技术的实施例并不限定第三数值与第一数值和第二数值之间的大小关系，也不限定第四数值与第一数值和第二数值之间的大小关系。
70.例如，在本技术的一些实施例中，基于互动行为检测的弱关系挖掘方法包括：训练一个深度学习的图像检测模型(例如，transformer,图卷积网络gcn(group convolutional network)等模型)，用于预测两个目标是否存在包括但不限于以下互动动作：拉手、拥抱、对话、挽手、同骑一辆非机动车和同乘一辆机动车中的至少一种互动动作。对存在以上交流动作的两张人像图ii和ij，记为一次弱关系积分score(即将弱关系值赋值为一个大于零的数)，含义是两个目标人曾展现过互动动作。需要说明的是，图像检测模型可以采用相关技术提供的各种动作识别模型，本技术的并不限定所采用的图像检测模型的具体结构，本领域技术人员可以根据实际需求选择差异化的动作识别模型。
71.s103采用聚类算法对s101得到的多张人像图进行聚类操作得到多个人像档案集。可以理解的是，经过聚类处理后，一个人像档案集仅包括属于同一个人的多张人像图(或称为人像抓拍图)，也就是说不同的人像档案集对应的是不同人的人像图。例如，s101获取了来自于多个摄像头的共计100张人像图，经过s103的聚类操作将这100张人像图划分为10类，得到10个人像档案集，其中，每一个人像档案集与一个不同的抓拍对象对应。需要说明的是，执行s102即挖掘出这100张人像图中，每张人像图与其他人像图之间存在的弱关系值。
72.在本技术的一些实施例中，s104示例性包括：根据积分算法和所述弱关系值得到所述强关系值，下面示例性阐述该实例的实现过程。
73.在本技术的一些实施例中，所述多个人像档案集包括第一人像档案集和第二人像档案集，其中，s104涉及的根据积分算法和所述弱关系值得到所述强关系值的过程示例性包括：至少根据所述第一人像档案集中各人像图与所述第二人像档案集中各人像图之间的弱关系值的和得到所述强关系值。例如，在本技术的一些实施例中直接将和值作为两个人像档案集之间的强关系值。在本技术的另一些实施例中，还需要基于选取的归一化参量的类型对得到的和进行归一化操作，并将归一化操作后的结果作为两个人像档案集之间的强关系值。
74.也就是说，在本技术的一些实施例中基于积分的强关系挖掘方法包括，对于两个人像档案集pi和pj，计算两人像档案集间的弱关系值score之和得到强关系值affinity，用公式表征为：
75.affinity＝f(∑score)。
76.对于包含归一化操作的技术方案的实现过程，在本技术的一些实施例中，s104示例性包括：
77.第一步，计算所述第一人像档案集中各人像图与所述第二人像档案集中各人像图之间的弱关系值的和。例如，采用数值1表征两张人像图之间存在关联关系，并采用数值0表征两张人像图之间不存在关联关系(也就是说弱关系值取值为0或者1)，第一人像档案集共包括10张人像图，第二人像档案集共包括15张人像图，且经过弱关系挖掘得到第一人像档案集中3张人像图与第二人像档案集中的3张人像图之间存在关联关系，则通过执行该第一步得到第一人像档案集和第二人像档案集之间的弱关系值的和为3。
78.第二步，获取归一化参量的值，其中，所述归一化参量用于表征所述第一人像档案集以及所述第二人像档案集包括的所有人像图的属性特征，所述属性特征包括：人像图数目或者人像图拍摄时长。
79.例如，在本技术的一些实施例中，第一人像档案集共包括10张人像图，第二人像档案集共包括15张人像图，若选取的归一化参量的类型为人像图数目时则归一化参量的值为10和15。在本技术的一些实施例中，第一人像档案集和第二人像档案集中包含了2020年4月14日至2020年5月14日之间抓拍到的人像图，若选取的归一化参量的类型为人像图拍摄时长时则归一化参量的值为day＝30。
80.第三步，根据所述和以及所述归一化参量的值得到所述强关系值。在本技术的一些实施例中，可以通过计算和与归一化参量的值乘积的比值来得到强关系值。例如，在本技术的一些实施例中，求解和与第一人像档案集和第二人像档案集包括的所有人像图的总数目乘积的比值即得到第一人像档案集和第二人像档案集之间的强关系值。也就是说，所述获取归一化参量的值的过程示例性包括：获取所述第一人像档案集包括的所有人像图的总数目为m，并获取所述第二人像档案集包括的所有人像图的总数目为l，其中，l和m为大于或等于1的整数；且所述根据所述和以及所述归一化参量的值得到所述强关系值的过程示例性包括：求解m和l的乘积；计算所述和与所述乘积的比值得到所述强关系值。在本技术的另一些实施例中，求解和与第一人像档案集和第二人像档案集包括的所有人像图的总拍摄时长的比值即得到第一人像档案集和第二人像档案集之间的强关系值。
81.例如，在本技术的一些实施例中，基于s101的多张人像图得到抓拍图集x，基于抓拍图集x得到的人像档案集y＝{p1,p2,p3,
……
,pn}，基于积分计算两两人像档案集pi和pj间
的强关系值的方法包括：
82.a.对于两个人像档案集pi和pj，计算两人像档案集间的弱关系值score之和。
83.affinity＝f(∑score)
84.b.按照第一人像档案集pi和第二人像档案集pj中图片数对和进
85.行归一化操作：
86.affinity/(size(pi)
×
(size(pj))
87.其中，size(px)即人像档案集px中包括的人像图的总数。
88.例如，在同一个路口发传单的人和卖菜的人他俩的总是被同时同地点抓拍，由于属于俩人则聚类的时候他们应该被分在不同的人像档案集中，假设发传单的被分在第一人像档案集中，且该第一人像档案集中仅包含了发传单人的100张人像图，卖菜的被聚类在第二人像档案集中，且该第二人像档案集中仅包括98张卖菜的人的抓拍图，通过第一步的弱关系分析这俩人之间共存在98次弱关系非零值，则第一人像档案集和第二人像档案集的积分值为98分(即强关系值)。如果还需要对结果进行归一化操作，将归一化后的结果作为强关系值，则积分上限应该是s＝100*98，如果有部分抓拍图时间间隔大，s会小于9800,s值域是[0,9800]，归一化的公式是s/(100*98)，将归一化得到的值作为第一人像档案集和第二人像档案集的强关系值。
[0089]
需要说明的是，经过归一化操作和不经过归一化操作可以召回不同类型的关联关系，具体地，根据归一化后的结果易召回小档案。例如，(1)，每天一起放学的中学生，每天只有一张抓拍，但每天都有关联；(2)，一家子只出了一次门，3个相机都拍到了。不归一会易召回大档案，例如，在同一个路口持续徘徊的共同发传单的人。
[0090]
在本技术的一些实施例中，s104示例性包括：根据关系图谱和所述弱关系值得到所述强关系值，下面示例性阐述该实现过程。
[0091]
在本技术的一些实施例中，s103所述基于所述多张人像图得到多个人像档案集示例性包括：根据聚类算法对所述多张人像图进行聚类操作，得到k个人像档案集，其中，k为大于1的整数。相应的，s104示例性包括：根据所述k个人像档案集和所述弱关系值建立关系图谱，其中，所述关系图谱包括多个节点以及任意两节点之间边的权重值，每个节点与一个人像档案集对应，两节点之间的边的权重与对应的两个人像档案集中存在的所有弱关系值之和正相关；根据图运算方法更新所述关系图谱包括的边的权重值，直至收敛后，得到任意两节点之间的目标权重值，其中，所述目标权重值用于表征两个人像档案集之间的强关系值。
[0092]
也就是说，本技术一些实施例提供的基于关系图谱的强关系挖掘方法包括：
[0093]
a.建立图(g,graph),图上的每个节点是人像档案集p，初始化节点间的边为档案间的弱关系值的积分score之和。
[0094]
b.使用随机游走等图运算的方法，更新g上的边的值。
[0095]
c.b步收敛后，得到的图上的边值即为两两人像档案集间的强关系值affinity。
[0096]
需要说明的是，强关系值大于阈值a的，记为两个人像档案集具有强关系。此外，强关系值affinity也可直接用于人像档案集间强关系的排序。强关系值是一个连续变量，强关系是一个定义，或理解为二值化的“1”值。判断强关系不是必要的，有些场景例如“找出目标人员的密接”，需要判断定量指标是否大于某一阈值，即affinity是否大于阈值a,大于的
会被称为密接，否则不是。这种场景仅对关联人员进行affinity的排序无法满足需求。
[0097]
也就是说，在本技术的一些实施例中，在s104之后，所述方法还包括：若任一强关系值大于关系阈值，则确认与所述任一强关系值对应的两个人像档案集之间存在强关系；响应于查询请求，提供所述强关系。在本技术的一些实施例中，在s104之后，所述方法还包括：对所述强关系值按照大小进行排序，获得一个队列；响应于查询请求，提供所述队列。
[0098]
本技术的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如图2所述的方法。
[0099]
本技术的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如图2所述的方法。
[0100]
请参考图3，图3示出了本技术实施例提供的获取人像间关系的装置，应理解，该装置与上述图2方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该获取人像间关系的装置包括：人像图获取模块201、弱关系值挖掘模块202、人像档案集获取模块203以及强关系挖掘模块204。
[0101]
人像图获取模块201被配置为获取多张人像图。
[0102]
弱关系值挖掘模块202被配置为获取所述多张人像图中任意两张人像图之间的弱关系值，其中，所述弱关系值用于表征两张人像图之间是否存在关联关系。
[0103]
人像档案集获取模块203被配置为基于所述多张人像图得到多个人像档案集，其中，一个人像档案集中包括至少一张人像图。
[0104]
强关系挖掘模块204被配置为根据所述弱关系值获取所述多个人像档案集中不同人像档案集之间的强关系值，其中，所述强关系值用于表征不同人像档案集之间的关联程度。
[0105]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述图2方法中的对应过程，在此不再过多赘述。
[0106]
如图4所示，本技术的一些实施例提供一种电子设备500，该电子设备500包括存储器510、处理器520以及存储在所述存储器510上并可在所述处理器520上运行的计算机程序，其中，所述处理器520通过总线530从存储器510读取程序执行所述程序时可实现如图2实施例所述的方法。
[0107]
处理器520可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器520可以是微处理器。
[0108]
存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本技术实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现图2中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
[0109]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图
显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0110]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0111]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0113]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
[0114]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。