一种目标关联方法及装置与流程

1.本发明涉及目标跟踪技术领域，具体而言，涉及一种目标关联方法及装置。


背景技术：

2.目前，基于目标检测的跟踪算法，可自动检测出待检测视频中每帧视频帧所包含的目标对象，并将前一帧视频帧中所包含的与该目标对象为同一目标对象的对象进行关联。
3.然而，在基于目标检测的跟踪算法，对待检测视频中各目标对象进行跟踪检测的过程中，往往出现漏检或误检的情况，例如：针对待检测视频出现消失再出现的目标对象，基于目标检测的跟踪算法，出现将出现消失再出现的目标对象检测为不同对象，即将目标对象消失前和再出现后识别为不同的情况；或出现将连续出现的同一目标对象识别为不同目标对象的情况。
4.针对上述情况，需要人工对基于目标检测的跟踪算法所得到检测结果，进行检查及标定判断。那么，如何提供一种便捷有效的对待检测视频检测结果中出现漏检或误检的情况进行检查及标定判断，并进行修正成为亟待解决的问题。


技术实现要素：

5.本发明提供了一种目标关联方法及装置，以实现对视频的每一帧视频帧中出现的相同目标的便捷有效的关联。具体的技术方案如下：
6.第一方面，本发明实施例提供了一种目标关联方法，所述方法包括：
7.获得当前待标注框，及所述当前待标注框对应的第一视频帧，其中，所述当前待标注框对应的第一视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧；
8.获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，其中，每一推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧；
9.展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧，以供用户基于每一推荐框对应的第二视频帧，从所展示推荐框中确定与所述当前待标注框存在关联关系的目标推荐框；
10.基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系。
11.可选的，所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的最后一帧视频帧；
12.所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件
的视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的首帧视频帧。
13.可选的，所述获得待标注视频中的当前待标注框的步骤，通过如下两种实现方式中的任一种实现方式实现：
14.第一种实现方式：
15.从所述待标注视频对应的未标注框中，确定所对应尾帧视频帧对应的时间戳信息表征采集时间最早的未标注框，作为所述当前待标注框；
16.第二种实现方式：
17.在检测到用户针对所展示的历史待标注框，从其对应的所展示推荐框中，选中与其存在关联关系的推荐框的情况下，将用户所选中的推荐框，确定为当前待标注框。
18.可选的，所述获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧的步骤，包括：
19.遍历所述当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的预标注结果，从所述当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的检测框中，确定出所对应框标识满足预设推荐条件的检测框，作为与所述当前待标注框存在疑似关联关系的推荐框，其中，所对应框标识满足预设推荐条件的检测框包括：所对应框标识信息未在所述当前待标注框对应的尾帧视频帧及之前帧中出现过的检测框；
20.针对每一与所述当前待标注框存在疑似关联关系的推荐框，将所述当前待标注框对应的尾帧视频帧之后的n帧视频帧中，包含该推荐框对应的目标的满足所述第二筛选条件的视频帧，确定为该推荐框对应的第二视频帧，其中，所述包含该推荐框对应的目标的满足所述第二筛选条件的视频帧包括：所检测出的所述待标注视频中包含该推荐框所对应目标的首帧视频帧。
21.可选的，在所述获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧的步骤之前，所述方法还包括：
22.判断展示当前待标注框对应的推荐框的展示功能是否启动；
23.若启动，执行所述获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧的步骤；
24.若未启动，获得所述待标注视频中所述当前待标注框对应的尾帧视频帧之后的m帧视频帧，作为所述当前待标注框对应的待播放视频帧，其中，所述当前待标注框对应的尾帧视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的尾帧视频帧；
25.展示包含所述当前待标注框的所述第一视频帧，并播放所述当前待标注框对应的待播放视频帧，以供用户从所播放的所述当前待标注框对应的待播放视频帧中所包括的检测框中，确定与所述当前待标注框存在关联关系的目标检测框；
26.基于用户的第二关联关系操作信息，从所播放的所述当前待标注框对应的待播放视频帧中所包括的标注框中，确定是否存在与所述当前待标注框存在关联关系的目标检测框，并在确定存在与所述当前待标注框存在关联关系的目标检测框的情况下，建立所述当前待标注框与所述目标检测框之间的关联关系。
27.可选的，在所述基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存
在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系的步骤之前，所述方法还包括：
28.在检测到用户针对与所述当前待标注框存在疑似关联关系的第一推荐框触发的第一放大指令的情况下，放大展示所述第一推荐框及所述第一推荐框对应的第二视频帧，其中，所述第一放大指令的触发操作包括：右键点击所述第一推荐框对应的第二视频帧；和/或
29.在检测到用户针对所述当前待标注框对应的第一视频帧触发的第二放大指令的情况下，放大展示所述当前待标注框对应的第一视频帧。
30.可选的，在所述基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系的步骤之后，所述方法还包括：
31.将所述目标推荐框，确定为新的当前待标注框；
32.从所述待标注视频中，确定出所检测出的包含所述新的当前待标注框所对应目标的且满足第一筛选条件的视频帧，作为所述新的当前待标注框对应的第一视频帧；
33.获得与所述新的当前待标注框存在疑似关联关系的新的推荐框以及每一新的推荐框对应的第二视频帧，其中，每一新的推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该新的推荐框所对应目标的且满足第二筛选条件的视频帧；
34.展示包含所述新的当前待标注框的所述第一视频帧以及每一新的推荐框对应的包含该新的推荐框的第二视频帧，以供用户基于每一新的推荐框对应的第二视频帧，从所展示新的推荐框中确定与所述新的当前待标注框存在关联关系的新的目标推荐框；
35.若检测到所述用户触发指示跳转至上一段的跳转指令，展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧。
36.可选的，在展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧的步骤之前，所述方法还包括：
37.获得所述当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息；
38.获得与所述当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧对应的帧数信息以及每一推荐框对应的框标识信息；
39.所述展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧的步骤，包括：
40.在第一预设展示界面的第一展示区域，展示包含所述当前待标注框的所述第一视频帧以及所述当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息；
41.并在所述第一预设展示界面的第二展示区域，展示与所述当前待标注框存在疑似关联关系的每一推荐框对应的包含该推荐框的第二视频帧及其对应的帧数信息，以及每一推荐框对应的框标识信息。
42.可选的，所述第一预设展示界面的第三展示区域还包括供指示跳转至上一段的跳转指令的第一触发区域，和供指示跳转至下一段的跳转指令的第二触发区域，其中，所述指
示跳转至上一段的跳转指令为：指示展示所述当前待标注框的前一个待标注框对应的第一视频帧的指令，所述当前待标注框的前一个待标注框对应的第一视频帧：为所检测出的待标注视频中的包含所述当前待标注框的前一个待标注框所对应目标的且满足第一筛选条件的视频帧；所述指示跳转至下一段的跳转指令为：指示展示所述当前待标注框的后一个待标注框对应的第一视频帧的指令，所述当前待标注框的后一个待标注框为：所述待标注视频对应的未标注框中，所对应尾帧视频帧对应的时间戳信息表征采集时间最早，且晚于该当前待标注框的采集时间的未标注框。
43.第二方面，本发明实施例提供了一种目标关联装置，所述装置包括：
44.第一获得模块，被配置为获得当前待标注框，及所述当前待标注框对应的第一视频帧，其中，所述当前待标注框对应的第一视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧；
45.第二获得模块，被配置为获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，其中，每一推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧；
46.第一展示模块，被配置为展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧，以供用户基于每一推荐框对应的第二视频帧，从所展示推荐框中确定与所述当前待标注框存在关联关系的目标推荐框；
47.第一确定建立模块，被配置为基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系。
48.可选的，所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的最后一帧视频帧；
49.所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的首帧视频帧。
50.可选的，所述第一获得模块被具体配置为：
51.从所述待标注视频对应的未标注框中，确定所对应尾帧视频帧对应的时间戳信息表征采集时间最早的未标注框，作为所述当前待标注框；
52.或者被具体配置为
53.在检测到用户针对所展示的历史待标注框，从其对应的所展示推荐框中，选中与其存在关联关系的推荐框的情况下，将用户所选中的推荐框，确定为当前待标注框。
54.可选的，所述第二获得模块，被具体配置为遍历所述当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的预标注结果，从所述当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的检测框中，确定出所对应框标识满足预设推荐条件的检测框，作为与所述当前待标注框存在疑似关联关系的推荐框，其中，所对应框标识满足预设推荐条件的检测框包括：所对应框标识信息未在所述当前待标注框对应的尾帧视频帧及之前帧中出现过的检测框；
55.针对每一与所述当前待标注框存在疑似关联关系的推荐框，将所述当前待标注框
对应的尾帧视频帧之后的n帧视频帧中，包含该推荐框对应的目标的满足所述第二筛选条件的视频帧，确定为该推荐框对应的第二视频帧，其中，所述包含该推荐框对应的目标的满足所述第二筛选条件的视频帧包括：所检测出的所述待标注视频中包含该推荐框所对应目标的首帧视频帧。
56.可选的，所述装置还包括：
57.判断模块，被配置为在所述获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧之前，判断展示当前待标注框对应的推荐框的展示功能是否启动；
58.若启动，触发所述第二获得模块；
59.第三获得模块，被配置为若未启动，获得所述待标注视频中所述当前待标注框对应的尾帧视频帧之后的m帧视频帧，作为所述当前待标注框对应的待播放视频帧，其中，所述当前待标注框对应的尾帧视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的尾帧视频帧；
60.第二展示模块，被配置为展示包含所述当前待标注框的所述第一视频帧，并播放所述当前待标注框对应的待播放视频帧，以供用户从所播放的所述当前待标注框对应的待播放视频帧中所包括的检测框中，确定与所述当前待标注框存在关联关系的目标检测框；
61.第二确定建立模块，被配置为基于用户的第二关联关系操作信息，从所播放的所述当前待标注框对应的待播放视频帧中所包括的标注框中，确定是否存在与所述当前待标注框存在关联关系的目标检测框，并在确定存在与所述当前待标注框存在关联关系的目标检测框的情况下，建立所述当前待标注框与所述目标检测框之间的关联关系。
62.可选的，所述装置还包括：
63.放大展示模块，被配置为在所述基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系之前，在检测到用户针对与所述当前待标注框存在疑似关联关系的第一推荐框触发的第一放大指令的情况下，放大展示所述第一推荐框及所述第一推荐框对应的第二视频帧，其中，所述第一放大指令的触发操作包括：右键点击所述第一推荐框对应的第二视频帧；和/或
64.在检测到用户针对所述当前待标注框对应的第一视频帧触发的第二放大指令的情况下，放大展示所述当前待标注框对应的第一视频帧。
65.可选的，所述装置还包括：
66.第一确定模块，被配置为在所述基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系之后，将所述目标推荐框，确定为新的当前待标注框；
67.第二确定模块，被配置为从所述待标注视频中，确定出所检测出的包含所述新的当前待标注框所对应目标的且满足第一筛选条件的视频帧，作为所述新的当前待标注框对应的第一视频帧；
68.第四获得模块，被配置为获得与所述新的当前待标注框存在疑似关联关系的新的
推荐框以及每一新的推荐框对应的第二视频帧，其中，每一新的推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该新的推荐框所对应目标的且满足第二筛选条件的视频帧；
69.第三展示模块，被配置为展示包含所述新的当前待标注框的所述第一视频帧以及每一新的推荐框对应的包含该新的推荐框的第二视频帧，以供用户基于每一新的推荐框对应的第二视频帧，从所展示新的推荐框中确定与所述新的当前待标注框存在关联关系的新的目标推荐框；
70.第四展示模块，被配置为若检测到所述用户触发指示跳转至上一段的跳转指令，展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧。
71.可选的，所述装置还包括：
72.第五获得模块，被配置为在展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧之前，获得所述当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息；
73.第六获得模块，被配置为获得与所述当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧对应的帧数信息以及每一推荐框对应的框标识信息；
74.所述第一展示模块，被具体配置为在第一预设展示界面的第一展示区域，展示包含所述当前待标注框的所述第一视频帧以及所述当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息；
75.并在所述第一预设展示界面的第二展示区域，展示与所述当前待标注框存在疑似关联关系的每一推荐框对应的包含该推荐框的第二视频帧及其对应的帧数信息，以及每一推荐框对应的框标识信息。
76.可选的，所述第一预设展示界面的第三展示区域还包括供指示跳转至上一段的跳转指令的第一触发区域，和供指示跳转至下一段的跳转指令的第二触发区域，其中，所述指示跳转至上一段的跳转指令为：指示展示所述当前待标注框的前一个待标注框对应的第一视频帧的指令，所述当前待标注框的前一个待标注框对应的第一视频帧：为所检测出的待标注视频中的包含所述当前待标注框的前一个待标注框所对应目标的且满足第一筛选条件的视频帧；所述指示跳转至下一段的跳转指令为：指示展示所述当前待标注框的后一个待标注框对应的第一视频帧的指令，所述当前待标注框的后一个待标注框为：所述待标注视频对应的未标注框中，所对应尾帧视频帧对应的时间戳信息表征采集时间最早，且晚于该当前待标注框的采集时间的未标注框。
77.由上述内容可知，本发明实施例提供的一种目标关联方法及装置，获得当前待标注框，及当前待标注框对应的第一视频帧，其中，当前待标注框对应的第一视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧；获得与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，其中，每一推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧；展示包含当前待标注框的第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧，以供用户基于每一推荐框对应的第二视频帧，从所展示推荐框中确定与当前待标注框存在关联关系的目标推荐框；基于用户的第一关联关
系操作信息，从所有推荐框中确定是否存在与当前待标注框存在关联关系的目标推荐框，并在确定存在与当前待标注框存在关联关系的目标推荐框的情况下，建立当前待标注框与目标推荐框之间的关联关系。
78.应用本发明实施例，可以获得当前待标注框及其对应的第一视频帧，以及与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，进而进行展示，以实现在图像层面的对待标注视频帧中疑似同一目标的框的关联，直接获得并展示与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，节省了用户播放、观看待标注视频的时间，实现通过计算推荐框大大优化了用户寻找关联框的流程，提高了存在关联关系的标注框的标注效率，即提高了目标关联的效率，并实现对视频的每一帧视频帧中出现的相同目标的便捷有效的关联。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
79.本发明实施例的创新点包括：
80.1、可以获得当前待标注框及其对应的第一视频帧，以及与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，进而进行展示，以实现在图像层面的对待标注视频帧中疑似同一目标的框的关联，直接获得并展示与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，节省了用户播放、观看待标注视频的时间，实现通过计算推荐框大大优化了用户寻找关联框的流程，提高了存在关联关系的标注框的标注效率，即提高了目标关联的效率，并实现对视频的每一帧视频帧中出现的相同目标的便捷有效的关联。
81.2、当前待标注框对应的第一视频帧为当前所检测出的待标注视频中的包含所述当前待标注框所对应目标的最后一帧视频帧，且每一推荐框对应的第二视频帧为当前所检测出的待标注视频中包含该推荐框所对应目标的首帧视频帧，在一定程度上更好的节省了用户对为同一物理对象的目标对应的检测框的标注关联时间，提升了用户的对为同一物理对象的目标对应的检测框的标注关联效率。
82.3、在启动展示当前待标注框对应的推荐框的展示指令的情况下，直接获得当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，进行展示，在未启动展示当前待标注框对应的推荐框的展示指令的情况下，获得并播放当前待标注框、其所在第一视频帧以及当前待标注框对应的待播放视频帧，以供用户从所播放的待播放视频帧中确定与当前待标注框存在关联关系的目标推荐框，并在确定存在的情况下，建立当前待标注框与目标推荐框之间的关联关系，在一定程度上通过同时展示当前待标注框及其所在第一视频帧，以及待播放视频帧，便于用户进行参照比对，从待播放视频帧中确定出与当前待标注框存在关联关系的目标推荐框，在一定程度上提高用户的标注效率。
83.4、遍历当前待标注框对应的尾帧视频帧之后的n帧视频帧，从其中确定出所对应框标识满足预设推荐条件，即所对应框标识未在所述当前待标注框对应的尾帧视频帧及之前帧中出现过的检测框，作为与当前待标注框存在疑似关联关系的推荐框，以列举出当前待标注框对应的尾帧视频帧之后的n帧视频帧中，最可能与当前待标注框存在疑似关联关系推荐框，并推荐给用户，使用用户可以仅关注其中的推荐框所对应的目标，降低用户的观看量以及工作量，提高标注效率。
84.5、提供多种辅助功能，例如：提供放大显示与当前待标注框存在疑似关联关系的
第一推荐框及其对应的第二视频帧的功能，以供用户可仔细对比后再进行关联操作，对用户更友好，降低用户的专业技能要求。通过指示跳转至上一段的跳转指令，以为用户提供改错功能，在用户出现误关联操作后，退回至误关联操作前的界面，减少误关联操作的成本。并且方便审核人员对用户的标注结果的审核校验，提高标注数据的准确率。在同一界面的不同区域分别展示当前待标注框的第一视频帧和当前待标注框对应的框标识信息，以及与当前待标注框存在疑似关联关系的每一推荐框对应的包含该推荐框的第二视频帧及其对应的帧数信息，以及每一推荐框对应的框标识信息，以供用户参考查看，提高用户标注体验。
附图说明
85.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
86.图1为本发明实施例提供的目标关联方法的一种流程示意图；
87.图2为本发明实施例提供的目标关联方法的另一种流程示意图；
88.图3为第一预设展示界面的一种示例图；
89.图4为本发明实施例提供的目标关联装置的一种结构示意图。
具体实施方式
90.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
91.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
92.本发明提供了一种目标关联方法及装置，以实现对视频的每一帧视频帧中出现的相同目标的便捷有效的关联。下面对本发明实施例进行详细说明。
93.图1为本发明实施例提供的目标关联方法的一种流程示意图。该方法可以包括如下步骤：
94.s101：获得当前待标注框，及当前待标注框对应的第一视频帧。
95.其中，当前待标注框对应的第一视频帧为：所检测出的待标注视频中的包含当前待标注框所对应目标的且满足第一筛选条件的视频帧。
96.本发明实施例所提供的目标关联方法，可以应用于任意类型的电子设备中，该电子设备可以为服务器或者终端。一种实现方式中，该电子设备可以安装有预设标注工具，以通过该预设标注工具实现本发明实施例所提供的目标关联方法。
97.电子设备可以首先获得待标注视频以及待标注视频对应的预标注结果。该待标注
视频可以是任意类型的视频，例如，可以是：该待标注视频为：测试车辆在目标场景中进行行驶时，通过其所设置的图像采集设备，针对该测试车辆行驶过程中的周围环境所采集的道路视频。
98.在一种情况中，电子设备可以展示有用于供用户选择其需要进行标注的待标注视频的展示界面，该展示界面展示有各待标注视频对应的图标，用户可以通过鼠标或者触控笔或者手指选中其需要标注的待标注视频，以使电子设备获得待标注视频及其对应的预标注结果。
99.该待标注视频对应的预标注结果可以是：利用基于目标检测的跟踪算法，对待标注视频中的各目标进行跟踪检测所得到的结果，也可以是用户历史手动标注待标注视频中的各目标的结果。该待标注视频对应的预标注结果可以包括：所检测出的待标注视频中每一视频帧中所包含目标的检测框的位置信息，从不同视频帧中所检测出的为同一物理对象的目标之间的关联关系，以及各目标的检测框对应的标注信息，各目标对应的点云数据对应的语义信息。
100.其中，不同视频帧中所检测出的为同一物理对象的目标之间的关联关系可以通过该目标所对应标注框的框标识信息表示。例如：可以为：不同视频帧中所检测出的为同一物理对象的目标之间，其所对应标注框的框标识信息相同。其中，对应同一物理对象的目标对应的检测框的框标识信息相同，不同物理对象的目标对应的检测框的框标识信息不同。
101.检测框对应的标注信息为表示该检测框是否被标注的信息。
102.本发明实施例中，对于目标的检测框而言，在其被用户标注过后，可以称其为标注框；在其未被用户标注过前，可以称其为未标注框。
103.该基于目标检测的跟踪算法可以是基于深度学习的目标跟踪模型，也可以传统的目标跟踪算法，这都是可以的，本发明实施例并不对基于目标检测的跟踪算法的具体类型进行限定。
104.一种实现中，为了保证待标注视频对应的预标注结果的准确性，需要对待标注视频对应的预标注结果进行人工审核检测。电子设备获得待标注视频及其对应的预标注结果之后，一种情况，电子设备可以首先遍历待标注视频对应的预标注结果，即遍历待标注视频对应的检测框，从待标注视频对应的未被标注的检测框即未标注框中，确定出当前待标注框，并从待标注视频中确定当前待标注框对应的第一视频帧；另一种情况，电子设备可以获得用户针对待标注视频对应的未被标注的检测框即未标注框触发的选中操作，确定用户选中的未标注框，作为当前待标注框；在另一种实现中，可以是其他电子设备从待标注视频对应的预标注结果中，确定出当前待标注框，并从待标注视频中确定当前待标注框对应的第一视频帧，并发送至该电子设备，该电子设备获得当前待标注框及其对应的第一视频帧。其中，该当前待标注框对应的第一视频帧中包括该当前待标注框所对应的目标。
105.其中，考虑到目标跟踪结果的特性，往往出现同一目标出现在多帧视频帧中，且同一时刻一个物理目标出现一次。为了在一定程度上降低用户标注的工作量，所检测出的待标注视频中的包含当前待标注框所对应目标的且满足第一筛选条件的视频帧可以为：所检测出的待标注视频中的包含当前待标注框所对应目标的最后一帧视频帧即尾帧视频帧，即当前待标注框对应的第一视频帧可以为所检测出的待标注视频中的包含当前待标注框所对应目标的尾帧视频帧。在一种情况中，为了保证用户可以更好的实现对当前待标注框的
标注，从其他视频帧中确定出是否存在与当前待标注框所对应目标为同一物理对应的目标，所检测出的待标注视频中的包含当前待标注框所对应目标的且满足第一筛选条件的视频帧可以为：所检测出的待标注视频中的包含当前待标注框所对应目标的且目标的清晰度超过预设清晰度阈值的视频帧。
106.s102：获得与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧。
107.其中，每一推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧。考虑到目标跟踪结果的特性，往往出现同一目标出现在多帧视频帧中，为了在一定程度上降低用户标注的工作量，所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧可以为：当前所检测出的待标注视频中包含该推荐框所对应目标的首帧视频帧。在一种情况中，为了保证用户可以更好的实现对当前待标注框的标注，从其他视频帧中确定出是否存在与当前待标注框所对应目标为同一物理对应的目标，所检测出的待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧可以为：可以为：所检测出的待标注视频中的包含该推荐框所对应目标的且目标的清晰度超过预设清晰度阈值的视频帧。
108.本步骤中，电子设备可以针对当前待标注框，从待标注视频中当前待标注框对应的尾帧视频帧之后的多帧视频帧对应的检测框中，确定出与当前待标注框存在疑似关联关系的检测框，作为当前待标注框对应的推荐框，并从待标注视频中确定出每一推荐框对应的第二视频帧。
109.s103：展示包含当前待标注框的第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧，以供用户基于每一推荐框对应的第二视频帧，从所展示推荐框中确定与当前待标注框存在关联关系的目标推荐框。
110.本步骤中，电子设备可以在第一预设展示界面的不同区域展示包含当前待标注框的第一视频帧，并展示该当前待标注框对应的每一推荐框对应的包含该推荐框的第二视频帧。以使得用户可以直观的对比第一视频帧中当前待标注框对应的目标，以及各推荐框对应的第二视频帧中该推荐框对应的目标，确定推荐框是否与当前待标注框存在关联关系，即推荐框对应的目标与当前待标注框对应的目标是否为同一物理对象。
111.在一种情况中，电子设备可以在第一预设展示界面中以图像列表的形式展示当前待标注框对应的每一推荐框所对应第二视频帧，以便用户拖动查看。相应的，该第一预设展示界面中还可以展示有无关联框选择区域，以供用户在当前待标注框对应的推荐框中，确定出不存在有关联关系的推荐框的情况下，进行相应操作。
112.s104：基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与当前待标注框存在关联关系的目标推荐框，并在确定存在与当前待标注框存在关联关系的目标推荐框的情况下，建立当前待标注框与目标推荐框之间的关联关系。
113.本步骤中，电子设备获得用户基于所展示的包含当前待标注框的第一视频帧以及当前待标注框对应的每一推荐框对应的包含该推荐框的第二视频帧，触发的第一关联关系操作信息；基于该第一关联关系操作信息，从所有推荐框中确定是否存在与当前待标注框存在关联关系的目标推荐框，并在确定存在与当前待标注框存在关联关系的目标推荐框的情况下，建立当前待标注框与目标推荐框之间的关联关系。其中，上述建立当前待标注框与
目标推荐框之间的关联关系的过程，可以是：将当前待标注框对应的框标识信息与目标推荐框对应的框标识信息修改为一样的信息。
114.一种情况，电子设备在基于第一关联关系操作信息，确定用户选中当前待标注框对应的推荐框中的至少一推荐框的情况下，确定当前待标注框对应的所有推荐框中存在与当前待标注框存在关联关系的目标推荐框，并将用户选中的推荐框作为目标推荐框，建立当前待标注框与目标推荐框之间的关联关系，即标注当前待标注框对应的目标与目标推荐框对应的目标为同一物理对象，即实现当前待标注框对应的目标与目标推荐框对应的目标的关联。
115.后续的，为了保证用户标注过程的有序性，以及在一定程度上更好的节省了用户对为同一物理对象的目标对应的检测框的标注关联时间，提升用户的对为同一物理对象的目标对应的检测框的标注关联效率，可以继续将用户选中的与当前待标注框存在关联关系的目标推荐框作为新的当前待标注框，进而，针对新的当前待标注框执行下一次标注流程。
116.另一种情况，电子设备在基于第一关联关系操作信息，确定用户未选中当前待标注框对应的推荐框中的任一推荐框，即用户触发无关联框选择区域的情况下，电子设备确定当前待标注框对应的所有推荐框中不存在与当前待标注框存在关联关系的目标推荐框。
117.后续的，为了保证用户标注过程的有序性，提高用户标注效率，电子设备可以直接从待标注视频对应的未标注框中，确定出新的当前待标注框，进而，针对新的当前待标注框执行下一次标注流程。
118.应用本发明实施例，可以获得当前待标注框及其对应的第一视频帧，以及与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，进而进行展示，以实现在图像层面的对待标注视频帧中疑似同一目标的框的关联，直接获得并展示与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，节省了用户播放、观看待标注视频的时间，实现通过计算推荐框大大优化了用户寻找关联框的流程，提高了存在关联关系的标注框的标注效率，即提高了目标关联的效率，并实现对视频的每一帧视频帧中出现的相同目标的便捷有效的关联。
119.在本发明的另一实施例中，所述s101，可以通过如下两种实现方式中的任一种实现方式实现：
120.第一种实现方式：
121.从待标注视频对应的未标注框中，确定所对应尾帧视频帧对应的时间戳信息表征采集时间最早的未标注框，作为当前待标注框。
122.一种情况中，考虑到用户为本次标注任务中第一次触发对待标注视频的标注操作的可能性，相应的，电子设备获得待标注视频及其对应的预标注结果之后，可以首先遍历待标注视频对应的预标注结果，即遍历待标注视频对应的检测框，从待标注视频对应的未被标注的检测框即未标注框中，确定出当前待标注框，并从待标注视频中确定当前待标注框对应的第一视频帧。考虑到目标跟踪结果的特性，往往出现同一目标出现在多帧连续的视频帧中，为了在一定程度上降低用户的标注工作量，且保证用户标注过程的有序性，电子设备可以从待标注视频对应的未被标注的检测框即未标注框中，确定出所对应尾帧视频帧对应的时间戳信息表征采集时间最早的未标注框，作为当前待标注框。
123.其中，未标注框对应的尾帧视频帧可以是：待标注视频中包含该未标注框对应的
目标的视频帧中的最后一帧视频帧。
124.另一种情况，考虑到用户为本次标注任务中非首次触发对待标注视频的标注操作，在用户前一次的标注操作过程中，针对所展示的历史待标注框，从其对应的所展示推荐框中，未选中与历史待标注框存在关联关系的推荐框的情况，电子设备可以直接从待标注视频对应的未标注框中，确定出所对应尾帧视频帧对应的时间戳信息表征采集时间最早的未标注框，作为当前待标注框。
125.第二种实现方式：
126.在检测到用户针对所展示的历史待标注框，从其对应的所展示推荐框中，选中与其存在关联关系的推荐框的情况下，将用户所选中的推荐框，确定为当前待标注框。
127.本实现方式中，考虑到用户为本次标注任务中非首次触发对待标注视频的标注操作，在用户前一次的标注操作过程中，针对所展示的历史待标注框，从其对应的所展示推荐框中，选中与历史待标注框存在关联关系的推荐的情况下，为了保证标注过程的便利，以及用户的标注效率，可以针对同一目标的检测框进行标注。在检测到用户针对所展示的历史待标注框，从其对应的所展示推荐框中，选中与其存在关联关系的推荐框的情况下，将用户所选中的推荐框，确定为当前待标注框，进而执行后续的目标关联流程。
128.在本发明的另一实施例中，所述s102，可以包括如下步骤011-012：
129.011：遍历当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的预标注结果，从当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的检测框中，确定出所对应框标识满足预设推荐条件的检测框，作为与当前待标注框存在疑似关联关系的推荐框。
130.其中，所对应框标识满足预设推荐条件的检测框包括：所对应框标识信息未在当前待标注框对应的尾帧视频帧及之前帧中出现过的检测框。
131.012：针对每一与当前待标注框存在疑似关联关系的推荐框，将当前待标注框对应的尾帧视频帧之后的n帧视频帧中，包含该推荐框对应的目标的满足第二筛选条件的视频帧，确定为该推荐框对应的第二视频帧。
132.其中，包含该推荐框对应的目标的满足第二筛选条件的视频帧包括：所检测出的待标注视频中包含该推荐框所对应目标的首帧视频帧。
133.本发明实施例中，考虑到出现漏关联的情况是将为同一物理对象的目标检测为不同目标，且检测为不同目标对应的检测框的框标识信息存在不同，以及一帧视频帧中同一物理目标同一时刻仅有一个；且考虑到降低电子设备的计算量。电子设备在获得当前待标注框对应的推荐框的过程中，可以是：遍历当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的预标注结果，从当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的检测框中，确定出新出现的检测框，即所对应框标识满足预设推荐条件的检测框，作为与当前待标注框存在疑似关联关系的推荐框。所对应框标识满足预设推荐条件的检测框包括：所对应框标识信息未在当前待标注框对应的尾帧视频帧及之前帧中出现过的检测框。
134.针对每一与当前待标注框存在疑似关联关系的推荐框，将当前待标注框对应的尾帧视频帧之后的n帧视频帧中，包含该推荐框对应的目标的满足第二筛选条件的视频帧，即将所检测出的待标注视频中包含该推荐框所对应目标的首帧视频帧，确定为该推荐框对应的第二视频帧。例如：在当前待标注框对应的尾帧视频帧之后的n帧视频帧中，存在第n-p、n-p 1、n-p 2、n-p 3以及n-p 4帧视频帧包含当前待标注框对应的推荐框a对应的目标，此
时将待标注视频中包含该推荐框所对应目标的首帧视频帧即第n-p帧视频帧，确定为推荐框a对应的第二视频帧。
135.其中，n为正整数，n为根据经验预设的数值。考略到避免检测框之间的关联关系的遗漏的因素，用户工作量以及工作效率的因素，以及间隔视频帧的帧数过大的存在关联关系的检测框，对后续的基于深度学的目标跟踪模型的训练意义不大，该n的取值不宜过小也不宜过大，在一种情况中，该n的取值范围可以为[20，30]。
[0136]
本发明实施例中，列举出当前待标注框对应的尾帧视频帧之后的n帧视频帧中，最可能与当前待标注框存在疑似关联关系推荐框，并推荐给用户，使用用户可以仅关注其中的推荐框所对应的目标，降低用户的观看量以及工作量，提高标注效率。
[0137]
在本发明的另一实施例中，在所述s102之前，所述方法还可以包括如下步骤021-024：
[0138]
021：判断展示当前待标注框对应的推荐框的展示功能是否启动；若启动，执行s102；若未启动，执行022；
[0139]
022：获得待标注视频中当前待标注框对应的尾帧视频帧之后的m帧视频帧，作为当前待标注框对应的待播放视频帧。
[0140]
其中，当前待标注框对应的尾帧视频帧为：所检测出的待标注视频中的包含当前待标注框所对应目标的尾帧视频帧。
[0141]
023：展示包含当前待标注框的所述第一视频帧，并播放当前待标注框对应的待播放视频帧，以供用户从所播放的当前待标注框对应的待播放视频帧中所包括的检测框中，确定与当前待标注框存在关联关系的目标检测框；
[0142]
024：基于用户的第二关联关系操作信息，从所播放的当前待标注框对应的待播放视频帧中所包括的标注框中，确定是否存在与当前待标注框存在关联关系的目标检测框，并在确定存在与当前待标注框存在关联关系的目标检测框的情况下，建立当前待标注框与目标检测框之间的关联关系。
[0143]
本发明实施例中，电子设备在判断展示当前待标注框对应的推荐框的展示功能启动的情况下，可以为用户提供展示当前待标注框对应的推荐框的展示功能，即执行获得与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧的步骤及之后的流程。在判断展示当前待标注框对应的推荐框的展示功能未启动的情况下，可以直接确定待标注视频中当前待标注框对应的尾帧视频帧之后的m帧视频帧，作为当前待标注框对应的待播放视频帧；在第二预设展示界面的第一展示区域，展示包含当前待标注框的第一视频帧；并在第二预设展示界面的第二展示区域，逐帧播放当前待标注框对应的待播放视频帧。用户可以查看待播放视频帧的每一视频帧中的目标，审核其中是否存在与当前待标注框对应的目标为同一物理对象的目标，即其中的检测框中是否存在与当前待标注框存在关联关系的检测框，并触发相应操作。
[0144]
电子设备基于用户触发的相应操作，获得第二关联关系操作信息。在基于第二关联关系操作信息，确定用户从当前待标注框对应的待播放视频包含的检测框中选中一检测框的情况下，确定待播放视频所包括的检测框中，存在与当前待标注框存在关联关系的目标检测框，并将用户选中的检测框作为目标检测框，建立当前待标注框与目标检测框之间的关联关系，即标注当前待标注框对应的目标与目标检测框对应的目标为同一物理对象，
即实现当前待标注框对应的目标与目标检测框对应的目标的关联。
[0145]
后续的，为了保证用户标注过程的有序性，以及在一定程度上更好的节省了用户对为同一物理对象的目标对应的检测框的标注关联时间，提升用户的对为同一物理对象的目标对应的检测框的标注关联效率，可以继续将用户选中的与当前待标注框存在关联关系的目标检测框作为新的当前待标注框，进而，针对新的当前待标注框执行下一次标注流程。
[0146]
另一种情况，电子设备在基于第二关联关系操作信息，确定用户从当前待标注框对应的待播放视频包含的检测框中未选中一检测框的情况下，电子设备确定当前待标注框对应的待播放视频所包含的检测框中，不存在与当前待标注框存在关联关系的目标检测框。
[0147]
后续的，为了保证用户标注过程的有序性，提高用户标注效率，电子设备可以直接从待标注视频对应的未标注框中，确定出新的当前待标注框，进而，针对新的当前待标注框执行下一次标注流程。
[0148]
在本发明的另一实施例中，为了保证更好的提高用户体验，提高用户标注结果的准确性，在所述s104之前，所述方法还可以包括：
[0149]
在检测到用户针对与当前待标注框存在疑似关联关系的第一推荐框触发的第一放大指令的情况下，放大展示第一推荐框及所述第一推荐框对应的第二视频帧。
[0150]
其中，第一放大指令的触发操作包括：右键点击第一推荐框对应的第二视频帧。
[0151]
和/或在检测到用户针对当前待标注框对应的第一视频帧触发的第二放大指令的情况下，放大展示当前待标注框对应的第一视频帧。
[0152]
本发明实施例提供有放大显示功能，在检测到用户针对与当前待标注框存在疑似关联关系的第一推荐框触发放大指令即检测到用户右键点击第一推荐框对应的第二视频帧的情况下，放大展示第一推荐框及第一推荐框对应的第二视频帧，以供用户可以仔细对比推荐框对应的目标与当前待标注框对应的目标，确定其两者是否为同一物理对象。在检测到用户针对当前待标注框对应的第一视频帧触发的第二放大指令的情况下，放大展示当前待标注框对应的第一视频帧。该第二放大指令的触发操作可以是：按住鼠标左键或右键在当前待标注框对应的第一视频帧的展示区域滚动鼠标；或者，双手指滑动当前待标注框对应的第一视频帧的展示区域。
[0153]
后续的，可以通过按住“shift”键和鼠标左键，或者按住鼠标中键拖动画面，即拖动当前待标注框对应的第一视频帧或第一推荐框对应的第二视频帧。
[0154]
一种情况中，上述指定展示位置可以为上述提到的第一预设展示界面的第一展示区域。
[0155]
在本发明的另一实施例中，在所述s104之后，如图2所示，所述方法还可以包括：
[0156]
s201：将目标推荐框，确定为新的当前待标注框。
[0157]
s202：从待标注视频中，确定出所检测出的包含新的当前待标注框所对应目标的且满足第一筛选条件的视频帧，作为新的当前待标注框对应的第一视频帧。
[0158]
s203：获得与新的当前待标注框存在疑似关联关系的新的推荐框以及每一新的推荐框对应的第二视频帧。
[0159]
其中，每一新的推荐框对应的第二视频帧为：所检测出的待标注视频中包含该新的推荐框所对应目标的且满足第二筛选条件的视频帧。
[0160]
s204：展示包含新的当前待标注框的第一视频帧以及每一新的推荐框对应的包含该新的推荐框的第二视频帧，以供用户基于每一新的推荐框对应的第二视频帧，从所展示新的推荐框中确定与新的当前待标注框存在关联关系的新的目标推荐框。
[0161]
s205：若检测到用户触发指示跳转至上一段的跳转指令，展示包含当前待标注框的第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧。
[0162]
本实施例中，在电子设备建立当前待标注框与目标推荐框之间的关联关系之后，可以直接将目标推荐框，确定为新的当前待标注框。并执行s202-s204。其中，s202确定新的当前待标注框对应的第一视频帧的过程可以参见上述确定当前待标注框对应的第一视频帧的过程；s203获得与新的当前待标注框存在疑似关联关系的新的推荐框以及每一新的推荐框对应的第二视频帧的过程，可以参见上述获得与当前待标注框存在疑似关联关系的新的推荐框以及每一推荐框对应的第二视频帧的过程；s204展示包含新的当前待标注框的第一视频帧以及每一新的推荐框对应的包含该新的推荐框的第二视频帧的过程，可以参见展示包含当前待标注框的第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧的过程，在此不再赘述。
[0163]
为了减少误关联操作的成本，本发明实施例提供了改错功能，在用户确定其针对当前待标注框，选中的目标推荐框存在错误的情况下，用户可以触发指示跳转至上一段的跳转指令，电子设备若检测到用户触发指示跳转至上一段的跳转指令，展示包含当前待标注框的第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧。
[0164]
一种实现方式中，电子设备在建立当前待标注框与目标推荐框之间的关联关系的过程中，可以是将目标推荐框对应的框标识信息修改为与当前待标注框对应的框标识信息相同的标识信息。为了为用户提供改错信息，电子设备在建立当前待标注框与目标推荐框之间的关联关系之后，依然保存当前待标注框与目标推荐框的建立关联关系之前的信息，例如：保留当前待标注框与目标推荐框的建立关联关系之前的所对应框标识信息。相应的，电子设备若检测到用户触发指示跳转至上一段的跳转指令，可以重新展示包含当前待标注框的第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧。
[0165]
在本发明的另一实施例中，在s103之前，所述方法还可以包括如下步骤031-032：
[0166]
031：获得当前待标注框对应的第一视频帧的帧数信息以及当前待标注框对应的框标识信息。
[0167]
032：获得与当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧对应的帧数信息以及每一推荐框对应的框标识信息。
[0168]
所述s103，包括如下步骤041-042：
[0169]
041：在第一预设展示界面的第一展示区域，展示包含当前待标注框的第一视频帧以及当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息。
[0170]
042：并在第一预设展示界面的第二展示区域，展示与当前待标注框存在疑似关联关系的每一推荐框对应的包含该推荐框的第二视频帧及其对应的帧数信息，以及每一推荐框对应的框标识信息。
[0171]
本发明实施例中，为了更好的辅助用户的标注工作，电子设备在展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧之后，还
可以获得当前待标注框对应的第一视频帧的帧数信息以及当前待标注框对应的框标识信息，其中，该框标识信息可以为框id等可以唯一标识所检测出的某一目标对应的检测框的信息，当前待标注框对应的第一视频帧的帧数信息标识：当前待标注框对应的第一视频帧在待标注视频中的位置信息，即第几帧信息。电子设备获得与当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧对应的帧数信息以及每一推荐框对应的框标识信息，其中，可以称与当前待标注框存在疑似关联关系的每一推荐框为：当前待标注框对应的推荐框；与当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧对应的帧数信息标识：与当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧在待标注视频中的位置信息，即第几帧信息。
[0172]
电子设备在第一预设展示界面的第一展示区域，展示包含当前待标注框的第一视频帧以及当前待标注框对应的第一视频帧的帧数信息以及当前待标注框对应的框标识信息；并在第一预设展示界面的第二展示区域，展示与当前待标注框存在疑似关联关系的每一推荐框对应的包含该推荐框的第二视频帧及其对应的帧数信息，以及每一推荐框对应的框标识信息。其中，当前待标注框对应的每一推荐框所对应第二视频帧的展示顺序，可以是：按照当前待标注框对应的每一推荐框所对应第二视频帧的帧数信息所表征的第二视频帧在待标注视频中的前后顺序，进行展示。
[0173]
如图3所示，为第一预设展示界面的一种结构示例图。第一预设展示界面的第一展示区域可以称为图像展示主面板，位于第一预设展示界面的左侧，展示包含当前待标注框的第一视频帧、当前待标注框对应的第一视频帧的帧数信息以及当前待标注框对应的框标识信息。第一预设展示界面的第二展示区域可以称为推荐框选择面板，展示有当前待标注框对应每一推荐框对应的第二视频帧、每一推荐框对应的框标识信息以及每一推荐框对应的第二视频帧对应的帧数信息。其中，当前待标注框对应每一推荐框对应的第二视频帧以预览图即缩略图的形式展示。
[0174]
如图3所示，在第二展示区域中推荐框对应的第二视频帧的末尾还展示有“无匹配框”即上述提到的无关联框选择区域，用户选中该“无匹配框”对应的区域，电子设备则确定当前待标注框对应的推荐框中不存在与当前待标注框存在关联关系的推荐框。
[0175]
以图3为例，在用户确定所对应框标识信息即“id”为8的推荐框为与当前待标注框即所对应框标识信息即“id”为7的框存在关联关系的框，用户可以点击“id”为8的推荐框对应的第二视频帧所在区域，以选中“id”为8的推荐框；后续的，电子设备建立当前待标注框与用户选中的“id”为8的推荐框之间的关联关系，例如：将“id”为8的推荐框的“id”从8修改为“7”。
[0176]
在本发明的另一实施例中，第一预设展示界面的第三展示区域还可以包括供指示跳转至上一段的跳转指令的第一触发区域，和供指示跳转至下一段的跳转指令的第二触发区域。其中，指示跳转至上一段的跳转指令为：指示展示当前待标注框的前一个待标注框对应的第一视频帧的指令，当前待标注框的前一个待标注框对应的第一视频帧：为所检测出的待标注视频中的包含当前待标注框的前一个待标注框所对应目标的且满足第一筛选条件的视频帧。指示跳转至下一段的跳转指令为：指示展示当前待标注框的后一个待标注框对应的第一视频帧的指令，当前待标注框的后一个待标注框为：待标注视频对应的未标注框中，所对应尾帧视频帧对应的时间戳信息表征采集时间最早，且晚于该当前待标注框的
采集时间的未标注框。
[0177]
一种情况，第三展示区域可以位于第二展示区域的下方。如图3所示，“跳至上一段”表示供指示跳转至上一段的跳转指令的第一触发区域，和“跳至下一段”表示供指示跳转至下一段的跳转指令的第二触发区域。
[0178]
相应于上述方法实施例，本发明实施例提供了一种目标关联装置，如图4所示，所述装置包括：
[0179]
第一获得模块410，被配置为获得当前待标注框，及所述当前待标注框对应的第一视频帧，其中，所述当前待标注框对应的第一视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧；
[0180]
第二获得模块420，被配置为获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，其中，每一推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧；
[0181]
第一展示模块430，被配置为展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧，以供用户基于每一推荐框对应的第二视频帧，从所展示推荐框中确定与所述当前待标注框存在关联关系的目标推荐框；
[0182]
第一确定建立模块440，被配置为基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系。
[0183]
应用本发明实施例，可以获得当前待标注框及其对应的第一视频帧，以及与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，进而进行展示，以实现在图像层面的对待标注视频帧中疑似同一目标的框的关联，直接获得并展示与当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧，节省了用户播放、观看待标注视频的时间，实现通过计算推荐框大大优化了用户寻找关联框的流程，提高了存在关联关系的标注框的标注效率，即提高了目标关联的效率，并实现对视频的每一帧视频帧中出现的相同目标的便捷有效的关联。
[0184]
在本发明的另一实施例中，所检测出的待标注视频中的包含所述当前待标注框所对应目标的且满足第一筛选条件的视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的最后一帧视频帧；
[0185]
所检测出的所述待标注视频中包含该推荐框所对应目标的且满足第二筛选条件的视频帧为：所检测出的所述待标注视频中包含该推荐框所对应目标的首帧视频帧。
[0186]
在本发明的另一实施例中，所述第一获得模块410被具体配置为：
[0187]
从所述待标注视频对应的未标注框中，确定所对应尾帧视频帧对应的时间戳信息表征采集时间最早的未标注框，作为所述当前待标注框；
[0188]
或者，被具体配置为在检测到用户针对所展示的历史待标注框，从其对应的所展示推荐框中，选中与其存在关联关系的推荐框的情况下，将用户所选中的推荐框，确定为当前待标注框。
[0189]
在本发明的另一实施例中，所述第二获得模块420，被具体配置为遍历所述当前待标注框对应的尾帧视频帧之后的n帧视频帧对应的预标注结果，从所述当前待标注框对应
的尾帧视频帧之后的n帧视频帧对应的检测框中，确定出所对应框标识满足预设推荐条件的检测框，作为与所述当前待标注框存在疑似关联关系的推荐框，其中，所对应框标识满足预设推荐条件的检测框包括：所对应框标识信息未在所述当前待标注框对应的尾帧视频帧及之前帧中出现过的检测框；
[0190]
针对每一与所述当前待标注框存在疑似关联关系的推荐框，将所述当前待标注框对应的尾帧视频帧之后的n帧视频帧中，包含该推荐框对应的目标的满足所述第二筛选条件的视频帧，确定为该推荐框对应的第二视频帧，其中，所述包含该推荐框对应的目标的满足所述第二筛选条件的视频帧包括：所检测出的所述待标注视频中包含该推荐框所对应目标的首帧视频帧。
[0191]
在本发明的另一实施例中，所述装置还包括：判断模块(图中未示出)，被配置为在所述获得与所述当前待标注框存在疑似关联关系的推荐框以及每一推荐框对应的第二视频帧之前，判断展示当前待标注框对应的推荐框的展示功能是否启动；
[0192]
若启动，触发所述第二获得模块420；
[0193]
第三获得模块(图中未示出)，被配置为若未启动，获得所述待标注视频中所述当前待标注框对应的尾帧视频帧之后的m帧视频帧，作为所述当前待标注框对应的待播放视频帧，其中，所述当前待标注框对应的尾帧视频帧为：所检测出的待标注视频中的包含所述当前待标注框所对应目标的尾帧视频帧；
[0194]
第二展示模块(图中未示出)，被配置为展示包含所述当前待标注框的所述第一视频帧，并播放所述当前待标注框对应的待播放视频帧，以供用户从所播放的所述当前待标注框对应的待播放视频帧中所包括的检测框中，确定与所述当前待标注框存在关联关系的目标检测框；
[0195]
第二确定建立模块(图中未示出)，被配置为基于用户的第二关联关系操作信息，从所播放的所述当前待标注框对应的待播放视频帧中所包括的标注框中，确定是否存在与所述当前待标注框存在关联关系的目标检测框，并在确定存在与所述当前待标注框存在关联关系的目标检测框的情况下，建立所述当前待标注框与所述目标检测框之间的关联关系。
[0196]
在本发明的另一实施例中，所述装置还包括：放大展示模块(图中未示出)，被配置为在所述基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系之前，在检测到用户针对与所述当前待标注框存在疑似关联关系的第一推荐框触发的第一放大指令的情况下，放大展示所述第一推荐框及所述第一推荐框对应的第二视频帧，其中，所述第一放大指令的触发操作包括：右键点击所述第一推荐框对应的第二视频帧；
[0197]
和/或在检测到用户针对所述当前待标注框对应的第一视频帧触发的第二放大指令的情况下，放大展示所述当前待标注框对应的第一视频帧。
[0198]
在本发明的另一实施例中，所述装置还包括：第一确定模块(图中未示出)，被配置为在所述基于用户的第一关联关系操作信息，从所有推荐框中确定是否存在与所述当前待标注框存在关联关系的目标推荐框，并在确定存在与所述当前待标注框存在关联关系的目标推荐框的情况下，建立所述当前待标注框与所述目标推荐框之间的关联关系之后，将所
述目标推荐框，确定为新的当前待标注框；
[0199]
第二确定模块(图中未示出)，被配置为从所述待标注视频中，确定出所检测出的包含所述新的当前待标注框所对应目标的且满足第一筛选条件的视频帧，作为所述新的当前待标注框对应的第一视频帧；
[0200]
第四获得模块(图中未示出)，被配置为获得与所述新的当前待标注框存在疑似关联关系的新的推荐框以及每一新的推荐框对应的第二视频帧，其中，每一新的推荐框对应的第二视频帧为：所检测出的所述待标注视频中包含该新的推荐框所对应目标的且满足第二筛选条件的视频帧；
[0201]
第三展示模块(图中未示出)，被配置为展示包含所述新的当前待标注框的所述第一视频帧以及每一新的推荐框对应的包含该新的推荐框的第二视频帧，以供用户基于每一新的推荐框对应的第二视频帧，从所展示新的推荐框中确定与所述新的当前待标注框存在关联关系的新的目标推荐框；
[0202]
第四展示模块(图中未示出)，被配置为若检测到所述用户触发指示跳转至上一段的跳转指令，展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧。
[0203]
在本发明的另一实施例中，所述装置还包括：
[0204]
第五获得模块(图中未示出)，被配置为在展示包含所述当前待标注框的所述第一视频帧以及每一推荐框对应的包含该推荐框的第二视频帧之前，获得所述当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息；
[0205]
第六获得模块(图中未示出)，被配置为获得与所述当前待标注框存在疑似关联关系的每一推荐框对应的第二视频帧对应的帧数信息以及每一推荐框对应的框标识信息；
[0206]
所述第一展示模块430，被具体配置为在第一预设展示界面的第一展示区域，展示包含所述当前待标注框的所述第一视频帧以及所述当前待标注框对应的第一视频帧的帧数信息以及所述当前待标注框对应的框标识信息；
[0207]
并在所述第一预设展示界面的第二展示区域，展示与所述当前待标注框存在疑似关联关系的每一推荐框对应的包含该推荐框的第二视频帧及其对应的帧数信息，以及每一推荐框对应的框标识信息。
[0208]
在本发明的另一实施例中，所述第一预设展示界面的第三展示区域还包括供指示跳转至上一段的跳转指令的第一触发区域，和供指示跳转至下一段的跳转指令的第二触发区域，其中，所述指示跳转至上一段的跳转指令为：指示展示所述当前待标注框的前一个待标注框对应的第一视频帧的指令，所述当前待标注框的前一个待标注框对应的第一视频帧：为所检测出的待标注视频中的包含所述当前待标注框的前一个待标注框所对应目标的且满足第一筛选条件的视频帧；所述指示跳转至下一段的跳转指令为：指示展示所述当前待标注框的后一个待标注框对应的第一视频帧的指令，所述当前待标注框的后一个待标注框为：所述待标注视频对应的未标注框中，所对应尾帧视频帧对应的时间戳信息表征采集时间最早，且晚于该当前待标注框的采集时间的未标注框。
[0209]
上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示
意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0210]
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0211]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。