目标识别方法、装置、电子设备及存储介质与流程

1.本发明涉及机器视觉技术领域，尤其涉及一种目标识别方法、装置、电子设备及存储介质。


背景技术：

2.针织行业中胚布的生产工艺分为纬编针织和经编针织。在纬编针织生产过程中，由于织针损坏等原因导致布面产生瑕疵，属于次布。
3.目前关于纬编的次布检测方案中主要有两种方式：方式1)通过红外激光，根据光线反射与否来判断织针是否损坏，以此判断生产的状态；方式2)通过成像设备，对捕获图像利用传统算法分割目标，通过注册阶段记录转速及初始布面信息，将分割后的目标与初始布面信息对比、换算得到缺陷目标位置。
4.但方式1)中红外激光的方式稳定性差，由于纬编生产环境中漂浮棉絮较多，容易遮挡接收器导致误识，导致频繁停机影响生产；方式2)中传统算法分割目标没有建立各帧中目标的时空关系，导致很难判断每一帧中的目标是否相同，进而导致目标识别的效果有很大局限性。


技术实现要素：

5.本发明提供一种目标识别方法、装置、电子设备及存储介质，用以解决现有技术中目标识别中传统算法适用性、易用性和识别效果差的缺陷。
6.本发明提供一种目标识别方法，包括：
7.确定监测图像序列，对所述监测图像序列中的各帧图像进行目标识别，得到所述各帧图像中的检测目标的目标位置；
8.基于所述监测图像序列中连续多帧图像中的各检测目标的目标位置，确定所述监测图像序列的轨迹集合；
9.将模板轨迹集合与所述监测图像序列的轨迹集合进行对比，得到目标识别结果，所述模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
10.根据本发明提供的一种目标识别方法，所述基于所述监测图像序列中连续多帧图像中的各检测目标的目标位置，确定所述监测图像序列的轨迹集合，包括：
11.基于所述监测图像序列中当前帧图像中的检测目标的目标位置，所述轨迹集合中各轨迹中尾点目标的目标位置，以及各轨迹中尾点目标所在帧图像与所述当前帧图像间的间隔帧数，对所述当前帧图像中的检测目标进行轨迹匹配；
12.将匹配成功的检测目标加入对应轨迹中，基于匹配失败的检测目标构建新轨迹，将所述当前帧图像的下一帧图像更新为当前帧图像。
13.根据本发明提供的一种目标识别方法，所述基于所述监测图像序列中当前帧图像中的检测目标的目标位置，所述轨迹集合中各轨迹中尾点目标的目标位置，以及各轨迹中尾点目标所在帧图像与所述当前帧图像间的间隔帧数，对所述当前帧图像中的检测目标进
行轨迹匹配，包括：
14.基于所述监测图像序列中当前帧图像中的检测目标的目标位置，所述轨迹集合中各轨迹中尾点目标的目标位置，各轨迹中尾点目标所在帧图像与所述当前帧图像间的间隔帧数，以及所述轨迹集合中各轨迹的延伸方向，对所述当前帧图像中的检测目标进行轨迹匹配；所述延伸方向基于对应轨迹中各目标的先后顺序和位置关系确定。
15.根据本发明提供的一种目标识别方法，所述基于所述监测图像序列中当前帧图像中的检测目标的目标位置，所述轨迹集合中各轨迹中尾点目标的目标位置，各轨迹中尾点目标所在帧图像与所述当前帧图像间的间隔帧数，以及所述轨迹的延伸方向，对所述当前帧图像中的检测目标进行轨迹匹配，包括：
16.基于所述当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定所述当前帧图像中检测目标的位置匹配结果；
17.基于所述当前帧图像中检测目标的目标位置中的中心位置，确定所述当前帧图像中检测目标与各轨迹中尾点的预估延伸方向，基于各轨迹的延伸方向和所述预估延伸方向，确定轨迹一致性状态；
18.基于所述当前帧图像和各轨迹中尾点目标所在帧图像的间隔帧数，确定时间连续性状态；
19.基于所述位置匹配结果、所述轨迹一致性状态和所述时间连续性状态，对所述当前帧图像中的检测目标进行轨迹匹配。
20.根据本发明提供的一种目标识别方法，所述基于所述当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定所述当前帧图像中检测目标的位置匹配结果，包括：
21.基于所述当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定所述当前帧图像中检测目标和各轨迹中尾点目标的高度交并比和宽度交并比；
22.基于所述当前帧图像中检测目标和各轨迹中尾点目标的高度交并比和宽度交并比，确定所述当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值；
23.基于所述当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值，确定所述位置匹配结果。
24.根据本发明提供的一种目标识别方法，所述将模板轨迹集合与所述监测图像序列的轨迹集合进行对比，得到目标识别结果，包括：
25.将所述监测图像序列的轨迹集合中的任一轨迹和所述模板轨迹集合中的各轨迹分别进行交并比计算，得到所述任一轨迹和所述模板轨迹集合中的各轨迹的匹配损失值；
26.基于所述监测图像序列的轨迹集合中的各轨迹和所述模板轨迹集合中的各轨迹的匹配损失值，确定未匹配成功的轨迹的个数作为所述目标识别结果。
27.根据本发明提供的一种目标识别方法，所述模板轨迹集合基于如下步骤确定：
28.确定多组初始图像序列；
29.基于所述多组初始图像序列中任一初始图像序列中连续多帧图像中的各检测目标的目标位置，确定所述任一初始图像序列的轨迹集合；
30.对所述多组初始图像序列中的各初始图像序列的轨迹集合中的各轨迹两两计算
交并比，得到各轨迹两两之间的匹配值；
31.基于各轨迹两两之间的匹配值和预设阈值，确定所述模板轨迹集合。
32.本发明还提供一种目标识别装置，包括：
33.确定模块，用于确定监测图像序列，对所述监测图像序列中的各帧图像进行目标识别，得到所述各帧图像中的检测目标的目标位置；
34.轨迹生成模块，用于基于所述监测图像序列中连续多帧图像中的各检测目标的目标位置，确定所述监测图像序列的轨迹集合；
35.识别模块，用于将模板轨迹集合与所述监测图像序列的轨迹集合进行对比，得到目标识别结果，所述模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
36.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标识别方法的步骤。
37.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标识别方法的步骤。
38.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标识别方法的步骤。
39.本发明提供一种目标识别方法、装置、电子设备及存储介质，通过对实时的监测图像序列中的各检测目标生成轨迹集合，再与初始生成的模板轨迹集合进行对比，得到目标识别结果，实现了对监测物体的检测目标轨迹与模板轨迹的动态对比识别，提升了判断各检测目标是否在实际中为同一检测目标的准确度，进而提升了对于多检测目标进行识别的可靠性和准确性。
附图说明
40.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明提供的目标识别方法的流程示意图；
42.图2是本发明提供的轨迹集合生成方法的流程示意图；
43.图3是本发明提供的轨迹匹配方法的流程示意图；
44.图4是本发明提供的位置匹配方法的流程示意图；
45.图5是本发明提供的获取目标识别结果方法的流程示意图；
46.图6是本发明提供的获取模板集合方法的流程示意图；
47.图7是本发明提供的待监控物体旋转的俯视示意图；
48.图8是本发明提供的模板轨迹集合生成阶段示意图；
49.图9是本发明提供的目标检测器的结构示意图；
50.图10是本发明提供的帧间匹配器处理流程示意图；
51.图11是本发明提供的监测图像序列中目标识别阶段示意图；
52.图12本发明提供的目标识别装置的结构示意图；
53.图13是本发明提供的电子设备的结构示意图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.目前通过传统算法分割目标需要提前对织机转速进行评估，并存储布面初始状态信息，一旦转速发生变化，则要求重新校准，否则在织机转速的改变后，进行两帧图像中的检测目标对比时，会使用改变前的织机转速进行换算，因此出现两帧图像中的实际相同的检测目标被判别成两个检测目标，或者出现两帧图像中的实际不同的检测目标被判别成同一个检测目标，导致识别结果错误；同时，传统算法并没有构建多帧图像中的检测目标之间的时空关系，导致只能根据预先评估的织机转速来进行检测目标是否为同一检测目标的识别，导致很难判断每一帧中的检测目标是否相同，例如：若存在两帧图像中各有一个检测目标且实际中不是同一个检测目标，但两个检测目标在两帧图像中的位置接近或者相同，这样传统算法则会判断成同一个检测目标，出现识别错误，可见传统算法的检测目标的识别效果有很大局限性。
56.因此，如何提升检测目标的识别效果是本领域亟待解决的技术问题。
57.针对上述情况，本发明实施例提供了一种目标识别方法，图1是本发明提供的目标识别方法的流程示意图。如图1所示，该方法包括：
58.步骤110，确定监测图像序列，对监测图像序列中的各帧图像进行目标识别，得到各帧图像中的检测目标的目标位置；
59.具体地，步骤110中根据输入的监测图像序列，对监测图像序列中的每一帧图像分别进行目标识别，得到每一帧图像中的检测目标的目标位置。
60.需要说明的是，监测图像序列为同一方向的连续帧且尺寸相同的图像序列，其中每一帧图像可以包含有不同角度的整个被监测物体，此处的被监测物体可以是织机上的布面，也可以是其他周期旋转的物体，被监测物体每转一周则生成一组监测图像序列。在对织机布面进行监测时，目标识别所得的检测目标可以是断针引起的白色区域，乱针引起的暗色区域或者起始标线区域等。每一帧图像中的检测目标的目标位置可以示为检测目标的检出框的中心位置在该图像中的坐标值和检出框在该图像中的长宽，其中，检出框可以为检测目标的外接矩形。
61.步骤120，基于监测图像序列中连续多帧图像中的各检测目标的目标位置，确定监测图像序列的轨迹集合；
62.步骤130，将模板轨迹集合与监测图像序列的轨迹集合进行对比，得到目标识别结果，模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
63.在监测图像序列中不同的两帧图像中可能会存在有实际不同的两个检测目标，出现在两帧图像的同一个坐标位置或者相近的坐标位置的情况，而上述情况极易导致误判。而考虑到图像序列中连续拍摄的多帧图像中，如果存在被监测到的一个检测目标，则在连
续多帧图像中，该检测目标均是存在的，且在连续多帧图像中该检测目标的位置均是比较接近的。可见，上述情况中存在的误判的情况，必然是由于选择的两帧图像在拍摄时间上相差较远导致。可见，在被监测物体旋转的时候，实际中被检测物体上邻近的不同的检测目标，其在被监测物体旋转一周所产生的监测图像序列中的轨迹必然不相同。因此，本发明实施例基于初始图像序列和监测图像序列中的各检测目标进行轨迹检测。
64.具体地，在启动对被监测物体的监测操作后，通过初期由拍摄设备采集到的初始图像序列，对初始图像序列中的各检测目标的目标位置进行识别，并依据初始图像序列连续帧图像中的各检测目标的目标位置进行轨迹匹配，得到模板轨迹集合；在得到模板轨迹集合之后，对实施拍摄设备采集到的监测图像序列中的各检测目标的目标位置进行识别，并依据监测图像序列连续帧图像中各检测目标的目标位置进行轨迹匹配，得到监测图像序列的轨迹集合；最后将监测图像序列的轨迹集合和模板轨迹集合进行对比，得到目标识别结果。
65.需要说明的是，初始图像序列连续帧图像中的各检测目标的目标位置以及监测图像序列连续帧图像中各检测目标的目标位置所进行的轨迹检测都是指的是，图像序列中每一帧图像中的各检测目标的目标位置只会和与该帧邻近(预设帧数内)的连续帧中各帧图像中的检测目标的目标位置进行轨迹匹配，若该帧前后超过预设帧数的图像序列中的其他图像，则认为与该帧图像中的各检测目标不是实际相同的检测目标，其中，轨迹匹配可以是当前检测目标与其所在的帧图像邻近的连续帧中的各帧图像中的各目标位置进行轨迹匹配，还可以是根据轨迹集合中的各轨迹尾点目标的目标位置进行轨迹匹配，本发明实施例对此不作限制。初始图像序列可以是一组图像序列，还可以多组图像序列，如果初始图像序列中是多组图像序列，则模板轨迹集合可以是通过各组图像序列所生成的轨迹集合进行合并得到的，本发明实施例对此不作限制。
66.监测图像序列的轨迹集合和模板轨迹集合进行对比可以是监测图像序列的轨迹集合和模板轨迹集合的轨迹数量进行对比，以轨迹数量是否相同作为目标识别结果，还可以是监测图像序列的轨迹集合中的各轨迹和模板轨迹集合中的各轨迹进行检测目标相似性匹配，以轨迹没有匹配成功的检测目标的数量作为目标识别结果，本发明实施例对此不作限制。目标识别结果是判断被监测物体是否产生了新的检测目标，即判断是否产生了异常检测目标。
67.本发明实施例提供的目标识别方法，通过对实时的监测图像序列中的各检测目标生成轨迹集合，再与初始生成的模板轨迹集合进行对比，得到目标识别结果，实现了对监测物体的检测目标轨迹与模板轨迹的动态对比识别，提升了判断各检测目标是否在实际中为同一检测目标的准确度，进而提升了对于多检测目标进行识别的可靠性和准确性。
68.特别地，在将上述目标识别方法应用于次布检测时，可以将布面的异常区域作为检测目标，通过监测图像序列的轨迹集合和模板轨迹集合的对比识别所得的未匹配成功的轨迹数量的变化情况，判断是否存在新增的异常区域，从而及时中断织机的异常运转。
69.基于上述实施例，图2是本发明提供的轨迹集合生成方法的流程示意图。如图2所示，步骤120包括：
70.步骤121，基于监测图像序列中当前帧图像中的检测目标的目标位置，轨迹集合中各轨迹中尾点目标的目标位置，以及各轨迹中尾点目标所在帧图像与当前帧图像间的间隔
帧数，对当前帧图像中的检测目标进行轨迹匹配；
71.步骤122，将匹配成功的检测目标加入对应轨迹中，基于匹配失败的检测目标构建新轨迹，将当前帧图像的下一帧图像更新为当前帧图像。
72.考虑到如果将当前检测目标与其所在的帧图像邻近的连续帧中的各帧图像中的各目标位置进行轨迹匹配，则会产生多次轨迹匹配，导致确定轨迹集合的效率变低，同时轨迹集合中各轨迹均为其对应的同一目标的轨迹，因此，本发明实施例将当前检测目标与轨迹集合中各轨迹的尾点目标进行轨迹匹配。
73.同时考虑到前文所述的因时间相距较远的两帧图像中可能会产生误判的情况，因此，本发明实施在轨迹匹配时增加了各轨迹尾点目标所在图像与当前检测目标所在帧图像之间的间隔帧数的判断。
74.具体地，根据监测图像序列中各帧图像的顺序依次遍历每一帧图像中各检测目标，遍历过程中，通过轨迹集合中的各轨迹的尾点目标的目标位置，结合各轨迹中尾点目标所在帧图像与当前帧图像间的间隔帧数，对当前帧图像中的检测目标进行轨迹匹配，若匹配成功了，则将该检测目标加入到对应的轨迹中，作为该轨迹的新的尾点目标，若匹配失败，则将该检测目标作为新的轨迹加入到轨迹集合中。此外在对当前帧图像中的检测目标进行轨迹匹配时，如果轨迹集合为空集合，则直接将该检测目标作为新的轨迹加入到轨迹集合中。在上述操作执行完成之后，将当前帧的下一帧图像作为当前帧图像，并进行后续遍历操作，直至监测图像序列中的每一帧图像的轨迹匹配操作完成，则遍历结束，得到监测图像序列的轨迹集合。其中，间隔帧数是预先设置。
75.需要说明的是，轨迹集合中各轨迹存储的各目标可以示为各检测目标的检出框的信息。对当前帧图像中的检测目标进行轨迹匹配在当前帧图像和各轨迹尾点目标所在帧图像间的间隔帧数满足预设帧数条件时，可以通过当前帧图像中的检测目标的目标位置中的中心点的横纵坐标与轨迹集合中各轨迹尾点目标的位置的中心点的横纵坐标对应的横纵偏移量，以及当前帧图像中的检测目标的目标位置中的中心点和轨迹集合中各轨迹尾点目标的位置的中心点的距离进行轨迹匹配，还可以通过当前帧图像中的检测目标和轨迹集合中各轨迹尾点目标的重叠区域(交并比)进行轨迹匹配，本发明实施例对此不作限制；在当前帧图像和各轨迹尾点目标所在帧图像间的间隔帧数不满足预设帧数条件时，直接将该检测目标作为新的轨迹加入到轨迹集合中。
76.基于上述实施例，步骤121包括：
77.基于监测图像序列中当前帧图像中的检测目标的目标位置，轨迹集合中各轨迹中尾点目标的目标位置，各轨迹中尾点目标所在帧图像与当前帧图像间的间隔帧数，以及轨迹集合中各轨迹的延伸方向，对当前帧图像中的检测目标进行轨迹匹配；延伸方向基于对应轨迹中各目标的先后顺序和位置关系确定。
78.考虑到监测图像序列被监测物体的旋转方向是固定的，即可以知道监测图像序列中实际为同一检测目标的轨迹必然为沿着一个方向延伸，因此，本发明实施例在进行对当前帧图像中的检测目标进行轨迹匹配时，加入轨迹延伸方向的判断。
79.具体地，将遍历的当前帧图像中的检测目标分别和轨迹集合中的各轨迹的尾点目标的目标位置，结合各轨迹中尾点目标所在帧图像与当前帧图像间的间隔帧数和各轨迹的延伸方向，对当前帧图像中的检测目标进行轨迹匹配。
80.需要说明的是，各轨迹的延伸方向是根据各轨迹中各目标所在帧图像的先后顺序，以及各目标的位置关系确定的。例如，根据图像是以左上角点为原点，其横坐标往右逐渐变大，若被监测物体是沿中心轴顺时针旋转，其中心轴与水平面垂直，则监测图像序列中的同一检测目标在后一帧中的目标位置中心点的横坐标必然大于前一帧中的目标位置中心点的横坐标，此时该目标的轨迹的延伸方向是向右的。
81.基于上述实施例，图3是本发明提供的轨迹匹配方法的流程示意图。如图3所示，步骤基于监测图像序列中当前帧图像中的检测目标的目标位置，轨迹集合中各轨迹中尾点目标的目标位置，各轨迹中尾点目标所在帧图像与当前帧图像间的间隔帧数，以及轨迹的延伸方向，对当前帧图像中的检测目标进行轨迹匹配，包括：
82.步骤310，基于当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定当前帧图像中检测目标的位置匹配结果；
83.具体地，根据当前帧图像中检测目标的目标位置中的宽高信息和轨迹集合中各轨迹中尾点目标的目标位置中的宽高信息，得到当前帧图像中检测目标和各轨迹中尾点目标的位置匹配结果。其中，宽高信息为检测目标检出框左上顶点纵坐标(y
top
)和右下顶点纵坐标(y
bottom
)表示检测目标的高信息，检测目标检出框左上地点横坐标(x
top
)和右下顶点横坐标(x
bottom
)表示检测目标的宽信息。
84.需要说明的是，确定当前帧图像中检测目标的位置匹配结果可以通过宽高信息计算当前帧图像中检测目标面积和轨迹集合中各轨迹中尾点目标面积的交并比，并基于和各得到轨迹中尾点目标面积的交并比进行分类得到；还可以是通过宽高信息计算当前帧图像中检测目标和轨迹集合中各轨迹中尾点目标宽的交并比和高的交并比，并基于和各得到轨迹中尾点目标宽的交并比和高的交并比进行分类得到，本发明实施例对此不作限制。
85.步骤320，基于当前帧图像中检测目标的目标位置中的中心位置，确定当前帧图像中检测目标与各轨迹中尾点的预估延伸方向，基于各轨迹的延伸方向和预估延伸方向，确定轨迹一致性状态；
86.具体地，将当前帧图像中检测目标的目标位置中的中心点的坐标和轨迹集合中各轨迹中尾点目标的目标位置中的中心点的坐标的相对位置确定各轨迹尾点目标到当前帧图像中监测目标的预估延伸方向，并将各轨迹尾点目标到当前帧图像中监测目标的预估延伸方向与各轨迹的延伸方向进行比较，确定当前帧图像中监测目标与各轨迹的轨迹一致性状态。需要说明的是，如果预估延伸方向和轨迹延伸方向相同，则轨迹一致性状态表示一致，否则轨迹一致性状态表示不一致。
87.步骤330，基于当前帧图像和各轨迹中尾点目标所在帧图像的间隔帧数，确定时间连续性状态；
88.具体地，根据当前帧图像和各轨迹中尾点目标所在帧图像的间隔帧数是否满足预设帧数条件，确定当前帧图像和各轨迹中尾点目标的时间连续性状态。需要说明的是，时间连续性状态可以为间隔帧数小于预设帧数，则表示状态连续，否则状态不连续。
89.此处，步骤310、步骤320和步骤330可以以并行的方式执行，也可以以先后执行顺序的方式执行，本发明实施例对此不作限制。
90.步骤340，基于位置匹配结果、轨迹一致性状态和时间连续性状态，对当前帧图像中的检测目标进行轨迹匹配。
91.需要说明的是，对当前帧图像中的检测目标进行轨迹匹配可以先将当前帧图像中的检测目标和轨迹集合中各轨迹的尾点目标进行位置匹配，若位置匹配结果是匹配成功，即当前帧图像中的检测目标属于轨迹集合中的已存在的轨迹中的一条，则再进行轨迹一致性状态和时间连续性状态的判断；还可以先进行轨迹一致性状态和时间连续性状态的判断，若判断轨迹一致性状态为一致并且时间连续性状态为连续，则当前帧图像中的检测目标与判断结果中的各轨迹的尾点目标进行位置匹配，本发明实施例对此不作限制。
92.基于上述实施例，图4是本发明提供的位置匹配方法的流程示意图。如图4所示，步骤310包括：
93.步骤311，基于当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定当前帧图像中检测目标和各轨迹中尾点目标的高度交并比和宽度交并比；
94.具体地，将当前帧图像中检测目标的目标位置中的宽信息和轨迹中尾点目标的目标位置信息中的宽信息进行宽度交并比计算，将当前帧图像中检测目标的目标位置中的高信息和轨迹中尾点目标的目标位置信息中的高信息进行高度度交并比计算，具体的计算公式为：
[0095][0096][0097][0098][0099]
式中，i表示当前帧中的第i个检测目标，j表示轨迹集合中第j个轨迹的尾点目标，为当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标的高度交并比，为当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标的宽度交并比，为当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标高的交集部分的长度，可以为负数，当为负数时表示没有交集，为当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标宽的交集部分的长度，可以为负数，当为负数时表示没有交集，表示当前帧中的第i个检测目标的检出框的右下顶点坐标，表示当前帧中的第i个检测目标的检出框的左上顶点坐标，表示轨迹集合中第j个轨迹的尾点目标的检出框的右下顶点坐标，表示轨迹集合中第j个轨迹的尾点目标的检出框的左上顶点坐标。
[0100]
步骤312，基于当前帧图像中检测目标和各轨迹中尾点目标的高度交并比和宽度
交并比，确定当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值；
[0101]
需要说明的是，基于步骤310中的公式，当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值的计算公式如下：
[0102][0103][0104][0105]
式中，λ为权重值，取值在0-1之间，cost
i,j
表示当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标的匹配损失值。
[0106]
步骤313，基于当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值，确定位置匹配结果。
[0107]
需要说明的是，根据步骤312中得到的当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值，确定位置匹配结果可以通过当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值进行排序，在取最小值作为最匹配轨迹得到，还可以通过将当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值输入到匹配分类算法中，例如：匈牙利算法，得到匹配算法输出的位置匹配结果，本发明实施例对此不作限制。
[0108]
基于上述实施例，图5是本发明提供的获取目标识别结果方法的流程示意图。如图5所示，步骤130包括：
[0109]
步骤131，将监测图像序列的轨迹集合中的任一轨迹和模板轨迹集合中的各轨迹分别进行交并比计算，得到该轨迹和模板轨迹集合中的各轨迹的匹配损失值；
[0110]
具体地，首先监测图像序列的轨迹集合中各轨迹以及模板轨迹集合中的各轨迹进行统一化对齐，使得监测图像序列的轨迹集合中各轨迹以及模板轨迹集合中的各轨迹中的目标数量相同，然后将监测图像序列的轨迹集合中对齐后的每一个轨迹分别和模板轨迹集合中的各轨迹进行交并比计算，得到该轨迹和模板轨迹集合中的各轨迹的匹配损失值，其中，匹配损失值表示两条轨迹的重叠程度，值在0至1之间，匹配损失值越接近于0，则两条轨迹的重叠程度越高。该轨迹与模板轨迹集合中的一条轨迹进行交并比计算是通过如下方式：
[0111]
先对该对齐轨迹中每一个目标和该条模板轨迹集合中的轨迹中索引位置相同的目标进行交并比计算，得到该目标的匹配损失值，再将该轨迹中各目标的匹配损失值求平均，得到了该轨迹与该条模板轨迹集合中的轨迹的匹配损失值。
[0112]
步骤132，基于监测图像序列的轨迹集合中的各轨迹和模板轨迹集合中的各轨迹的匹配损失值，确定未匹配成功的轨迹的个数作为目标识别结果。
[0113]
具体地，将监测图像序列的轨迹集合中的各轨迹和模板轨迹集合中的各轨迹的匹配损失值输入到匹配分类算法中，例如：匈牙利算法，得到匹配分类算法输出的匹配结果，并将匹配结果中未匹配成功的轨迹个数作为识别结果。
[0114]
基于上述实施例，图6是本发明提供的获取模板集合方法的流程示意图。如图6所示，步骤130中的模板轨迹集合是基于如下步骤确定的：
[0115]
步骤610，确定多组初始图像序列；
[0116]
步骤620，基于多组初始图像序列中任一初始图像序列中连续多帧图像中的各检测目标的目标位置，确定任一初始图像序列的轨迹集合；
[0117]
考虑到多组初始图像序列，能够得到更为全面且准确的模板轨迹集合。因此，本发明实施例通过多组初始图像序列来生成模板轨迹集合。
[0118]
具体地，将多组初始图像序列中的每一组初始图像序列分别生成轨迹集合，生成轨迹集合的方式是通过上述任一种轨迹集合生成方法进行生成，得到多组初始图像序列对应的多组轨迹集合。
[0119]
步骤630，对多组初始图像序列中的各初始图像序列的轨迹集合中的各轨迹两两计算交并比，得到各轨迹两两之间的匹配值；
[0120]
具体地，将步骤620中得到的多组轨迹集合中的各轨迹进行统一化对齐，使得多组轨迹集合中的各轨迹中的目标个数相同，再将每一组轨迹集合中的各轨迹与其他组轨迹集合中的各轨迹进行两两交并比计算，得到各轨迹两两之间的匹配值。其中，上述每两条轨迹进行交并比计算是通过如下方式：
[0121]
先对两条轨迹中的一条轨迹中的每一个目标和另一条轨迹中索引位置相同的目标进行交并比计算，得到该目标的匹配值，再将该对齐轨迹中各目标的匹配值求平均，得到了两条轨迹的匹配值。
[0122]
步骤640，基于各轨迹两两之间的匹配值和预设阈值，确定模板轨迹集合。
[0123]
具体地，两条轨迹的匹配值若大于预设阈值，则通过匹配值计算匹配损失值，将各轨迹两两之间的匹配损失值输入到匹配分类算法中，例如：匈牙利算法，得到匹配分类算法输出的匹配结果，匹配结果中若两条轨迹为相同的轨迹，则对两条轨迹进行融合，以此规则，确定得到模板轨迹集合。
[0124]
基于上述实施例，本发明实施例还提供一种目标识别方法，该方法以织机为例，但并不限制其他类似场景，该方法分为两个阶段：第一阶段为生成模板轨迹集合阶段和第二阶段为监测图像序列中目标识别阶段。
[0125]
其中，两个阶段中的多组初始图像序列和监测图像序列来自织机监控摄像头。织布机旋转一圈，布面旋转一周，通过摄像头捕获得到一个周期的图像帧序列，即一组初始图像序列或者监测图像序列。序列中的每一帧捕捉的是织机旋转到每个不同角度时的外观形态，也即不同观察角度下局部布面状态。完整的一周期图像序列，对应记录了整个布面的状态。图7是本发明提供的待监控物体旋转的俯视示意图。如图7所示，外框为待监控物体的表面，该表面上刻有起始标记，箭头方向为待监控物体的旋转方向，三角形为摄像头，三角形顶点的两条虚线箭头为摄像头可以拍摄到的最大角度。
[0126]
图8是本发明提供的模板轨迹集合生成阶段示意图。如图8所示，第一阶段(生成模板轨迹集合阶段)：
[0127]
连续k个周期的初始图像序列分别送入目标检测器，目标检测器主要负责提取每一组初始图像序列中各帧图像中的检测目标，生成识别结果，即模板轨迹集合，图9是本发明提供的目标检测器的结构示意图。如图9所示，该目标检测器由编码器、定位识别器、帧间匹配器组成。
[0128]
其中，
[0129]
编码器由多层卷积组成，用于提取帧图像特征，输出指定维数的表征图；定位识别器由多层卷积和全连接层组成，用于输出当前帧的检测目标的目标位置及类别，即检出框中心横坐标x和纵坐标y、目标所在区域的宽w和高h，类别c；帧间匹配器由带权重匈牙利算法构成，用于对各帧的检出结果进行串联匹配，以剔除虚警，识别出真正的目标。
[0130]
图10是本发明提供的帧间匹配器处理流程示意图。如图10所示，帧间匹配器的处理流程：首先，初始化轨迹集合(为空)，其中，轨迹集合用于记录存在时空连续性的各检测目标的检出框信息，每个轨迹为成功匹配串联的一系列检出框。然后，逐帧将结果与轨迹集合进行比较，如果轨迹集合为空，则将当前帧的当前检测目标的检出框作为新的轨迹，更新到轨迹集合中；如果轨迹集合非空，则将当前帧的检测目标的目标位置(检出框信息)与轨迹集合中每个轨迹的尾点目标的目标位置一一计算匹配损失值，而后通过匈牙利算法输出位置匹配结果，并且对该位置匹配结果做进一步限制，以剔除那些时空上相距较远的匹配的结果：通过时间连续性状态剔除匹配结果，包括要求匹配前后的帧差不超过3帧，即最多允许丢失3帧；通过空间连续性(轨迹一致性状态)，包括当前帧的检出目标的目标位置中的中心应该随着布面转动向同一方向移动，当逆时针旋转，则新的检出中心位置应该大于前一刻检出中心位置。以时间连续性状态和轨迹一致性状态作为门限值，在位置匹配的同时门限值为真则视为匹配成功，将当前检测目标的检出框拼接到对应轨迹上，以更新轨迹，若匹配不成功，当前检测目标的检出框作为新的轨迹，更新到轨迹集合中。最后根据轨迹长度(轨迹中的目标个数)删除小于特定阈值的轨迹，如设置为5，仅保留识别持续时间较长的轨迹，输出当前初始图像序列的轨迹集合，该轨迹集合中轨迹个数表示有效目标个数。其中匹配损失值通过如下公式计算得到：
[0131][0132][0133][0134][0135][0136][0137]
式中，
[0138]
i表示当前帧中的第i个检测目标，j表示轨迹集合中第j个轨迹的尾点目标，为当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标高的交
集部分的长度，可以为负数，当为负数时表示没有交集，为当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标宽的交集部分的长度，可以为负数，当为负数时表示没有交集，表示当前帧中的第i个检测目标的检出框的右下顶点坐标，表示当前帧中的第i个检测目标的检出框的左上顶点坐标，表示轨迹集合中第j个轨迹的尾点目标的检出框的右下顶点坐标，表示轨迹集合中第j个轨迹的尾点目标的检出框的左上顶点坐标，表示当前帧中的第i个检测目标的目标位置中的中心点的横坐标，表示轨迹集合中第j个轨迹的尾点目标的目标位置中的中心点的横坐标，ti表示当前帧中的第i个检测目标所在帧图像在图像序列中的索引位置；tj表示轨迹集合中第j个轨迹的尾点目标所在帧图像在图像序列中的索引位置，λ为权重值，取值在0-1之间，cost
i,j
表示当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标的匹配损失值，gate
i,j
表示当前帧中的第i个检测目标和轨迹集合中第j个轨迹的尾点目标的门限值。
[0139]
在得到多组初始图像序列对应的多组轨迹集合之后，对多组轨迹集合进行时间间隔标准化处理，以对齐不等长序列，完成结果融合，得到模板轨迹集合。考虑各圈初始图像序列起始位置相同，且均为织布机转动一周的等间隔采样，t帧表示t个间隔，在时间维度上统一标准化对齐至120个间隔，利用线性插值补全缺失的间隔的识别结果，具体：先将每一组轨迹集合按照检出框的四个顶点分成4个点集，即左上、左下、右上、右下，每个点集由一系列二维数据点组成，如{[t1,x1],[t2,x2],[t3,x3],
…
}
left_top
，[ti,xi]中ti表示检出框在第i帧，xi表示轨迹中该检出框的左上顶点坐标，i为自然数，新的间隔点通过线性插值求出，若一组轨迹集合中包含n个目标，则标准化处理后仍有n个目标；之后将对标准化处理的各圈轨迹集合逐间隔取检出区域的并集，生成融合识别结果，即模板轨迹集合。融合时对应区域存在较大重叠，即区域交并比大于0.8，则视为同一目标，否则为新的目标，因此融合后的识别结果中最多包含m个目标，m＝max{n1,n2,n3,
…
}，n为各周期的识别目标个数。
[0140]
图11是本发明提供的监测图像序列中目标识别阶段示意图。如图11所示，第二阶段(监测图像序列中目标识别阶段)：
[0141]
将当前待查询的一周期的监测图像序列送入目标检测器提取轨迹集合，过程与第一阶段生成模板轨迹集合阶段的逐圈处理相同。该轨迹集合经过上述的时间间隔标准化处理，与模板轨迹集合中的空间对齐，最后将对齐后的轨迹集合中的轨迹与模板轨迹集合中的轨迹一一计算匹配值和匹配损失值，利用匈牙利算法完成目标匹配，同时通过门限值对重叠比(即匹配值)较低、不可能为一组的匹配结果进行过滤，得到目标识别结果。其中，匹配值采用dice指标，即3d区域的交并比，具体公式如下：
[0142]
cost
i,j
＝1-dice
i,j
[0143][0144]
式中，
[0145]
i表示监测图像序列的轨迹集合中的第i个轨迹，j表示模板轨迹集合中第j个轨
迹，cost
i,j
表示监测图像序列的轨迹集合中的第i个轨迹和模板轨迹集合中第j个轨迹的匹配损失值，dice
i,j
表示监测图像序列的轨迹集合中的第i个轨迹和模板轨迹集合中第j个轨迹的匹配值，gate
i,j
表示监测图像序列的轨迹集合中的第i个轨迹和模板轨迹集合中第j个轨迹的门限值。
[0146]
目标识别结果中未匹配成功的目标个数决定布面状态，即有无缺陷的识别结果。若剩余未匹配成功的目标个数大于0，则输出“布面缺陷”标签，否则输出“布面正常”标签。
[0147]
需要说明的是，目标检测器包含可学习参数，其编码器和定位识别器的迭代训练过程包括：识别定位损失函数由回归位置均方误差损失叠加分类交叉熵损失组成，通过前向传播得到输出后根据组合损失函数计算梯度，进行反馈训练，迭代至收敛。
[0148]
训练结束后的前向测试为：即上述第二阶段(监测图像序列中目标识别阶段)。
[0149]
下面对本发明提供的目标识别装置进行描述，下文描述的目标识别装置与上文描述的目标识别方法可相互对应参照。
[0150]
图12本发明提供的目标识别装置的结构示意图。如图12所示，该语音交互装置，包括：确定模块1210、轨迹生成模块1220和识别模块1230。
[0151]
其中，
[0152]
确定模块1210，用于确定监测图像序列，对监测图像序列中的各帧图像进行目标识别，得到各帧图像中的检测目标的目标位置；
[0153]
轨迹生成模块1220，用于基于监测图像序列中连续多帧图像中的各检测目标的目标位置，确定监测图像序列的轨迹集合；
[0154]
识别模块1230，用于将模板轨迹集合与监测图像序列的轨迹集合进行对比，得到目标识别结果，模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
[0155]
在本发明实施例中，通过确定模块1210，用于确定监测图像序列，对监测图像序列中的各帧图像进行目标识别，得到各帧图像中的检测目标的目标位置；轨迹生成模块1220，用于基于监测图像序列中连续多帧图像中的各检测目标的目标位置，确定监测图像序列的轨迹集合；识别模块1230，用于将模板轨迹集合与监测图像序列的轨迹集合进行对比，得到目标识别结果，模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定，实现了对监测物体的检测目标轨迹与模板轨迹的动态对比识别，提升了对各检测目标检测的准确度，进而提升检测目标的识别效果。
[0156]
基于上述任一实施例，轨迹生成模块1220包括：
[0157]
轨迹匹配子模块：用于基于监测图像序列中当前帧图像中的检测目标的目标位置，轨迹集合中各轨迹中尾点目标的目标位置，以及各轨迹中尾点目标所在帧图像与当前帧图像间的间隔帧数，对当前帧图像中的检测目标进行轨迹匹配；
[0158]
判断子模块，用于将匹配成功的检测目标加入对应轨迹中，基于匹配失败的检测目标构建新轨迹，将当前帧图像的下一帧图像更新为当前帧图像。
[0159]
基于上述任一实施例，轨迹匹配子模块，还用于基于监测图像序列中当前帧图像中的检测目标的目标位置，轨迹集合中各轨迹中尾点目标的目标位置，各轨迹中尾点目标所在帧图像与当前帧图像间的间隔帧数，以及轨迹集合中各轨迹的延伸方向，对当前帧图像中的检测目标进行轨迹匹配；延伸方向基于对应轨迹中各目标的先后顺序和位置关系确
定。
[0160]
基于上述任一实施例，轨迹匹配子模块包括：
[0161]
位置匹配子模块，用于基于当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定当前帧图像中检测目标的位置匹配结果；
[0162]
一致性判断子模块，用于基于当前帧图像中检测目标的目标位置中的中心位置，确定当前帧图像中检测目标与各轨迹中尾点的预估延伸方向，基于各轨迹的延伸方向和预估延伸方向，确定轨迹一致性状态；
[0163]
连续性判断子模块，用于基于当前帧图像和各轨迹中尾点目标所在帧图像的间隔帧数，确定时间连续性状态；
[0164]
当前检测目标轨迹匹配子模块，用于基于位置匹配结果、轨迹一致性状态和时间连续性状态，对当前帧图像中的检测目标进行轨迹匹配。
[0165]
基于上述任一实施例，位置匹配子模块包括：
[0166]
宽高交并比计算子模块，用于基于当前帧图像中检测目标的目标位置中的宽高信息和各轨迹中尾点目标的目标位置信息中的宽高信息，确定当前帧图像中检测目标和各轨迹中尾点目标的高度交并比和宽度交并比；
[0167]
匹配损失值计算子模块，用于基于当前帧图像中检测目标和各轨迹中尾点目标的高度交并比和宽度交并比，确定当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值；
[0168]
位置匹配结果计算子模块，用于基于当前帧图像中检测目标和各轨迹中尾点目标的匹配损失值，确定位置匹配结果。
[0169]
基于上述任一实施例，识别模块1230包括：
[0170]
轨迹匹配损失值计算子模块，用于将监测图像序列的轨迹集合中的任一轨迹和模板轨迹集合中的各轨迹分别进行交并比计算，得到该轨迹和模板轨迹集合中的各轨迹的匹配损失值；
[0171]
识别结果计算子模块，用于基于监测图像序列的轨迹集合中的各轨迹和模板轨迹集合中的各轨迹的匹配损失值，确定未匹配成功的轨迹的个数作为目标识别结果。
[0172]
基于上述任一实施例，识别模块1230还包括：
[0173]
确定初始图像序列子模块，用于确定多组初始图像序列；
[0174]
轨迹集合确定子模块，用于基于多组初始图像序列中任一初始图像序列中连续多帧图像中的各检测目标的目标位置，确定该初始图像序列的轨迹集合；
[0175]
匹配值计算子模块，用于对多组初始图像序列中的各初始图像序列的轨迹集合中的各轨迹两两计算交并比，得到各轨迹两两之间的匹配值；
[0176]
模板轨迹集合确定子模块，用于基于各轨迹两两之间的匹配值和预设阈值，确定模板轨迹集合。
[0177]
图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1310、通信接口(communications interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行目标识别方法，该
方法包括：确定监测图像序列，对监测图像序列中的各帧图像进行目标识别，得到各帧图像中的检测目标的目标位置；基于监测图像序列中连续多帧图像中的各检测目标的目标位置，确定监测图像序列的轨迹集合；将模板轨迹集合与监测图像序列的轨迹集合进行对比，得到目标识别结果，模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
[0178]
此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0179]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标识别方法，该方法包括：确定监测图像序列，对监测图像序列中的各帧图像进行目标识别，得到各帧图像中的检测目标的目标位置；基于监测图像序列中连续多帧图像中的各检测目标的目标位置，确定监测图像序列的轨迹集合；将模板轨迹集合与监测图像序列的轨迹集合进行对比，得到目标识别结果，模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
[0180]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标识别方法，该方法包括：确定监测图像序列，对监测图像序列中的各帧图像进行目标识别，得到各帧图像中的检测目标的目标位置；基于监测图像序列中连续多帧图像中的各检测目标的目标位置，确定监测图像序列的轨迹集合；将模板轨迹集合与监测图像序列的轨迹集合进行对比，得到目标识别结果，模板轨迹集合基于初始图像序列中连续多帧图像中的各初始目标的目标位置确定。
[0181]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0182]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0183]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。