数据处理方法、训练方法、装置、设备和介质与流程

1.本公开涉及人工智能领域或金融领域等，更具体地涉及一种数据 处理方法、训练方法、装置、设备、介质和程序产品。


背景技术：

2.在工作或日常生活等方面，有时需要对人们进行身份登记。例如 在会议参会人员的统计、社会或娱乐活动参与人员的统计、特定场地 进出入人员的登记、用户签到或学生考勤等场景，具有对相关人员进 行身份确认并登记的需求。相关技术中，可能会要求相关人员进行手 动登记，例如手写登记或通过手机进行打卡登记。还可能要求相关人 员进行人脸识别，以进行身份确认并登记。
3.在实现本公开构思的过程中，发明人发现现有技术中至少存在如 下问题：
4.无论手动登记还是人脸识别，用户容易遗忘。并且手动登记的方 式较为繁琐，而人脸识别的方式只能对用户的身份进行确认，无法确 认用户的行为状态。


技术实现要素：

5.鉴于上述问题，本公开提供了一种能够自动对用户的身份和行为 状态同时进行确认的数据处理方法、训练方法、装置、设备、介质和 程序产品。
6.本公开实施例的一个方面提供了一种数据处理方法，包括：获取 n个摄像头采集的m张图像，其中，所述m张图像中包括目标用户 的图像，n和m为大于或等于2的整数；将所述m张图像中每张图 像按照采集的时间序列输入至行人重识别模型；利用所述行人重识别 模型基于第一序列特征来确认目标用户的身份和行为状态，其中，所 述行人重识别模型将所述每张图像的特征基于所述时间序列进行特 征融合来获得所述第一序列特征。
7.根据本公开的实施例，所述n个摄像头设置在n个位置，所述 获取n个摄像头采集的m张图像包括：基于所述n个位置的空间信 息对所述n个摄像头进行编号，其中，每个所述编号对应所述n个 位置中的一个位置；按照所述编号的顺序，依次从所述n个摄像头 获取所述m张图像。
8.根据本公开的实施例，所述依次从所述n个摄像头获取所述m 张图像包括：获取对应第1编号的摄像头采集的第一图像，以及所述 第一图像的第一时间戳；令i的初始值为2，循环执行以下操作，直 至获取到对应第n编号的摄像头采集的图像，具体包括：获取对应 第i编号的摄像头在所述第一时间戳的预定时间段后采集的第二图像， 以及所述第二图像的第二时间戳；令所述第二时间戳作为新的所述第 一时间戳，并令i＝i 1。
9.根据本公开的实施例，每两个相邻编号的摄像头包括第一摄像头 和第二摄像头，所述方法还包括确定所述预定时间段，具体包括：对 所述每两个相邻编号的摄像头，从所述第一摄像头采集的图像中检 测出所述目标用户的图像，以及所述目标用户的移动状态；基于所述 第一摄像头和所述第二摄像头之间的空间信息，以及所述移动状态， 确定所述预定时间段。
10.根据本公开的实施例，所述行为状态包括第一签到状态和第二签 到状态，所述确认目标用户的身份和行为状态包括：在确认所述目标 用户的身份后，在基于所述第一序列特征确认所述目标用户沿第一轨 迹移动的情况下，确认所述目标用户为第一签到状态；或在基于所述 第一序列特征确认所述目标用户沿第二轨迹移动的情况下，确认所述 目标用户为第二签到状态。
11.根据本公开的实施例，所述行人重识别模型包括lstm网络， 其中，所述lstm网络为长短期记忆神经网络，所述行人重识别模 型将所述每张图像的特征基于所述时间序列进行特征融合来获得所 述第一序列特征包括：将所述每张图像的特征输入到所述lstm网 络；利用所述lstm网络按照所述时间序列，将所述每张图像的特 征进行时间递进的特征融合；基于所述lstm网络的输出获得所述 第一序列特征。
12.根据本公开的实施例，所述每张图像的特征包括所述目标用户的 第一图像特征，以及所述每张图像中所述目标用户的背景的第二图像 特征，在所述将所述每张图像的特征进行特征融合之前，包括：通过 所述lstm网络将所述每张图像的所述第一图像特征和所述第二图 像特征进行融合。
13.根据本公开的实施例，所述lstm网络包括第一lstm网络和 第二lstm网络，所述行人重识别模型通过如下方式训练获得，包 括：按照采集的时间序列获取第一用户的m张图像和第二用户的m 张图像，所述第一用户与所述第二用户相同或不同；利用所述第一 lstm网络，将所述第一用户的每张图像的特征基于时间序列进行时 间递进的特征融合，来获得第二序列特征；利用所述第二lstm网 络，将所述第二用户的每张图像的特征基于时间序列进行时间递进的 特征融合，来获得第三序列特征；基于所述第二序列特征和所述第三 序列特征构建损失函数来训练所述行人重识别模型。
14.根据本公开的实施例，所述行人重识别模型还包括cnn网络， 所述cnn网络为卷积神经网络，所述cnn网络包括第一cnn网络 和第二cnn网络，所述方法还包括：将所述第一用户的m张图像输 入至所述第一cnn网络，以获得所述第一用户的每张图像的特征； 将所述第二用户的m张图像输入至所述第二cnn网络，以获得所述 第二用户的每张图像的特征。
15.本公开实施例的另一方面提供了一种行人重识别模型的训练方 法，其中，所述行人重识别模型包括lstm网络，所述lstm网络 为长短期记忆神经网络，所述lstm网络包括第一lstm网络和第 二lstm网络，所述方法包括：按照采集的时间序列获取第一用户 的m张图像和第二用户的m张图像，所述第一用户与所述第二用户 相同或不同；利用所述第一lstm网络，将所述第一用户的每张图 像的特征基于时间序列进行时间递进的特征融合，来获得第二序列特 征；利用所述第二lstm网络，将所述第二用户的每张图像的特征 基于时间序列进行时间递进的特征融合，来获得第三序列特征；基于 所述第二序列特征和所述第三序列特征构建损失函数来训练所述行 人重识别模型。
16.本公开实施例的另一方面提供了一种数据处理装置，包括：第一 获取模块、图像输入模块和用户确认模块。第一获取模块用于获取n 个摄像头采集的m张图像，其中，所述m张图像中包括目标用户的 图像，n和m为大于或等于2的整数。所述图像输入模块用于将所 述m张图像中每张图像按照采集的时间序列输入至行人重识别模型。 所述用户确认模块用于利用所述行人重识别模型基于第一序列特征 来确认目标用户的身份和行为状态，其中，所述行人重识别模型将所 述每张图像的特征基于所述时间序列进行特征融合来获得所述
第一 序列特征。
17.本公开实施例的另一方面提供了一种行人重识别模型的训练装 置，其中，所述行人重识别模型包括lstm网络，所述lstm网络 为长短期记忆神经网络，所述lstm网络包括第一lstm网络和第 二lstm网络，所述装置包括第二获取模块、第一融合模块、第二 融合模块和模型训练模块。第二获取模块用于按照采集的时间序列获 取第一用户的m张图像和第二用户的m张图像，所述第一用户与所 述第二用户相同或不同。所述第一融合模块用于利用所述第一lstm 网络，将所述第一用户的每张图像的特征基于时间序列进行时间递进 的特征融合，来获得第二序列特征。所述第二融合模块用于利用所述 第二lstm网络，将所述第二用户的每张图像的特征基于时间序列 进行时间递进的特征融合，来获得第三序列特征。所述模型训练模块 用于基于所述第二序列特征和所述第三序列特征构建损失函数来训 练所述行人重识别模型。
18.本公开实施例的另一方面提供了一种电子设备，包括：一个或多 个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或 多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执 行如上所述的方法。
19.本公开实施例的另一方面还提供了一种计算机可读存储介质，其 上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述 的方法。
20.本公开实施例的另一方面还提供了一种计算机程序产品，包括计 算机程序，该计算机程序被处理器执行时实现如上所述的方法。
21.上述一个或多个实施例具有如下优点或有益效果：可以至少部分 地解决手动登记繁琐，而人脸识别不能确认用户的行为状态的问题， 通过获取n个摄像头之间跨摄像头拍摄的m张图像，并按照时间序 列将m张图像输入到行人重识别模型中，以便于将每张图像的特征 基于时间序列进行融合来获得第一序列特征，其中，第一序列特征包 括目标用户的特征信息以及时间和/或空间的特征信息，通过融合后 的第一序列特征能够同时确认目标用户的身份和行为状态，以提高对 用户进行身份登记的效率和准确度。
附图说明
22.通过以下参照附图对本公开实施例的描述，本公开的上述内容以 及其他目的、特征和优点将更为清楚，在附图中：
23.图1示意性示出了根据本公开实施例的数据处理方法的应用场 景图；
24.图2示意性示出了根据本公开实施例的数据处理方法的流程图；
25.图3示意性示出了根据本公开另一实施例的数据处理方法的流 程图；
26.图4示意性示出了根据本公开实施例的获取m张图像的流程图；
27.图5示意性示出了根据本公开实施例的依次从n个摄像头获取 m张图像流程图；
28.图6示意性示出了根据本公开实施例的确定预定时间段的流程 图；
29.图7示意性示出了根据本公开实施例的获得第一序列特征的流 程图；
30.图8a示意性示出了根据本公开实施例的在训练过程中的行人重 识别模型的结构图；
31.图8b示意性示出了根据本公开实施例的lstm子网络的结构图；
32.图9示意性示出了根据本公开实施例的训练行人重识别模型的 流程图；
33.图10示意性示出了根据本公开的实施例的训练目标检测模型的 流程图；
34.图11示意性示出了根据本公开实施例的数据处理装置的结构框 图；
35.图12示意性示出了根据本公开实施例的训练装置的结构框图； 以及
36.图13示意性示出了根据本公开实施例的适于实现数据处理方法 或训练方法的电子设备的方框图。
具体实施方式
37.以下，将参照附图来描述本公开的实施例。但是应该理解，这些 描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述 中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全 面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情 况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术 的描述，以避免不必要地混淆本公开的概念。
38.在需要进行身份登记的场景中，以用户签到为例。相关技术中， 例如用户使用传统的签到方式例如手动刷卡或者手机应用程序打卡 登记等方式进行登记。又例如用户使用人脸识别的方式进行打卡登记。 而实际上用户在进出入办公场所时，例如下班时，很容易会忘记签到， 给用户造成损失，且后期排查会造成额外人力物力的浪费。
39.另外，人脸识别容易受到光线、角度或距离的影响，仅能被动等 待用户进入特定区域进行身份确认，且无法确定用户的行为状态。例 如用户在进行人脸识别后完成上班打卡，然后离开办公场所，此时不 进行人脸识别，等到下班时间再来进行一次人脸识别以完成下班打卡。
40.本公开的实施例提供了一种数据处理方法、训练方法、装置、设 备、介质和程序产品。其中，该数据处理方法包括：获取n个摄像 头采集的m张图像，其中，m张图像中包括目标用户的图像，n和 m为大于或等于2的整数。将m张图像中每张图像按照采集的时间 序列输入至行人重识别模型。利用行人重识别模型基于第一序列特征 来确认目标用户的身份和行为状态，其中，行人重识别模型将每张图 像的特征基于时间序列进行特征融合来获得第一序列特征。
41.根据本公开的实施例，通过获取n个摄像头之间跨摄像头拍摄 的m张图像，并按照时间序列将m张图像输入到行人重识别模型中， 以便于将每张图像的特征基于时间序列进行融合来获得第一序列特 征，其中，第一序列特征包括目标用户的特征信息以及时间或空间的 特征信息，通过融合后的第一序列特征能够同时确认目标用户的身份 和行为状态，以提高对用户进行身份登记的效率和准确度。
42.需要说明的是，本公开实施例提供的数据处理方法、训练方法、 装置、设备、介质和程序产品可用于人工智能、机器学习在图像识别 相关方面，也可用于除计人工智能、机器学习技术之外的多种领域， 如金融领域等。本公开实施例提供的数据处理方法、训练方法、装置、 设备、介质和程序产品的应用领域不做限定。
43.在本公开的技术方案中，所涉及的用户个人信息的收集、存储、 使用、加工、传输、提供或应用等，均符合相关法律法规的规定，采 取了必要保密措施，且不违背公序良俗。
44.图1示意性示出了根据本公开实施例的数据处理方法的应用场 景图。
45.如图1所示，根据该实施例的应用场景100可以包括第一室外摄 像头111、第二室
外摄像头112、第一室内摄像头113和第二室内摄 像头114(以下统称为摄像头)，网络140和服务器150。其中，第一用 户131、第二用户132、第三用户133(以下统称为用户)向建筑物120 移动，第四用户134远离建筑物120。网络140用以在摄像头111、 112、113、114和服务器150之间提供通信链路的介质。网络140可 以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。 其中，第一室内摄像头113和第二室内摄像头114可以分别设置在建 筑物120内的不同位置，例如不同楼层。
46.摄像头111、112、113、114可以分别拍摄相应区域内的视频， 例如当用户131、132和133走过任意摄像头的拍摄区域时，其图像 可被采集。然后，摄像头111、112、113、114可以通过网络140与 服务器150交互，以接收或发送视频或图像等。摄像头111、112、113、 114可以为监控摄像头，也可以是具有摄像功能的各种电子设备，包 括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等 等。
47.服务器150可以是提供各种服务的服务器，例如对摄像头111、 112、113、114发送的视频或图像等进行处理，并获得训练样本对行 人重识别模型进行训练，或者利用训练后的行人重识别模型确认用户 的身份和行为状态。在一些实施例中，用户可以使用上述电子设备与 服务器150进行交互，以发送训练模型的指令，或者发送身份登记的 指令。后台管理服务器可以对接收到的用户请求等数据进行分析等处 理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或 数据等)反馈给电子设备。
48.需要说明的是，本公开实施例所提供的数据处理方法或训练方法 一般可以由服务器150执行。相应地，本公开实施例所提供的数据处 理装置或训练装置一般可以设置于服务器150中。本公开实施例所提 供的数据处理方法或训练方法也可以由不同于服务器150且能够与 上述摄像头和/或服务器150通信的服务器或服务器集群执行。相应 地，本公开实施例所提供的数据处理装置或训练装置也可以设置于不 同于上述摄像头和/或服务器150且能够与服务器150通信的服务器 或服务器集群中。
49.应该理解，图1中的摄像头、建筑物、用户、网络和服务器的数 目仅仅是示意性的。根据实现需要，可以具有任意数目的摄像头、建 筑物、用户、网络和服务器。
50.以下将基于图1描述的场景，通过图2～图10对公开实施例的数 据处理方法和训练方法进行详细描述。
51.图2示意性示出了根据本公开实施例的数据处理方法的流程图。
52.如图2所示，该实施例的数据处理方法包括操作s210～操作s230。
53.在操作s210，获取n个摄像头采集的m张图像，其中，m张图 像中包括目标用户的图像，n和m为大于或等于2的整数。
54.参照图1，n个摄像头可以包括摄像头111～114，m张图像可以 包括用户131、132和133从摄像头111进入摄像头114的拍摄区域 的过程中采集到的图像。其中，从每个摄像头获得至少一张图像。每 张图像中可以包括至少一个用户，其中可能有目标用户。
55.在操作s220，将m张图像中每张图像按照采集的时间序列输入 至行人重识别模型。
56.例如可以获取到每个摄像头采集图像时的时间戳，并按照时间戳 排列m张图像，即可按照采集的时间序列输入。对于跨摄像头下拍 摄到的用户图像，从多个摄像头之间获取目标用户的图像，并获取用 户的特征，以多个角度弥补了行人更加全面的局部细节信
息，同时对 于不同程度的遮挡问题，可以较为有效的判别用户的身份信息。结合 时间序列确认用户的移动轨迹，便于确认用户的行为状态。
57.以用户133为例，其从摄像头111的位置走到摄像头114的位置， 伴随着时间和空间的变化，摄像头111～114采集用户133图像的时间 各不相同。因此，可以按照采集的时间序列，顺序地将m张图片输 入至行人重识别模型。
58.在操作s230，利用行人重识别模型基于第一序列特征来确认目 标用户的身份和行为状态，其中，行人重识别模型将每张图像的特征 基于时间序列进行特征融合来获得第一序列特征。
59.根据本公开的实施例，例如从摄像头111～114各获取一张包含用 户133的图像，行人重识别模型可将每张图像的特征以时间递进的方 式进行融合，让其能够识别出不同行人的隐藏特征表达模式，识别出 目标用户的身份和行为状态。因此，获取到的第一序列特征包含多张 图像的用户信息以及时间信息，能够确认出目标用户的身份和行为状 态。
60.相关技术中，人脸识别容易受到光线、距离的影响，因此需要专 门购买和安装人脸识别设备，以及设定专门的人脸识别区域，才能保 证准确的识别结果。而本公开实施例的数据处理方法可以利用现有的 监控设备，通过获取n个摄像头之间跨摄像头拍摄的m张图像，并 按照时间序列将m张图像输入到行人重识别模型中，以便于将每张 图像的特征基于时间序列进行融合来获得第一序列特征，其中，第一 序列特征包括目标用户的信息以及时间的信息，通过融合后的第一序 列特征能够同时确认目标用户的身份和行为状态，以提高对用户进行 身份登记的效率和准确度。
61.图3示意性示出了根据本公开另一实施例的数据处理方法的流 程图。
62.如图3所示，该实施例的数据处理方法包括操作s210～操作s220， 还可以包括操作s310～操作s330。其中，操作s210～操作s220可参 考上述图1的相关描述，在此不做赘述。
63.在操作s310，利用行人重识别模型基于第一序列特征来确认目 标用户的身份。
64.在一些实施例中，可以预先获取目标用户的m张注册图像，并 获得注册序列特征。在对用户的身份和行为状态进行识别时，计算第 一序列特征与注册序列特征的相似性，以输出分类结果。具体地，例 如在用户签到的场景，用户133进入场地时，从摄像头111移动至摄 像头114的拍摄区域，被采集m张注册图像，以及对应的注册序列 特征。相应的，用户133离开场地时，从摄像头114移动至摄像头 111的拍摄区域，被采集m张注册图像，以及对应的注册序列特征。 并将注册序列特征与用户133的标识对应存储在注册数据库中。以便 在进行身份和行为状态确认时，从注册数据库中搜索。如果识别出用 户133的身份和行为状态，则自动更新签到记录。
65.在操作s320，在基于第一序列特征确认目标用户沿第一轨迹移 动的情况下，确认目标用户为第一签到状态。
66.在操作s330，在基于第一序列特征确认目标用户沿第二轨迹移 动的情况下，确认目标用户为第二签到状态。
67.根据本公开的实施例，为防止在天气恶劣时，例如雨雪天气，摄 像头111和112无法有效获取用户的图像，从而导致行人重识别模型 无法从摄像头111～114采集的图像中提取到足够的时间信息。在确认 目标用户身份的技术比较成熟的情况下，可以先强化挖掘
目标用户的 身份信息，获取第一序列特征进行身份识别。然后，再基于m张图 片强化挖掘时间信息，获得新的第一序列特征。参照图1，用户133 进入建筑物120的过程即为沿第一轨迹移动(摄像头111～114拍摄到 用户133的时间依次由早及晚)，用户134远离建筑物120的过程即 为沿第二轨迹移动(摄像头114拍摄到用户134的时间最早，摄像头 111拍摄到的时间最晚)。
68.根据本公开的实施例，例如在用户考勤的场景，例如用户134先 进入办公场所完成上班打卡，然后从建筑物120中的办公场所离开。 可以形成两条记录以存储用户134的考勤状态。若用户134等到下班 时间再来一次完成下班打卡，也会形成两条记录。在该工作日结束后， 可以根据该工作日最早和最晚的两条签到记录判断用户的考勤状态。 还可以统计每相邻的两条签到记录之间的时间间隔，若时间间隔超过 规定时间(例如离开与进入的时间间隔过长)，那么可以向有关人员发 生报警提示。
69.对于用户的考勤问题，相关技术仅能自动识别用户的身份，无法 确定用户出现时是上班还是下班。考虑到不同的摄像头存在一定的序 列信息，用户出现在不同摄像头下的图像包含着时间联系，因此输入 的图像为用户在其考勤轨迹上的不同摄像头拍下的图像。
70.根据本公开的实施例，在有效确认目标用户的身份时，并同时可 以确认用户的行为状态，以便于对用户的行为进行识别和统计。例如 在对用户预测时，可以根据具有时间序列的多张图像，预测用户的身 份以及上下班的考勤状态，并将预测结果构成考勤的序列。如果考勤 序列的分布区域中，存在上班时间的进入、下班时间的离开则说明此 人考勤完整，可以更新他的考勤信息。
71.因此，采用行人重识别的技术，可以从用户进入采集区域的位置 起，通过多区域部署摄像头获得一定时间序列内的数据输入。通过增 强数据的时空连续性，从而识别用户的身份信息，同时根据时间序列 预测不同的签到状态，对用户进行信息维护。
72.需要说明的是，虽然上文以特定的顺序描述了方法的各个操作， 然而本公开的实施例不限于此，上述操作可以根据需要以其他顺序执 行。例如步骤s320和步骤s330是针对同一目标用户的不同情况，可 以单独执行。
73.图4示意性示出了根据本公开实施例的操作s210中获取m张图 像的流程图。
74.如图4所示，该实施例的获取m张图像包括操作s410～操作s420。 其中，n个摄像头设置在n个位置，每个位置对应不同的区域，每 个摄像头采集的区域各不相同。
75.在操作s410，基于n个位置的空间信息对n个摄像头进行编号， 其中，每个编号对应n个位置中的一个位置。
76.根据本公开的实施例，空间信息可以包括坐标信息、距离信息、 高度信息等信息。参照图1，摄像头111、112、113、114分别设置 在4个位置。可以将摄像头111、112、113、114分别编号为1号、2 号、3号和4号。
77.在操作s420，按照编号的顺序，依次从n个摄像头获取m张图 像。
78.根据本公开的实施例，例如在上班时间段，先从1号摄像头111 采集的图像中获得用户133的图像，并获得时间戳为8点05分，再 依次从摄像头112、113、114获得用户133的图像，例如获得时间戳 分别为8点06分、8点08分、8点15分的图像。在下班时间段，可 以从摄像头114、113、112、111分别获取时间戳为6点00分、6点 06分、6点08分、6点15分的4张图像。
79.根据本公开的实施例，为各个摄像头进行编号，有利于快速获取 目标用户的行进
路径。例如图1还可以包括其他路径，通过将各个路 径上摄像头的编号关系(如图1中的1号、2号、3号和4号属于一个 路径)进行存储，有利于在从第一个摄像头获取到目标图像后，直接 从对应路径的下个编号的摄像头获取图像，而不用遍历所有的摄像头， 提高了获取目标用户的图像的效率。
80.图5示意性示出了根据本公开实施例的操作s420中依次从n个 摄像头获取m张图像流程图。
81.如图5所示，该实施例的依次从n个摄像头获取m张图像包括 操作s510～操作s540。
82.在操作s510，获取对应第1编号的摄像头采集的第一图像，以 及第一图像的第一时间戳。其中，第1编号可以为不同时间段的初始 位置摄像头的编号，例如上班时间段，第1编号为1号摄像头111。 下班时间段，第1编号为4号摄像头114。
83.根据本公开的实施例，n个摄像头在采集过程中可以从各自的拍 摄区域录制视频。在获取第1编号的摄像头采集的图像时，首先可以 分别获取视频数据，并输出固定间隔(如1秒)图像帧构成数据集。 然后利用目标检测模型确定出包含目标用户的图像帧作为第一图像。
84.在执行完操作s510后，令i的初始值为2，循环执行操作s520～ 操作s540，直至获取到对应第n编号的摄像头采集的图像。
85.在操作s520，获取对应第i编号的摄像头在第一时间戳的预定时 间段后采集的第二图像，以及第二图像的第二时间戳。
86.在操作s530，判断是否获取到对应第n编号的摄像头采集的图 像。若是，则结束本次循环。若否，则执行操作s540。
87.在操作s540，令第二时间戳作为新的第一时间戳，并令i＝i 1。
88.根据本公开的实施例，每个摄像头录制的视频数据量较大，而实 际上可能仅有几张图像帧符合要求。参照图1，若令目标检测模型对 每个摄像头采集到的所有视频数据进行检测，以获得包含目标用户的 图像，会导致检测速度较慢，浪费系统性能。因此，利用本公开实施 例的数据处理方法，可以根据用户的移动状态，确定目标用户何时出 现在某个摄像头的拍摄区域，从而令目标检测模型有针对性的进行目 标检测，减少数据处理量。
89.图6示意性示出了根据本公开实施例的确定预定时间段的流程 图。
90.如图6所示，该实施例的确定预定时间段包括对每两个相邻编号 的摄像头执行操作s610～操作s620。其中，每两个相邻编号的摄像头 包括第一摄像头和第二摄像头。第一摄像头可以为在先获取图像的摄 像头。
91.在操作s610，从第一摄像头采集的图像中检测出目标用户的图 像，以及目标用户的移动状态。
92.在操作s620，基于第一摄像头和第二摄像头之间的空间信息， 以及移动状态，确定预定时间段。
93.根据本公开的实施例，以摄像头111和摄像头112为例，两者之 间的空间信息可以为距离信息。如用户133的移动状态为慢走状态， 结合一般人的步行速度和上述距离信息，其从摄像头111移动至摄像 头112的拍摄区域可能需要5分钟(仅为示例)。如用户132的移动状 态为奔跑状态，其从摄像头111移动至摄像头112的拍摄区域可能需 要3分钟。如用户
131的移动状态为骑车状态，其从摄像头111移动 至摄像头112的拍摄区域可能需要1分钟。其中，用户的移动状态可 以利用目标检测模型对用户的姿态进行识别。然后，从摄像头111获 取到包含用户133的图像，以及对应的时间戳为t时刻，那么可以从 摄像头112中获取自t时刻起5分钟后的图像。
94.以摄像头113和摄像头114为例，两者之间的空间信息可以为高 度信息，可以根据用户是否乘坐电梯或爬楼梯的状态以确定从摄像头 113到摄像头114的预定时间段。其中，乘坐电梯的状态可以根据用 户的背景，如电梯门打开的背景，提取出背景特征信息进行判断。
95.根据本公开的实施例，现实生活中各个摄像头安装的位置各不相 同，因此每两个相邻的摄像头之间的空间信息也各不相同。利用本公 开的实施例，灵活确定预定时间段，可以更加快速的检测出包含目标 用户的图像，避免因采用固定的预定时间段而导致处理数据量较多的 情况。
96.图7示意性示出了根据本公开实施例的操作s230中获得第一序 列特征的流程图。
97.如图7所示，该实施例的获得第一序列特征包括操作s710～操作 s730。其中，行人重识别模型包括lstm(long short term)网络，其 中，lstm网络为长短期记忆神经网络。
98.在操作s710，将每张图像的特征输入到lstm网络。
99.根据本公开的实施例，在操作s710之前，可以确定每张图像属 于同一个用户图像，具体如下：
100.在目标检测模型获取到数据之后，如获取到t1时刻有三张图像 (如a图像、b图像和c图像)，t2时刻三张图像(如a，图像、b’图像 和c’图像)，t3时刻三张图像(如a”图像、b”图像和c”图像)，每个 时刻的三张图像可能包括有三个用户。其中，虽然t1、t2、t3为时 间序列，但是目标检测模型可能无法判断出同一目标用户在t1、t2、 t3时刻的序列图像。因此，可以对各张图像进行相似性判断，以t1 时刻a图像为例，将a图像与t2时刻a
′
、b
′
、c
′
分别进行相似度 判断，然后进行排序，取相似度最大的a与a’。然后再计算a与t3 时刻的a”、b”、c”的相似性，取相似度最大的a与a”。同理， 对b、c采取同样的操作。最终，可以获取到同一目标用户在t1、 t2、t3时刻的序列图像。
101.相关技术中，通常采用前馈神经网络，但是前馈神经网络不考虑 数据之间的关联性，网络的输出只与当前网络的输入存在相关。然而 在对用户的行为状态确认时，某一时刻网络的输出除了与当前时刻的 输入相关以外，还与之前的某一时刻或者某几个时刻存在相关联。而 前馈神经网络由于缺乏记忆能力，无法将之前时刻的信息传递到后面， 并不能很好的处理这种关联性。本公开实施例的lstm(长短记忆网 络)可以较好的记忆之前的输入数据，处理不同图像之间的时序信息。
102.在操作s720，利用lstm网络按照时间序列，将每张图像的特 征进行时间递进的特征融合。
103.根据本公开的实施例，参照图1，获取4个摄像头分别采集的4 张图像。首先，提取每张图像的用户信息和时间信息，获得每张图像 的特征。将第一张图像的特征作为第一输出，将第一张图像的特征与 第二张图像的特征进行融合作为第二输出，将第二输出与第三张图像 的特征进行融合作为第三输出，将第三输出与第四张图像的特征进行 融合作为第四输出。通过上述时间递进的特征融合获得可以反映出时 序特征信息的第一输出至第四
输出。
104.在操作s730，基于lstm网络的输出获得第一序列特征。
105.根据本公开的实施例，行人重识别模型可以通过cnn网络，以 resnet50神经网络进行同一目标用户的序列图像的底层基本信息的提 取，以获得每张图像的特征。然后，输入至lstm网络。经过lstm 网络对不同时序特征的图像的加强，通过记忆主要特征、遗忘无关特 征的方式进行下一层的特征输出，从而构成具有目标用户图像的上下 文时序信息的多个特征集合。最后，将lstm网络层的输出作为一 个池化层的输入进行时间累积的加强，得到第一序列特征。
106.根据本公开的实施例，每张图像的特征包括目标用户的第一图像 特征，以及每张图像中目标用户的背景的第二图像特征，在将每张图 像的特征进行特征融合之前，包括：通过lstm网络将每张图像的 第一图像特征和第二图像特征进行融合。
107.根据本公开的实施例，每张图像中包括目标用户，以及目标用户 所在的环境背景。可以先将目标用户从图像中裁剪出，从裁剪出的矩 形用户图像获得第一图像特征。然后，从其余的环境背景中提取第二 图像特征。
108.根据本公开的实施例，参照图1，摄像头111拍摄到用户时的背 景，与摄像头114拍摄的背景并不相同，因为两者所处的位置不同。 因此，首先把代表用户信息与背景信息的特征进行融合，能够提取出 每个图像的空间特征。再进行时间递进的特征融合时，将每个图像的 时间特征进一步融合，从而能够更加准确的反映出目标用户的移动轨 迹。
109.图8a示意性示出了根据本公开实施例的在训练过程中的行人重 识别模型的结构图。图8b示意性示出了根据本公开实施例的lstm 子网络的结构图。图9示意性示出了根据本公开实施例的训练行人重 识别模型的流程图。
110.如图9所示，该实施例的数据处理方法包括操作s910～操作s960。 其中，令lstm网络包括第一lstm网络和第二lstm网络。
111.在操作s910，按照采集的时间序列获取第一用户的m张图像和 第二用户的m张图像，第一用户与第二用户相同或不同。
112.在操作s920，将第一用户的m张图像输入至第一cnn网络， 以获得第一用户的每张图像的特征。
113.在操作s930，将第二用户的m张图像输入至第二cnn网络， 以获得第二用户的每张图像的特征。
114.如图8a所示，可以采用孪生网络的结构训练行人重识别模型。 在训练过程中，令行人重识别模型具有结构相同的第一lstm网络 (即lstm
‑
1)和第二lstm网络(即lstm
‑
2)，以及结构相同的第一 cnn网络(即cnn
‑
1)和第二cnn网络(即cnn
‑
2)。其中，lstm
‑
1 或lstm
‑
2)各包括子长短期记忆网络l1、l2和l3，各个子网络的 结构可以相同或不同。cnn
‑
1或cnn
‑
2各包括子卷积神经网络c1、 c2和c3。x(t
‑
1)、x(t)、x(t 1)分别代表t
‑
1时刻、t时刻和t 1时刻 的图像，每个时刻的图像包括目标用户的图像。在一些实施例中，每 个时刻的图像还包括目标用户的背景图像。在操作s940，利用第一 lstm网络将第一用户的每张图像的特征基于时间序列进行时间递 进的特征融合来获得第二序列特征。
115.下面以lstm
‑
1中的l2为例，结合图8b，详细说明将第一用户 的每张图像的特征基于时间序列进行时间递进的特征融合的处理过 程。
116.如图8b所示，l2可以包括遗忘门f
t
、输入门i
t
、候选细胞信息和输出门o
t
。其中，表示向量乘，表示向量和，σ表示logistic函 数。细胞状态c
t
‑1为上一时刻的lstm子网络(如l1)的内部状态，h
t
‑1为上一时刻的lstm子网络(如l1)的外部状态。细胞状态c
t
为当前 时刻的lstm子网络(如l2)的内部状态，记录了到当前时刻为止的 历史信息。h
t
为当前时刻的lstm子网络(如l2)的外部状态。
117.首先，基于h
t
‑1和x(t)计算获得遗忘门f
t
，其中，遗忘门f
t
通过 查看h
t
‑1与x(t)的信息来输出包括0
‑
1的向量，该向量中0
‑
1的值表示 c
t
‑1中的保留或丢弃多少信息。0表示丢弃，1表示保留。
118.然后，计算获得输入门i
t
和候选细胞状态输入门i
t
通过查看 h
t
‑1与x(t)的信息来决定更新哪些信息。候选细胞状态利用h
t
‑1与x(t) 通过tanh函数获得。
119.接着，通过遗忘门f
t
与c
t
‑1进行向量乘运算，通过输入门i
t
和候 选细胞状态进行向量乘运算，并将上述两个结果进行向量加运算， 获得c
t
。
120.接着，基于h
t
‑1和x(t)计算获得输出门o
t
，其中，o
t
可以根据输入 的h
t
‑1与x(t)来判断输出哪些特征，可以将输入经过一个sigmoid层得 到判断条件。
121.最后，将c
t
经过tanh层得到一个向量(如包含
‑
1～1之间的值)，该 向量与输出门进行向量乘运算后得到h
t
。
122.在操作s950，利用第二lstm网络将第二用户的每张图像的特 征基于时间序列进行时间递进的特征融合来获得第三序列特征。
123.在操作s960，基于第二序列特征和第三序列特征构建损失函数 来训练行人重识别模型。
124.根据本公开的实施例，参照图8a，训练行人重识别模型可以执 行以下操作：
125.首先，获取多个用户的样本数据，例如针对每个用户获取多组图 像，每组图像包含按照时间序列采集的多张图像，选取时尽可能包含 多个日期的数据，以增加后续模型训练的效果。另外，例如以70％ 和30％的比例确定训练数据集和测试数据集。具体地，在某用户的样 本数据制作过程中，从多个摄像头视频下获取其照片(照片包括用户 的全身数据)，对同一人的不同镜头下的照片设置相同的id，构造 完成数据集。
126.然后，采用人工标注的方式对每组图像进行数据标注，例如标注 每组图像中用户的身份以及行为状态。
127.接着，将训练数据集中任两组图像进行随机配对，以形成多个样 本对。其中，每个样本对包括第一用户的m张图像和第二用户的m 张图像，第一用户与第二用户可能是同一个人或不同的人。
128.接着，参见操作s920和操作s930，分别将样本对中的两组图像 输入至cnn
‑
1和cnn
‑
2。
129.根据本公开的实施例，例如在t
‑
1时刻、t时刻和t 1时刻，分别 将第一用户和第二用户的图像输入进cnn
‑
1和cnn
‑
2。其中，每个 子网络c1、c2和c3分别对输入的一张图片进行特征的提取。在一 些实施例中，还可以先对cnn
‑
1和cnn
‑
2进行训练，以使得每个子 网络提取出特征之后，进行特征传递，以提取出各个图像中用户的不 变特征，最终保证输出的特征属于同一用户。在一些实施例中，每个 子网络c1、c2和c3可以分为三个部分，一个全局
特征提取部分， 两个分支网络，分别提取图像的上半部分和下半部分的特征，能够从 多个尺度进行特征提取。
130.接着，将cnn
‑
1和cnn
‑
2的输入分别输入至lstm
‑
1和lstm
‑
2。
131.根据本公开的实施例，例如c1、c2和c3输出的图像特征(例如 将用户特征、时间特征以及背景特征合并后的特征数据)分别对应作 为l1、l2和l3的输入。其中，以lstm
‑
1为例，l1将t
‑
1时刻的 图像特征进行处理获得c
t
‑1、h
t
‑1作为l2的输入，并将h
t
‑1作为池化层 (temporal pooling
‑
1)输入。l2将l1和t时刻的图像特征进行融合处理 获得c
t
、h
t
作为l3的输入，并将h
t
作为池化层
‑
1的输入。l3将l2 和t 1时刻的图像特征进行融合处理h
t 1
，并作为池化层
‑
1(temporalpooling
‑
1)的输入。lstm
‑
2中的数据处理过程与lstm
‑
1相同。由上 可以看出，对应前一时刻的神经网络的输出作为后一时刻的神经网络 的输入，并且后一时刻的神经网络的输出是融合了当前时刻的图像特 征，以及之前所有时刻的图像特征后获得的。因此，池化层
‑
1(temporalpooling
‑
1)的多个输入具有时间序列层面的上下文信息。
132.接着，分别在池化层
‑
1(temporal pooling
‑
1)和池化层
‑
2(temporalpooling
‑
2)对lstm
‑
1和lstm
‑
2的输出进行时间累积的加强，池化 层
‑
1(temporal pooling
‑
1)和池化层
‑
2(temporal pooling
‑
2)分别输出第 二序列特征(即seq.feature
‑
1)和第三序列特征(即seq.feature
‑
2)。
133.接着，基于seq.feature
‑
1和seq.feature
‑
2构建损失函数，以对行 人重识别模型中的相关参数进行训练和确定。
134.根据本公开的实施例，例如获得根据seq.feature
‑
1输出的分类结 果(用户身份和行为状态)与真实标签，并结合交叉熵函数构建identityloss
‑
1。获得根据seq.feature
‑
2输出的分类结果(用户身份和行为状态) 与真实标签，并结合交叉熵函数构建identity loss
‑
2。以及基于 seq.feature
‑
1和seq.feature
‑
2的差异构建siamese loss。在训练过程 中，不断迭代优化损失函数，例如最小化损失函数siamese loss、 identity loss
‑
1、identity loss
‑
2的和，直到模型收敛，从而将行人重 识别模型训练完成。
135.最后，利用测试数据集对训练完成的行人重识别模型进行测试。
136.根据本公开的实施例，若以孪生网络共享参数值变化的方式进行 训练，左右两边的神经网络相同。训练完成的行人重识别模型可以只 包括cnn
‑
1、lstm
‑
1和seq.feature
‑
1，并进行测试和使用。另外， 可以对行人重识别模型的输出结果中人像判断阈值在95％(仅为示例) 以上的图像进行记录。由于每个用户的图像在模型中可能出现的次数 不一致，因此，对每个人的图像都进行预测结果的存储，以备后续进 行查询。
137.根据本公开的实施例，若以非对称孪生网络的方式进行训练，即 基于identity loss
‑
1和siamese loss的变化进行优化，使得同一人之 间的identity loss最小，siamese loss最大，不同人之间siamese loss 最大，利用反向传播对cnn
‑
1、lstm
‑
1中的参数进行优化调整。基 于identity loss
‑
2和siamese loss的变化，利用反向传播对cnn
‑
2、 lstm
‑
2中的参数进行调整。训练完成的行人重识别模型包括如图8a 所示的非对称孪生网络。在测试时，输入的样本对包括同一用户的两 组图像，这两组图像可以相同也可以不同。非对称孪生网络分别获得 seq.feature
‑
1和seq.feature
‑
2，并进行处理后输出分类结果。
138.需要说明的是，虽然上文以特定的顺序描述了方法的各个操作， 然而本公开的实
施例不限于此，上述操作可以根据需要以其他顺序执 行。例如步骤s920和步骤s930可以同时执行，步骤s940和步骤s950 也可以同时执行。另外，本公开不对图8a中cnn
‑
1、lstm
‑
1、cnn
‑
2、 lstm
‑
2中的子网络、时刻和图片的数量进行限定，可以根据实际需 要选择。
139.在本公开的一些实施例中，还可以训练目标检测模型，使得训练 好的目标检测模型能够输出符合要求的x(t
‑
1)、x(t)、x(t 1)，以供行 人重识别模型进行使用。
140.图10示意性示出了根据本公开的实施例的训练目标检测模型的 流程图。
141.如图10所示，该实施例的训练目标检测模型可以包括操作 s1010～操作s1060。其中，目标检测模型可以采用fastrcnn目标检 测网络模型。
142.在操作s1010，获取n个摄像头在多个时间段，对多个训练用户 样本的图像进行采集而录制的视频数据。
143.在操作s1020，将每个摄像头录制的视频数据进行处理并输出固 定间隔(如1秒)的视频帧构成数据集。
144.在操作s1030，判断是否在训练阶段，若是，则执行操作s1040。 若否，则执行s1060。若不在训练阶段，说明可以正常使用。
145.在操作s1040，确认是在训练阶段，则获得具有目标检测数据框 的标注数据。在本公开的一些实施例中，可以预先采用人工标注的方 式对数据集的图像进行数据标注。采用labelme软件对图像中人物进 行图像框的标注，标注后的数据可以分为两个部分：train训练集和test 测试集。操作s1040中获取的是训练集的数据。
146.在操作s1050，对fastrcnn目标检测网络模型进行训练。以train 训练集部分训练fastrcnn目标检测网络，经过反复迭代优化，使模 型可以在test测试集上获取到97％(仅为示例)以上的效果，保证可以 输出每一个视频输出图像帧中包含单个矩形框内的行人图像，和/或 每张图像中经裁剪后的背景图像。
147.在操作s1060，获得训练后的fastrcnn目标检测网络模型投入 使用。例如获取从视频摄像头输出的视频帧，fastrcnn目标检测网 络模型获得单个矩形框内的行人图像，和/或背景图像。然后对输出 的人员矩形图像或背景图像做缩放处理，缩放到标准输入尺寸以获得 x(t
‑
1)、x(t)、x(t 1)，输入到行人重识别网络中。
148.基于上述数据处理方法和训练方法，本公开还提供了一种数据处 理装置和训练装置。
149.图11示意性示出了根据本公开实施例的数据处理装置1100的结 构框图。
150.如图11所示，该实施例的数据处理装置1100包括第一获取模块1110、图像输入模块1120和用户确认模块1130。
151.第一获取模块1110例如可以执行操作s210，用于获取n个摄像 头采集的m张图像，其中，m张图像中包括目标用户的图像，n和 m为大于或等于2的整数。
152.根据本公开的实施例，第一获取模块1110可以执行前文的操作 s410～操作s420，操作s510～操作s540，操作s610～操作s520在此 不再赘述。
153.图像输入模块1120例如可以执行操作s220，用于将m张图像 中每张图像按照采集的时间序列输入至行人重识别模型。
154.用户确认模块1130例如可以执行操作s230，用于利用行人重识 别模型基于第一序列特征来确认目标用户的身份和行为状态，其中， 行人重识别模型将每张图像的特征基
于时间序列进行特征融合来获 得第一序列特征。
155.根据本公开的实施例，用户确认模块1130可以用于执行前文描 述的操作s310～操作s330，操作s710～操作s730，在此不再赘述。
156.根据本公开的实施例，数据处理装置1100还可以包括训练模块。 训练模块可以执行前文的操作s910～操作s960。
157.图12示意性示出了根据本公开实施例的训练装置1200的结构框 图。
158.如图12所示，该实施例的训练装置1200包括第二获取模块1210、 第一融合模块1220、第二融合模块1230和模型训练模块1240。
159.第二获取模块1210例如可以执行操作s910，用于按照采集的时 间序列获取第一用户的m张图像和第二用户的m张图像，第一用户 与第二用户相同或不同。
160.第一融合模块1220例如可以执行操作s940，用于利用第一 lstm网络将第一用户的每张图像的特征基于时间序列进行时间递 进的特征融合来获得第二序列特征。
161.第二融合模块1230例如可以执行操作s950，用于利用第二 lstm网络将第二用户的每张图像的特征基于时间序列进行时间递 进的特征融合来获得第三序列特征。
162.模型训练模块1240例如可以执行操作s960，用于基于第二序列 特征和第三序列特征构建损失函数来训练行人重识别模型。
163.根据本公开的实施例，数据处理装置1100或训练装置1200中的 任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块 可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少 部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实 现。根据本公开的实施例，数据处理装置1100或训练装置1200中的 至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列 (fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封 装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或 封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以 及固件三种实现方式中任意一种或以其中任意几种的适当组合来实 现。或者，数据处理装置1100或训练装置1200中的至少一个可以至 少被部分地实现为计算机程序模块，当该计算机程序模块被运行时， 可以执行相应的功能。
164.图13示意性示出了根据本公开实施例的适于实现数据处理方法 或训练方法的电子设备的方框图。
165.如图13所示，根据本公开实施例的电子设备1300包括处理器 1301，其可以根据存储在只读存储器(rom)1302中的程序或者从 存储部分1308加载到随机访问存储器(ram)1303中的程序而执行 各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例 如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如， 专用集成电路(asic))等等。处理器1301还可以包括用于缓存用 途的板载存储器。处理器1301可以包括用于执行根据本公开实施例 的方法流程的不同动作的单一处理单元或者是多个处理单元。
166.在ram 1303中，存储有电子设备1300操作所需的各种程序和 数据。处理器1301、rom 1302以及ram 1303通过总线1304彼此 相连。处理器1301通过执行rom 1302和/或ram 1303中的程序来 执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序 也可以存储在除rom 1302和ram 1303以外的一个或多个存储器中。 处理器1301也可以通过执行存储在所述一个或多个存储器中的程序 来执行根据本公开实施例的方法流程的各种
操作。
167.根据本公开的实施例，电子设备1300还可以包括输入/输出(i/o) 接口1305，输入/输出(i/o)接口1305也连接至总线1304。电子设 备1300还可以包括连接至i/o接口1305的以下部件中的一项或多项： 包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(crt)、 液晶显示器(lcd)等以及扬声器等的输出部分1307；包括硬盘等 的存储部分1308；以及包括诸如lan卡、调制解调器等的网络接口 卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信 处理。驱动器1310也根据需要连接至i/o接口1305。可拆卸介质1311， 诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动 器1310上，以便于从其上读出的计算机程序根据需要被安装入存储 部分1308。
168.本公开还提供了一种计算机可读存储介质，该计算机可读存储介 质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是 单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介 质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实 现根据本公开实施例的方法。
169.根据本公开的实施例，计算机可读存储介质可以是非易失性的计 算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬 盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程 只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器 (cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组 合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的 有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其 结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包 括上文描述的rom 1302和/或ram 1303和/或rom 1302和ram1303以外的一个或多个存储器。
170.本公开的实施例还包括一种计算机程序产品，其包括计算机程序， 该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机 程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现 根据本公开实施例的方法。
171.在该计算机程序被处理器1301执行时执行本公开实施例的系统/ 装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装 置、模块、单元等可以通过计算机程序模块来实现。
172.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储 器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网 络介质上以信号的形式进行传输、分发，并通过通信部分1309被下 载和安装，和/或从可拆卸介质1311被安装。该计算机程序包含的程 序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线 等等，或者上述的任意合适的组合。
173.在这样的实施例中，该计算机程序可以通过通信部分1309从网 络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程 序被处理器1301执行时，执行本公开实施例的系统中限定的上述功 能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单 元等可以通过计算机程序模块来实现。
174.根据本公开的实施例，可以以一种或多种程序设计语言的任意组 合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体 地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语 言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ， python，“c”语言或类似的程序设计语言。程序代码可以完全地在用 户计
算设备上执行、部分地在用户设备上执行、部分在远程计算设备 上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算 设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网 (lan)或广域网(wan)，连接到用户计算设备，或者，可以连接 到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
175.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为 了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述 了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合 使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开 的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改 都应落在本公开的范围之内。