一种高光谱图像的传输方法及装置与流程

1.本发明涉及高光谱图像领域，尤其涉及一种高光谱图像自适应选择波段的传输方法及装置。


背景技术：

2.目前在进行安防监控时，单一的彩色相机传感器仅能够获取目标为红、绿、蓝三种颜色信息，很难满足背景干扰、低照度等无约束场景下的信息采集需求。对于高光谱相机而言，可以同时获取几十甚至上百个连续的窄光谱波段信息和二维空间信息。众多的高光谱波段在提供丰富的光谱信息同时，同时会带来数据传输、存储和计算上的负担，因此，波段选择是解决这一问题的关键。
3.然而，目前的方案并不能自适应的进行波段选择，无法适应场景的动态性和复杂性，从而导致目前仅能增加对硬件设备的要求，以满足相应的业务需求。


技术实现要素：

4.本发明实施例提供了一种高光谱图像的传输方法，根据服务器发送的反馈信息识别场景或者人物身份是否发生变化。若场景或人物身份发生了变化，则对波段重要性生成网络进行微调，并确定出至少一个重要波段。以便选择上述至少一个重要波段对应的图像数据进行发送。通过反馈信息动态调整选择出的重要波段，无需人工手动调整，同时无需预先确定波段数目，增加了对不同场景的自适应能力。保障了在各种场景或环境下的检测、目标跟踪可以满足业务需求。
5.第一方面，提供了一种高光谱图像的传输方法，该方法可以包括：获取图像采集设备采集到的第一高光谱图像。其中，第一高光谱图像包括多个波段图像，多个波段图像中的每个波段图像可以是单通道图像，第一高光谱图像的采集时间为第一时刻。之后，从第一高光谱图像中选择至少一个波段，形成第一目标图像。发送该第一目标图像。在一个例子中，例如可以发送第一目标图像至服务器。之后，获取图像采集设备采集的第二高光谱图像。其中，第二高光谱图像包括多个波段图像，第二高光谱图像的采集时间为第二时刻，第二时刻与第一时刻相邻。之后，获取图像特征信息，该图像特征信息用于表示图像采集设备采集到的第一时间段内的高光谱图像变化情况。其中，第一时间段早于第二时刻。然后，再根据图像特征信息触发波段调整，包括从第二高光谱图像中选择至少一个波段，形成第二目标头像。其中，第二目标图像与第一目标图像的波段部分不同或全部不同。之后，发送第二目标图像。由于高光谱图像的波段非常多，因此在发送时往往仅发送部分波段图像，以减少不必要的数据传输。而目前现有方式在确定波段时通常需要预先设定传输哪些波段对应的波段图像，同时无法在使用过程中自动更换其它波段。而本发明通过图像特征信息可以确定触发波段调整，该过程无需人工手动调整，也无需预先设定固定的波段数目，从而达到自适应调整需要传输的波段图像。增加了本发明对不同场景的自适应能力，同时还可以保障各种场景或环境下的检测、目标跟踪均能满足业务需求。
6.在一个可能的实施方式中，根据图像特征信息触发波段调整，还可以包括：当根据图像特征信息确定场景发生变化或人物身份发生变化时，从第二高光谱图像中选择至少一个波段。本发明通过图像特征信息确定出当产生场景或人物身份变化后触发波段调整，相比现有方式需要人工确定波段数目以及具体的波段且无法自动更新波段，本发明可以保证不同场景下有很好的自适应能力。同时，无需每次都进行波段调整，从而减少不必要的资源消耗。
7.在一个可能的实施方式中，图像特征信息可以包括预测框信息，其中该预测框信息可以是第一时间段内的高光谱图像对应的预测框信息，预测框信息可以用于表示第一时间段内的高光谱图像中的特征区域。从第二高光谱图像中选择至少一个波段可以包括：当根据图像特征信息和历史字典库，确定预测框信息所对应的特征区域产生变化时，从第二高光谱图像中选择至少一个波段。其中，特征区域产生变化也意味着第一时间段内高光谱图像产生场景变化。历史字典库存储在图像采集设备中，历史字典库中包括有图像采集设备采集到的至少一个第二时间段内的高光谱图像的预测框信息。第二时间段早于第一时间段。本发明通过图像特征信息和历史字典库可以确定是否产生了场景变化，从而触发波段调整，相比现有方式需要人工确定波段数目以及具体的波段且无法自动更新波段，本发明可以在产生场景变化后自动调整波段，保证了在不同场景下有很好的自适应能力。
8.在一个可能的实施方式中，确定第一时间段内的高光谱图像产生场景变化，可以包括：采用比较算法确定第一相似度。其中，第一相似度为第一时间段内的高光谱图像对应的预测框信息与历史字典库中的预测框信息之间的相似度。若第一相似度小于相似度阈值，则可以确定第一时间段内的高光谱图像产生了场景变化。
9.在一个可能的实施方式中，图像特征信息还可以包括：比较结果。该比较结果用于表示第一时间段内的高光谱图像是否产生人物身份变化。若第一时间段内的高光谱图像产生人物身份变化，则方法还可以包括：发送存储指令至服务器。其中，该存储指令用于指示服务器将第一时间段内的高光谱图像特征存入历史图像数据库中。本发明中当确定第一时间段内的高光谱图像产生人物身份变化后，可以发送存储指令，以使得服务器将新的身份信息进行存储，从而保障在后续检测过程中服务器可以识别出新的身份信息。
10.在一个可能的实施方式中，第一时间段内的高光谱图像产生人物身份变化可以包括：第一时间段内的高光谱图像特征与历史图像数据库中的至少一个历史图像特征是否存在相同。若比较结果为第一时间段内的高光谱图像特征与历史图像数据库中的任意一个历史图像特征均不相同，则可以确定第一时间段内的高光谱图像产生人物身份变化。产生人物身份变化
11.在一个可能的实施方式中，比较结果可以包括历史身份标识。方法还可以包括：根据比较结果，从身份图像库中确定与历史身份标识相对应的身份信息。并将身份信息进行显示。本发明还可以将识别到的身份信息进行显示，以便管理人员进行进一步确认未产生变化的人物身份信息。
12.在一个可能的实施方式中，图像采集设备中存储有第一时间段内的高光谱图像，方法还可以包括：将第一时间段内的高光谱图像进行显示。之后，可以接收用户指令。该用户指令用于指示第一时间段内的高光谱图像是否产生人物身份变化。本发明还可以将第一时间段内的高光谱图像进行显示，以便管理人员进一步确认是否产生了人物身份变化。
13.在一个可能的实施方式中，方法还可以包括：将图像特征信息保存至历史字典库中。本发明通过将图像特征信息保存至历史字典库中，从而保障在从第二高光谱图像中选择至少一个波段时，确定是否产生了场景变化并在产生场景变化时动态调整选择出的重要波段。
14.在一个可能的实施方式中，根据从第二高光谱图像中选择至少一个波段可以包括：根据第二时刻的高光谱图像和高光谱图像数据库，确定第二时刻的高光谱图像中各个波段的重要性信息。其中，高光谱图像数据库存储在图像采集设备中，高光谱图像数据库中包括有至少一个早于第二时刻的高光谱图像。之后，可以选择重要性信息大于或等于重要性阈值的波段。本发明通过第二时刻的高光谱图像和高光谱图像数据库重新选择第二时刻的高光谱图像中的波段，从而实现了波段的自适应调整。
15.在一个可能的实施方式中，根据第二时刻的高光谱图像和高光谱图像数据库，确定第二时刻高光谱图像中各个波段的重要性信息，可以包括：将第二高光谱图像和高光谱图像数据库输入至波段重要性生成网络，从而确定出第二高光谱图像数据中各个波段的重要性信息以及高光谱图像数据库中各个高光谱图像的至少一个波段的重要性信息。之后，确定第二相似度。其中，第二相似度为第二高光谱图像中各个波段的重要性信息与高光谱图像数据库中各个高光谱图像的至少一个波段的重要性信息之间的相似度。再将第二相似度作为损失函数进行迭代，调整波段重要性生成网络的参数，以最大化第二相似度。当波段重要性生成网络调整完毕后，可以根据调整后的波段重要性生成网络确定第二高光谱图像中各个波段的重要性信息。本发明通过第二高光谱图像数据和图像采集设备中存储的高光谱图像数据库，动态微调波段重要性生成网络的参数，实现动态调整选择出的重要波段。其中，最大化第二相似度的目的在于在使得微调的过程中的波段重要性变化的更加平缓。
16.在一个可能的实施方式中，获取图像特征信息可以包括：获取服务器发送的图像特征信息。
17.在一个可能的实施方式中，在根据图像特征信息触发波段调整之前，该方法还可以包括：对第二高光谱图像进行数据校正和/或数据预处理。其中，数据校正包括白平衡校正、黑平衡校正和/或光谱校正。数据预处理包括数据降噪。
18.在一个可能的实施方式中，在从第一高光谱图像中选择至少一个波段之前，该方法还可以包括：对第一高光谱图像进行数据校正和/或数据预处理。其中，数据校正包括白平衡校正、黑平衡校正和/或光谱校正。数据预处理包括数据降噪。
19.在一个可能的实施方式中，发送第二目标图像可以包括：对第二目标图像进行数据压缩。其中，数据压缩可以包括：空间关系压缩、波段间关系压缩和时序关系压缩中的任意一个或者任意多个进行组合。之后，再将压缩后的第二目标图像数据进行发送。在一个例子中，例如可以发送至服务器。本发明通过对待发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，从而便于网络传输，无需通过降低帧率或分辨率便可适应通信。
20.在一个可能的实施方式中，将压缩后的第二目标图像数据进行发送，还可以包括：将压缩后的第二目标图像进行量化操作。再将量化操作后的数据进行发送。
21.在一个可能的实施方式中，发送第一目标图像可以包括：对第一目标图像进行数据压缩。其中，数据压缩可以包括：空间关系压缩、波段间关系压缩和时序关系压缩中的任
意一个或者任意多个进行组合。之后，再将压缩后的第一目标图像数据进行发送。在一个例子中，例如可以发送至服务器。本发明通过对待发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，从而便于网络传输，无需通过降低帧率或分辨率便可适应通信。
22.在一个可能的实施方式中，将压缩后的第一目标图像数据进行发送，还可以包括：将压缩后的第一目标图像数据进行量化操作。再将量化操作后的数据进行发送。
23.第二方面，提供了一种高光谱图像的传输方法，该方法可以包括：接收第三目标图像。其中，第三目标图像为图像采集设备在第一时间段内采集到的高光谱图像。将第三目标图像输入至深度网络进行特征提取，确定第一时间段内的高光谱图像特征。在一些例子中，可以同时输入一个或多个不同的深度网络中进行特征提取。若得到不同深度网络得到的特征提取结果后，可以将多个特征提取结果进行融合，以确定第一时间段内的高光谱图像特征。其中，图像特征信息可以包括第一时间段内的高光谱图像对应的预测框信息和/或比较结果。预测框信息用于表示第一时间段内的高光谱图像中的特征区域。比较结果用于表示第一时间段内的高光谱图像是否产生人物身份变化。之后，根据第一时间段内的高光谱图像特征确定图像特征信息。再发送该图像特征信息。在一个例子中，例如可以将图像特征信息发送至图像采集设备。本发明通过将包含预测框信息和/或比较结果的图像特征信息进行发送，以便图像采集设备可以根据图像特征信息确定出是否产生了场景变化或人物身份变化，并在产生场景变化或人物身份变化后触发波段调整。相比现有方式在确定波段时通常需要预先设定传输哪些波段对应的波段图像，同时无法在使用过程中自动更换其它波段。本技术的实现过程无需人工手动调整，也无需预先设定固定的波段数目即可在产生场景变化或人物身份变化时调整波段，增加了对不同场景的自适应能力。从而保障了各种场景或环境下的检测、目标跟踪均能满足业务需求。
24.在一个可能的实施方式中，第三目标图像为压缩过的图像。该方法还可以包括：对压缩过的第三目标图像进行数据解压缩。其中，数据解压缩可以包括：空间关系解压缩、波段间关系解压缩和时序关系解压缩中的任意一个或任意多个进行组合。以便将解压后的第三目标图像输入至深度网络进行特征提取。本发明通过在图像采集设备发送时对发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，并在服务器接收后进行相应的解压缩，从而保障在图像采集设备与服务器之间通信时无需通过降低帧率或分辨率，便于网络传输。
25.在一个可能的实施方式中，根据第一时间段内的高光谱图像特征确定图像特征信息可以包括：根据第一时间段内的高光谱图像特征确定第一时间段内的高光谱图像对应的预测框信息。
26.在一个可能的实施方式中，根据第一时间段内的高光谱图像特征确定图像特征信息可以包括：将第一时间段内的高光谱图像特征与历史图像数据库中的每个历史图像特征进行比较，确定比较结果。其中，历史图像数据库中可以包括至少一个历史图像特征。本发明通过对第一时间段内的高光谱图像特征与历史图像数据库中的历史图像特征进行比较，从而确定人物身份是否发生了变化，以便图像采集设备根据比较结果确定是否进行波段调整。
27.在一个可能的实施方式中，该方法还可以包括：接收存储指令。在一个例子中，例
如可以接收图像采集设备发送的存储指令。然后，可以根据存储指令将第一时间段内的高光谱图像特征存入历史图像数据库中。本发明通过将第一时间段内的高光谱图像特征存入历史图像数据库保障了在后续检测过程中可以识别出新的人物身份信息。
28.第三方面，提供了一种高光谱图像的传输装置，该装置可以为图像采集设备，该装置包括：获取模块，用于获取所述图像采集设备采集的第一高光谱图像，其中，第一高光谱图像包括多个波段图像，多个波段图像中的每个波段图像可以是单通道图像，第一高光谱图像的采集时间是第一时刻；处理模块，用于从第一高光谱图像中选择至少一个波段，形成第一目标图像；发送模块，用于发送第一目标图像；获取模块还用于，获取图像采集设备采集的第二高光谱图像，其中，第二高光谱图像包括多个波段图像，第二高光谱图像的采集时间是第二时刻，第二时刻与第一时刻相邻；接收模块，用于获取图像特征信息，图像特征信息用于表示图像采集设备采集到的第一时间段内的高光谱图像变化情况，第一时间段早于第二时刻；处理模块还用于，根据图像特征信息触发波段调整，具体包括：从第二高光谱图像中选择至少一个波段，形成第二目标图像，其中第二目标图像和第一目标图像的波段部分不同或者全部不同；发送模块还用于，发送第二目标图像。由于高光谱图像的波段非常多，因此在发送时往往仅发送部分波段图像，以减少不必要的数据传输。而目前现有方式在确定波段时通常需要预先设定传输哪些波段对应的波段图像，同时无法在使用过程中自动更换其它波段。而本发明通过图像特征信息可以确定触发波段调整，该过程无需人工手动调整，也无需预先设定固定的波段数目，从而达到自适应调整需要传输的波段图像。增加了本发明对不同场景的自适应能力，同时还可以保障各种场景或环境下的检测、目标跟踪均能满足业务需求。
29.在一个可能的实施方式中，处理模块还用于：当根据图像特征信息确定场景发生变化或人物身份发生变化时，从第二高光谱图像中选择至少一个波段。本发明通过图像特征信息确定出当产生场景或人物身份变化后触发波段调整，相比现有方式需要人工确定波段数目以及具体的波段且无法自动更新波段，本发明可以保证不同场景下有很好的自适应能力。同时，无需每次都进行波段调整，从而减少不必要的资源消耗。
30.在一个可能的实施方式中，图像特征信息包括预测框信息，其中该预测框信息可以是第一时间段内的高光谱图像对应的预测框信息，预测框信息用于表示第一时间段内的高光谱图像中的特征区域；装置还包括：交互模块，用于根据图像特征信息和历史字典库，确定预测框信息所对应的特征区域产生变化，其中，特征区域产生变化为第一时间段内的高光谱图像产生场景变化，历史字典库存储在图像采集设备中，历史字典库中包括图像采集设备采集到的至少一个第二时间段内的高光谱图像的预测框信息，第二时间段早于第一时间段。本发明通过图像特征信息和历史字典库可以确定是否产生了场景变化，相比现有方式需要人工确定波段数目以及具体的波段且无法自动更新波段，本发明可以在产生场景变化后自动调整波段，触发波段调整，从而保证了在不同场景下有很好的自适应能力。
31.在一个可能的实施方式中，交互模块还用于：采用比较算法确定第一相似度，其中，第一相似度为第一时间段内的高光谱图像对应的预测框信息与历史字典库中的预测框信息之间的相似度；若第一相似度小于相似度阈值，则确定第一时间段内的高光谱图像产生场景变化。
32.在一个可能的实施方式中，图像特征信息包括：比较结果，比较结果用于表示第一
时间段内的高光谱图像是否产生人物身份变化。发送模块还用于：若第一时间段内的高光谱图像产生人物身份变化，发送存储指令至服务器，其中，存储指令用于指示服务器将第一时间段内的高光谱图像特征存入历史图像数据库中。本发明中当确定第一时间段内的高光谱图像产生人物身份变化后，可以发送存储指令，以使得服务器将新的身份信息进行存储，从而保障在后续检测过程中服务器可以识别出新的身份信息。
33.在一个可能的实施方式中，第一时间段内的高光谱图像产生人物身份变化包括：第一时间段内的高光谱图像特征与历史图像数据库中的至少一个历史图像特征是否存在相同；交互模块还用于，若比较结果为第一时间段内的高光谱图像特征与历史图像数据库中的任意一个历史图像特征均不相同，则确定第一时间段内的高光谱图像产生人物身份变化。
34.在一个可能的实施方式中，比较结果包括历史身份标识。交互模块还用于：根据比较结果，从身份图像库中确定与历史身份标识相对应的身份信息；装置还包括：显示模块，用于将身份信息进行显示。本发明还可以将识别到的身份信息进行显示，以便管理人员进行进一步确认未产生变化的人物身份信息。
35.在一个可能的实施方式中，图像采集设备中存储有第一时间段内的高光谱图像，显示模块还用于：将第一时间段内的高光谱图像进行显示；接收模块还用于，接收用户指令。该用户指令用于指示第一时间段内的高光谱图像是否产生人物身份变化。本发明还可以将第一时间段内的高光谱图像进行显示，以便管理人员进一步确认是否产生了人物身份变化。
36.在一个可能的实施方式中，交互模块还用于：将图像特征信息保存至历史字典库中。本发明通过将图像特征信息保存至历史字典库中，从而保障在从第二高光谱图像中选择至少一个波段时，确定是否产生了场景变化并在产生场景变化时动态调整选择出的重要波段。
37.在一个可能的实施方式中，处理模块还用于：根据第二时刻的高光谱图像和高光谱图像数据库，确定第二时刻的高光谱图像中各个波段的重要性信息。其中，高光谱图像数据库存储在图像采集设备中，高光谱图像数据库中包括有至少一个早于第二时刻的高光谱图像；选择重要性信息大于或等于重要性阈值的波段。本发明通过第二时刻的高光谱图像和高光谱图像数据库重新选择第二时刻的高光谱图像中的波段，从而实现了波段的自适应调整。
38.在一个可能的实施方式中，处理模块还用于：将第二高光谱图像数据和高光谱图像数据库输入至波段重要性生成网络，确定第二高光谱图像中各个波段的重要性信息以及高光谱图像数据库中各个高光谱图像的至少一个波段的重要性信息；确定第二相似度，其中，第二相似度为第二高光谱图像中各个波段的重要性信息与高光谱图像数据库中各个高光谱图像的至少一个波段的重要性信息之间的相似度；将第二相似度作为损失函数进行迭代，调整波段重要性生成网络的参数，以最大化第二相似度；当波段重要性生成网络调整完毕后，根据调整后的波段重要性生成网络确定第二高光谱图像中各个波段的重要性信息。本发明通过第二高光谱图像数据和图像采集设备中存储的高光谱图像数据库，动态微调波段重要性生成网络的参数，实现动态调整选择出的重要波段。其中，最大化第二相似度的目的在于在使得微调的过程中的波段重要性变化的更加平缓。
39.在一个可能的实施方式中，接收模块还用于：获取服务器发送的图像特征信息。
40.在一个可能的实施方式中，获取模块还用于：对第二高光谱图像进行数据校正和/或数据预处理。其中，数据校正包括白平衡校正、黑平衡校正和/或光谱校正。数据预处理包括数据降噪。
41.在一个可能的实施方式中，获取模块还用于：对第一高光谱图像进行数据校正和/或数据预处理。其中，数据校正包括白平衡校正、黑平衡校正和/或光谱校正。数据预处理包括数据降噪。
42.在一个可能的实施方式中，装置还包括：编码模块，用于对第二目标图像进行数据压缩，其中，数据压缩包括空间关系压缩、波段间关系压缩和时序关系压缩中的任意一个或多个组合；发送模块还用于，将压缩后的第二目标图像数据进行发送。在一个例子中，例如可以发送至服务器。本发明通过对待发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，从而便于网络传输，无需通过降低帧率或分辨率便可适应通信。
43.在一个可能的实施方式中，编码模块还用于，将压缩后的第二目标图像进行量化操作；发送模块还用于，将量化操作后的数据进行发送。
44.在一个可能的实施方式中，装置还包括：编码模块，用于对第一目标图像进行数据压缩，其中，数据压缩包括空间关系压缩、波段间关系压缩和时序关系压缩中的任意一个或多个组合；发送模块还用于，将压缩后的第一目标图像数据进行发送。在一个例子中，例如可以发送至服务器。本发明通过对待发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，从而便于网络传输，无需通过降低帧率或分辨率便可适应通信。
45.在一个可能的实施方式中，编码模块还用于，将压缩后的第一目标图像进行量化操作；发送模块还用于，将量化操作后的数据进行发送。
46.第四方面，提供了一种高光谱图像的传输装置，该装置可以是服务器，该装置包括：接收模块，用于接收第三目标图像，其中，第三目标图像为图像采集设备在第一时间段内采集到的高光谱图像；特征提取模块，用于将第三目标图像输入至深度网络进行特征提取，确定第一时间段内的高光谱图像特征；处理模块，用于根据第一时间段内的高光谱图像特征确定图像特征信息，其中，图像特征信息可以包括第一时间段内的高光谱图像对应的预测框信息和/或比较结果。预测框信息用于表示第一时间段内的高光谱图像中的特征区域。比较结果用于表示第一时间段内的高光谱图像是否产生人物身份变化；发送模块，用于发送图像特征信息。在一个例子中，例如可以将图像特征信息发送至图像采集设备。本发明通过将包含预测框信息和/或比较结果的图像特征信息进行发送，以便图像采集设备可以根据图像特征信息确定出是否产生了场景变化或人物身份变化，并在产生场景变化或人物身份变化后触发波段调整。相比现有方式在确定波段时通常需要预先设定传输哪些波段对应的波段图像，同时无法在使用过程中自动更换其它波段。本技术的实现过程无需人工手动调整，也无需预先设定固定的波段数目即可在产生场景变化或人物身份变化时调整波段，增加了对不同场景的自适应能力。从而保障了各种场景或环境下的检测、目标跟踪均能满足业务需求。
47.在一个可能的实施方式中，第三目标图像为压缩过的图像；装置还包括：解码模
块，用于对压缩过的第三目标图像进行数据解压缩，其中，数据解压缩包括空间关系解压缩、波段间关系解压缩和时序关系解压缩中的一个或多个组合，以便将解压后的第三目标图像输入至深度网络进行特征提取。本发明通过在图像采集设备发送时对发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，并在服务器接收后进行相应的解压缩，从而保障在图像采集设备与服务器之间通信时无需通过降低帧率或分辨率，便于网络传输。
48.在一个可能的实施方式中，处理模块还用于，根据第一时间段内的高光谱图像特征确定第一时间段内的高光谱图像对应的预测框信息。
49.在一个可能的实施方式中，处理模块还用于，将第一时间段内的高光谱图像特征与历史图像数据库中的每个历史图像特征进行比较，确定比较结果，其中，历史图像数据库包括至少一个历史图像特征。本发明通过对第一时间段内的高光谱图像特征与历史图像数据库中的历史图像特征进行比较，从而确定人物身份是否发生了变化，以便图像采集设备根据比较结果确定是否进行波段调整。
50.在一个可能的实施方式中，接收模块还用于，接收存储指令。在一个例子中，例如可以接收图像采集设备发送的存储指令。处理模块，用于根据存储指令将第一时间段内的高光谱图像特征存入历史图像数据库中。本发明通过将第一时间段内的高光谱图像特征存入历史图像数据库保障了在后续检测过程中可以识别出新的人物身份信息。
51.第五方面，提供了一种高光谱图像的传输装置，该装置可以为图像采集设备，该装置包括：传感器，用于采集第一高光谱图像和第二高光谱图像；或，接收器，用于接收第一高光谱图像和第二高光谱图像；接收器还用于，接收图像特征信息；发送器，用于发送第一目标图像和第二目标图像；处理器用于与存储器耦合，以及读取并执行存储在存储器中的指令；当处理器运行时执行指令，使得处理器用于执行第一方面中任意一项的方法。
52.第六方面，提供了一种高光谱图像的传输装置，该装置可以为服务器，该装置包括：接收器，用于接收第三目标图像；发送器，用于发送图像特征信息；处理器用于与存储器耦合，以及读取并执行存储在存储器中的指令；当处理器运行时执行指令，使得处理器用于执行第二方面中任意一项的方法。
53.第七方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，使得终端执行第一方面中任意一项的方法。
54.第八方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在服务器上运行时，使得服务器执行第二方面中任意一项的方法。
55.第九方面，提供了一种包含指令的计算机设备，当该计算机设备为图像采集设备时，使得图像采集设备执行第一方面中的任意一项的方法。
56.第十方面，提供了一种包含指令的计算机设备，当该计算机设备为服务器时，使得服务器执行第二方面中的任意一项的方法。
57.第十一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面中任意一项的方法。
58.第十二方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第二方面中任意一项的方法。
59.本发明公开了一种高光谱图像的传输方法和装置，图像采集设备根据服务器发送
的图像特征信息识别场景或者人物身份是否发生变化。若场景或人物身份发生了变化，则对波段重要性生成网络进行微调，以重新确定至少一个重要波段。由于高光谱图像的波段非常多，因此在发送时往往仅发送部分波段图像，以减少不必要的数据传输。而目前现有方式在确定波段时通常需要预先设定传输哪些波段对应的波段图像，同时无法在使用过程中自动更换其它波段。而通过图像特征信息可以动态调整选择出的重要波段，无需经过人工手动调整，同时无需预先确定固定的波段数目，从而达到自适应调整需要传输的波段图像。增强了对不同场景的自适应能力，同时还可以保障在各种场景或环境下的检测、目标跟踪可以满足业务需求，具有更强的实用性。
附图说明
60.图1为本发明实施例提供的一种应用场景示意图；
61.图2为本发明实施例提供的一种高光谱图像的传输系统架构示意图；
62.图3为本发明实施例提供的一种获取模块示意图；
63.图4为本发明实施例提供的一种处理模块示意图；
64.图5为本发明实施例提供的一种波段重要性生成单元示意图；
65.图6为本发明实施例提供的一种波段选择输出单元示意图；
66.图7为本发明实施例提供的一种编码模块示意图；
67.图8为本发明实施例提供的另一种高光谱图像的传输系统架构示意图；
68.图9为本发明实施例提供的另一种波段重要性生成单元示意图；
69.图10为本发明实施例提供的一种前端结构示意图；
70.图11为本发明实施例提供的一种后端结构示意图；
71.图12为本发明实施例提供的示例一高光谱图像的传输系统架构示意图；
72.图13为本发明实施例提供的示例二高光谱图像的传输系统架构示意图；
73.图14为本发明实施例提供的一种高光谱图像的传输方法流程图；
74.图15为本发明实施例提供的另一种高光谱图像的传输方法流程图；
75.图16为本发明实施例提供的一种高光谱图像的传输装置示意图；
76.图17为本发明实施例提供的另一种高光谱图像的传输装置示意图。
具体实施方式
77.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
78.本发明主要应用于视频监控的场景，例如图1所示，该场景包括高光谱相机101。高光谱相机101可以比普通相机采集更为丰富的波段信息。当采用高光谱相机101进行视频拍摄时，不仅可以捕获到不同场景下的目标，还可以通过丰富的波段信息确定不同目标的材料级信息。对于材料级信息而言，可以在安防领域突出关注的目标。显然，这在工业级安全场景下具有重大的价值。例如通过高光谱相机101获取的材料级信息，在化工项目下可以分辨出身穿防护服的安全员和相同颜色衣服的非安全员，从而避免安全事故的发生。
79.对于高光谱相机101而言，其可以同时获取几十甚至上百个连续的窄光谱波段信息以及每个光谱所对应的二维空间图像信息。显然，众多的高光谱波段在提供了丰富的光谱信息的同时，也给数据传输、存储和计算等步骤带来了极大的负担。因此，波段选择显得
尤为重要。而对于安防场景的动态性和场景复杂性，又需要波段选择具有一定的自适应能力。而目前的方案显然无法满足上述需求。
80.高光谱图像与传统的彩色图像、红外图像最大的区别就是具有丰富的波段信息。但并非所有波段信息都对单一环境检测特定目标起到同等重要的作用。因此传输所有的波段相比普通相机拍摄的图像会导致10倍左右的数据量冗余。这为数据传输以及后端处理都带来了不必要的成本。因此解决上述问题可以通过数据分析，寻找到最有效的若干波段，并固定传输选定波段对应数据，以及设计智能算法通过分析安防环境和待检测的目标自动选择最优波段进行传输。
81.在一些方案中，通过以较小的计算复杂度，选择对目标检测最有利的特征组合。例如，需要预先设定需要选择的特征数目，并通过依次去除目标光谱和待处理高光谱图像的均值光谱的一个波段，以得到多组目标候选光谱和均值候选光谱。然后分别计算每组目标候选光谱和均值候选光谱的光谱角度，以找出最大光谱角度的组合。通过一次或多次上述过程，最终当波段数目与预设的特征数目相同时，将最终计算得到的该组的目标候选光谱和均值候选光谱作为最终的特征组合。
82.然而上述方案只能面向单一的高光谱图像数据，而无法处理高光谱视频数据。无法充分利用高光谱视频的时间、空间、光谱信息以及时间-空间-光谱联合信息，可见该方案的波段选择算法具有较强的局限性。同时，该方案在面向高光谱数据采集过程中，采用无监督学习算法进行波段选择，无法实现动态交互，缺乏自适应性。并且该方案需要预先确定波段数目，显然固定数目的波段选择算法难以刻画视频监控场景的复杂性，无法适应现实中视频安防场景的多样性，可见其选择出的波段表达能力十分有限。
83.对于其它方案也是通过手工方式选定波段，其环境适应能力严重不足。
84.因此，本发明提供了一种高光谱图像的传输方法和装置。通过图像采集设备与服务器之间的交互，图像采集设备可以根据服务器发送的图像特征信息识别场景或者人物身份是否发生变化。若场景或人物身份发生了变化，则对波段重要性生成网络进行微调，以重新确定至少一个重要波段。并将至少一个重要波段对应的图像数据发送至服务器。服务器通过接收图像采集设备发送的至少一个重要波段对应的图像，确定出图像特征信息并发送至图像采集设备，以实现反馈交互。上述过程通过图像特征信息可以动态调整选择出的重要波段，无需经过人工手动调整，同时无需预先确定固定的波段数目，增强了对不同场景的自适应能力。同时保障了在各种场景或环境下的检测、目标跟踪可以满足业务需求，具有更强的实用性。
85.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
86.图2为本发明实施例提供的一种高光谱图像的传输系统架构示意图。
87.如图2所示，示出了一种高光谱图像的传输系统架构，该系统包括有前端210和后端220。该系统可以提供深度学习服务(deep learning service，dls)。其中，深度学习是一类基于申城次神经网络算法的机器学习技术，主要使用多重非线性变换对数据进行处理和分析。主要可以应用于人工智能领域的感知、决策等场景，例如图像识别、语音识别、自然语言翻译、计算机博弈等等。因此，该系统可以面向不同场景下的视频监控问题。
88.其中，前端210可以是图1所示的高光谱相机101，或者具有拍摄高光谱视频功能的
终端设备。在其它例子中，前端210还可以是与高光谱相机101相连接的服务器、云平台或终端设备。当前端210为服务器或云平台时，则可以与一个或多个高光谱相机101通过有线或无线相连接。终端设备例如包括但不限于手机、智能电视、智能音响、可穿戴设备、平板电脑、桌面型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digitalassistant，pda)、膝上型计算机(laptop)、移动电脑、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、人工智能(artificial intelligence，ai)设备和/或车载设备等任意终端设备或便携式终端设备。而后端220例如可以是服务器、云平台或视频数据管理平台等。通常前端210与后端220之间采用无线方式进行通信。例如可以是无线局域网(wireless local area networks，wlan)，如无线保真(wireless fidelity，wifi)，或是2g/3g/4g/5g/6g等无线通信方式，本发明在此不作限定。当然在一些例子中，也可以采用有线方式进行通信。
89.其中，前端210可以包括获取模块211、交互模块212、第一接收模块213、处理模块214和第一发送模块215。获取模块211主要用于获取高光谱视频数据，并将获取到的高光谱视频传输至交互模块212中。可以理解的是，本发明对高光谱视频是以帧为单位进行处理，高光谱视频中的每帧均可看做为一幅高光谱图像。
90.在一些例子中，获取模块211具体可以如图3所示出的，包括有数据采集单元301、数据校正单元302和数据预处理单元303。数据采集单元301用于通过高光谱图像传感器按照预设的采集频率采集高光谱视频。可以理解的是，高光谱视频是通过连续的多帧高光谱图像构成。其中，高光谱图像传感器可以是一个或者多个。当数据采集单元301采集到高光谱视频，将采集到的高光谱视频发送至数据校正单元302进行数据校正。由于本发明是以帧为单位进行处理，因此数据采集单元301可以将相应时刻采集到的高光谱图像发送至数据校正单元302进行数据校正。在一些例子中，可以包括白平衡校正(white balance calibration，wbc)、黑平衡校正(black balance calibration，bbc)和光谱校正(spectral correction，sc)中的一种或多种。对于wbc其主要目的是为了降低光照对获取到的高光谱图像的影响。通常可以通过预先设定一个白板的光谱曲线作为标准，并采用获取到的高光谱图像的光谱曲线除以标准的白板的光谱曲线，从而抑制不同光照对高光谱图像的影响。对于bbc其主要目的是为了避免由于高光谱相机101自身原因导致的一些噪声影响。例如预先设定进光量为零的高光谱图像，显然此时仅包含有高光谱相机101的自身噪声，然后将采集到的高光谱图像减去进光量为零的高光谱图像，从而去除因高光谱相机101自身原因导致的一些噪声。而对于sc其主要目的是为了得到更加准确的光谱曲线，用于去除二级反射对采集到的高光谱图像的影响。当然可以理解的是，上述wbc、bbc和sc的具体实现过程可以参考现有方式进行，本发明在此不作限定。经过校正后以得到更为有效的图像。数据预处理单元303用于对采集到的高光谱图像去除数据间的噪声，一般可以采用现有的预处理方式进行，例如采用滤波或者深度学习等方式。在一些例子中，预处理例如可以包括高光谱图像的去噪、去模糊等，所采用的预处理算法包括但不限于基于滤波类的苏菲娜、基于稀疏、低秩等统计表示学习算法以及深度学习算法等。通过预处理可以使得高光谱视频数据的质量得以提升。
91.可以理解的是，上述数据采集单元301、数据校正单元302和数据预处理单元303的
具体实现过程均可参考现有方式实现，本发明在此不再赘述。同时，可以仅包含数据校正单元302或数据预处理单元303，也可以同时包含数据校正单元302和数据预处理单元303，本发明在此不作限定。当同时包含数据校正单元302和数据预处理单元303时，数据预处理单元303的输入为数据校正单元302输出的经过校正后的高光谱视频数据。
92.在一些例子中，前端210可以是根据安装在该前端210上的应用要求进行采集高光谱图像。例如通过用户指令或是预先设定的指令指示启动前端210上的相应应用，以便采集高光谱图像。
93.可以理解的是，上述过程采集到的高光谱图像为第二时刻采集到的，也可以称为第二高光谱图像。该第二高光谱图像包括多个波段图像，每个波段图像可以认为是单通道图像。
94.第一接收模块213用于接收后端220发送的图像特征信息。其中，图像特征信息可以称为反馈信息。当接收模块接收到后端220发送的反馈信息后将反馈信息发送至交互模块212。交互模块212可以用于确定是否需要重新选择重要波段。其中，反馈信息用于表示前端210在第一时间段内采集到的高光谱图像的变化情况。交互模块212通过反馈信息确定第一时间段内的高光谱图像是否产生了场景变化或人物身份变化。可以理解的是，产生场景变化即第一时间段内的高光谱图像所对应的场景发生了变化，例如拍摄的是街边监控画面，突然发生了火灾，即由安全场景变换为火灾场景。上述仅为示例性描述，具体场景可以根据实际情况进行任意设定。而对于人物身份变化，例如可以指代采集的高光谱图像中拍摄到的人物身份。例如正常职工的身份变换为外来访问人员的身份等。同样，上述仅为示例性描述，具体人物身份可以根据实际情况进行任意设定。
95.在一个例子中，以交互模块212确定第一时间段内的高光谱图像数据是否产生了场景变化为例。反馈信息可以第一时间段内的高光谱图像的预测框信息。预测框信息可以是用于表示第一时间段内的高光谱图像中的特征区域。其中，第一时间段要早于第二时刻。例如，反馈信息可以仅是前一帧的预测框信息，也可以是前a帧的预测框信息。其中，a为正整数。显然，a的取值表示了波段的更新频率，当a为1时，即每帧均确定是否重新选择波段，例如a为5时，则可以表示每5帧确定一次是否重新选择波段。具体a的取值可以根据实际情况进行任意设定，本发明不做限定。本发明对波段进行重新选择，也可以认为是重新选择重要波段。交互模块212中存储有历史字典库，可以理解的是，历史字典库保存了第一时间段之前的一个或多个高光谱图像的预测框信息，即第二时间段内高光谱图像的预测框信息。显然，第二时间段早于第一时间段。其中，历史字典库中可以保存从开始运行到第一时间段的起始时间为止所保存的所有高光谱图像的预测框信息。当然，历史字典库还可以预先设定存储上限j，其中，j为正整数。当历史字典库中存储的预测框信息具有上限时，当达到上限后，再次存入的数据将会替换保存时间最早的数据。例如当j为5时，则保存与第一时间段的起始时间最近的5个高光谱图像的预测框信息。每个高光谱图像的预测框信息均包括时间信息用于表示存入的时间或者信息生成时间。当历史字典库中存入新的数据时，则将时间信息最早的，即意味着相对最旧(或最老)的数据进行删除，以便存入新的数据。显然，当历史字典库设置了存储上限j，则存储的j个预测框信息为第二时间段内高光谱图像的预测框信息。
96.以a为1为例，交互模块212采用比较算法结合反馈信息以及历史字典库进行比较。
以便确定预测框区域是否产生了场景变化，可以通过公式1和公式2所示出的公式进行判定，
[0097][0098][0099][0100]
其中，c为第一相似度，用于表示为第一时间段内的高光谱图像的预测框信息与历史字典库中的预测框信息之间的相似度。b
t-1
表示反馈信息对应的预测框信息。由于以a＝1为例，因此b
t-1
为第t-1帧的预测框信息。b
t-k
表示为反馈信息对应的预测框信息之前的预测框信息，即历史字典库中包含的预测框信息。comp代表两个预测框信息之间的比较算法。其中，比较算法例如可以是简单的矩形框中心误差或是预测框信息对应的图像块之间的特征向量误差。当然在其它例子中，还可以任意等效的比较算法，本发明在此不作限定。n表示为历史字典库中所包含的时间最长的帧。t表示为当前帧。t表示预先设定的相似度阈值。f(c)表示交互模块212输出的判定结果。当c大于或等于t时，则认为反馈信息与历史字典库相差较大，则可以令f(c)＝1以表示场景发生了变化。当c小于t时，则认为反馈信息与历史字典库相差较小，则可以另f(c)＝0以表示场景未发生变化。在一些例子中，为了保证较小的计算量，通常会预先设定j的数值。
[0101]
例如，若反馈信息中的预测框信息与历史字典库中的预测框信息非常相似，则可以认为场景未发生变化。例如预测框的位置非常相似，或是该预测框信息所框出的区域内图像非常相似等。可以根据比较算法选择与预测框信息相关的信息进行相似性判断。
[0102]
在一些例子中，交互模块212可以直接将f(c)作为更新指令输出至处理模块214。此时更新指令可以是个二进制数0或1。处理模块214根据接收到的更新指令决定是否进行波段的更新，即重新确定重要波段。例如，更新指令为1表示执行更新；更新指令为0表示不执行更新。可以理解的是，进行波段的更新即触发波段调整。当然，在其它例子中，更新指令还可以是其它用于表示是否更新的数据，本发明并不做限定。
[0103]
当处理模块214确定不执行更新时，为了节省计算量，则可以沿用上一次确定的波段，以传输相应重要波段对应的高光谱图像数据。也就是说，在第二时刻采集第二高光谱图像之前，在第一时刻还可以采集第一高光谱图像，并针对第一高光谱图像选择至少一个波段，生成第一目标图像。其中，第一时刻早于第二时刻，并且紧邻第二时刻。可以理解的是，第一目标图像为第一高光谱图像中相应选择的波段所对应的图像的组合，例如，第一高光谱图像包括1、2、3、4和5个波段图像，当选择传输2和4波段图像时，第一目标图像为第一高光谱图像中的第2和第4波段图像构成。当处理模块214确定执行更新时，则处理模块214可以参考图4所示出的方式确定新的重要波段。对于重新确定的重要波段，与第一目标图像的波段部分不同或者全部不同。如处理模块214将高光谱图像数据库与采集到的第二高光谱图像输入至波段重要性生成单元401，以确定出第二高光谱图像数据中各个波段的重要性。在一个例子中，高光谱图像数据库可以是历史帧队列q，可以包括有至少一个早于第二时刻
的高光谱图像。其中，历史帧队列q存储在交互模块212中。然后波段重要性生成单元401将确定出的第二高光谱图像中各个波段的重要性输入至波段选择输出单元402，波段选择输出单元402确定出满足预设条件的至少一个重要波段。在一个例子中，波段重要性生成单元401可例如图5所示出的，交互模块212将历史帧队列q和采集到的第二高光谱图像输入至波段重要性生成单元401中的波段重要性生成网络。在一些例子中，采集到的第二高光谱图像数据可以是经过校正和/或预处理的高光谱图像。波段重要性生成网络根据历史帧队列q确定出历史帧队列q中各个高光谱图像的波段重要性w。在一些情况下，也可称为历史波段重要性w。由于，历史帧队列q中包括有至少一个早于第二时刻的高光谱图像。因此，历史帧波段重要性w中包括有历史帧队列q中各个高光谱图像对应的波段重要性。在一个例子中，历史帧队列q可以包括m个早于第二时刻的高光谱图像或者保存从开始运行到第二时刻为止除第二时刻以外的所有高光谱图像数据。m可以为正整数。波段重要性生成网络还可以根据第二高光谱图像确定出第二时刻的波段重要性w。之后，确定第二时刻的波段重要性w与历史波段重要性w之间的相似度，即第二相似度。以第二相似度作为损失函数(loss)进行迭代，将最大化第二相似度作为目标不断调整波段重要性生成网络中的参数。上述过程可以称为微调(fine-tune)。在一些例子中，fine-tune的次数可以预先设定。当fine-tune结束后，可以得到调整后的波段重要性生成网络，并采用调整后的波段重要性生成网络确定第二高光谱图像中各个波段的重要性w*。w*可以看作是一组向量w1×
l
，其中l表示高光谱图像中波段的个数。
[0104]
其中，历史波段重要性w中仅包含各个高光谱图像对应的各个重要波段的波段重要性。例如，历史帧队列q包括第一历史高光谱图像、第二历史高光谱图像和第三历史高光谱图像。第一历史高光谱图像中的重要波段为波段1、波段5和波段6，第二历史高光谱图像中的重要波段为波段3、波段4和波段7，第三历史高光谱图像中的重要波段为波段1、波段2和波段3。则历史帧波段重要性w中包含第一历史高光谱图像中波段1、波段5和波段6所对应的波段重要性，第二历史高光谱图像中波段3、波段4和波段7所对应的波段重要性，第三历史高光谱图像中波段1、波段2和波段3所对应的波段重要性。而第二高光谱图像数据中各个波段的重要性w*包含第二高光谱图像数据中所有波段的重要性，以波段总数等于10为例，w*可以包含波段1、波段2、波段3、波段4、波段5、波段6、波段7、波段8、波段9和波段10所对应的波段重要性。
[0105]
可以理解的是，上述fine-tune的过程采用最大化第二相似度，目的在于当重要波段改变时，变化可以更加平缓一些。当然在另一些例子中也可以不进行fine-tune，而是直接将当前帧波段重要性w作为w*发送至波段选择输出单元402。
[0106]
在一个例子中，波段选择输出单元402例如可以如图6所示出的，接收波段重要性生成单元401输出的第二高光谱图像中各个波段的重要性w*。其中，601中多个圆圈中的每个圆圈可以表示为w*中每个波段的重要性。波段选择输出单元402对w*中每个波段的重要性采用无监督聚类算法，将不同的重要性划分为多个类别。然后，分别计算各个类别的加权重要性。可以理解的是加权重要性可以是该类别内所有波段重要性的平均值或是累加值，又或是加权累加值等。其中，加权重要性的计算方式可以根据实际情况采用任意方式计算，本发明在此不作限定。之后，波段选择输出单元402确定出加权重要性最高的类别，并将该类别内的所有波段作为重要波段。可以理解的是，加权重要性最高的类别内可以包含p个波
段。其中，p为正整数。例如图6中的602即表示为确定出的p个重要波段。
[0107]
在一些例子中，若交互模块212指示不需要更新重要波段，则波段重要性生成单元401可以输出第一时刻的各波段重要性信息，以便波段选择输出单元402可以确定出第一时刻确定的至少一个重要波段。即本次确定的重要波段与上一次确定的重要波段相同。
[0108]
波段重要性生成单元401还将第二高光谱图像输入至波段选择输出单元402，以便波段选择输出单元402根据确定出的p个重要波段，得到第二高光谱图像中p个重要波段所对应的图像信息，即第二目标信息。可以理解的是，第一时刻采集到的第一高光谱图像，也可以通过类似的方式得到第一目标图像。将第二目标图像传输至第一发送模块215。可以理解的是，第一发送模块215接收到的仅仅是第二高光谱图像中部分重要波段对应的图像信息，相比于全波段对应的图像信息其数据量大大降低。之后，第一发送模块215可以直接将p个重要波段所对应的第二目标图像信息发送至后端220。
[0109]
在一些例子中，为了有利于网络传输，减少在网络传输过程中的数据量，在第一发送模块215发送的p个重要波段所对应的第二目标图像之前，还可以经过编码模块216进行数据编码，以进行有效的数据压缩，进而降低网络传输中的功耗。在一些例子中，可以采用有损压缩或无损压缩的方式进行。例如采用传统信息论压缩或者深度学习压缩等。例如图7则示出了一种深度学习算法进行压缩的方式。利用了波段数据的空间关系、波段间关系、时序关系和时间-空间-光谱联合关系中的一种或多种组合进行关系建模。如图7所示x
t
表示为第t帧高光谱图像中p个重要波段所对应的图像信息，即第二目标图像。显然，x
t
中包括的p个波段所对应的图像可以认为是第二时刻采集到的高光谱图像数据中较为重要的波段图像，但p个波段间仍然存在冗余，同时p个波段导致具有较大的空间分辨率，并不利于网络传输。因此可以在发送p个重要波段所对应的图像之前，进行进一步的编码、压缩处理，从而避免传输多余的冗余信息。
[0110]
接下来将分别介绍空间关系压缩、波段间关系压缩和时序关系压缩。首先，可以对p个重要波段所对应的图像进行时序关系压缩。由于高光谱图像相邻帧之间具有较强的相似性，即当前帧与相邻的历史帧之间存在高度冗余关系。其中，第二时刻采集到的高光谱图像可以认为是当前帧，而与第二时刻相邻的第一时刻可以认为是相邻的历史帧。两帧数据之间的差异部分即运动区域(或称变化区域)，在一般情况下变化部分通常仅占据整个图像的一小部分，因此可以认为运动区域具有稀疏结构。因此，可以利用这种先验知识加速数据的编码传输，例如可以参考公式3进行时序关系压缩。
[0111][0112]
其中，可以设x
t
的图像大小为h
×e×
p，h为的高度，e为的宽度，p为的波段数目。即表示为经过时序关系压缩后的x
t
。对于为0的点可以认为非运动区域(或称为背景)，可以进行丢弃。因此的图像大小则可以为h
×e×
p，其中h＜＜h，e＜＜e。
[0113]
对于p个重要波段所对应的图像还可以进行波段间关系压缩，即进一步压缩p个重要波段上的光谱信息，去除p个波段之间潜在的冗余关系信息。例如，可以对x
t
的光谱维度进行多次降维，其过程可以等价于在光谱维度上进行多次全连接操作。在一个例子中，可以
预先设定将为次数i，ai表示第i次降维操作对应的变换矩阵。进行波段间关系压缩的过程可以参考公式4进行。
[0114][0115]
其中，b并无具体含义，仅为与x
t
之间作区分。经过波段间关系压缩后所包含的重要波段数目p’将小于p。
[0116]
对p个重要波段所对应的图像还可以进行空间关系压缩，在一些例子中，例如可以采用下采样的卷积操作进行。可以假设n为下采样的个数，n为正整数。则经过编码模块216内的空间特征提取器进行降维后得到的维度信息为
[0117]
在一些例子中，可以采用上述空间关系压缩、波段间关系压缩和时序关系压缩中的任意一种进行压缩，当然，也可以采用任意多种压缩方式进行组合。当同时采用上述三种方式进行数据压缩后，相当于采用时间-空间-光谱联合关系进行数据压缩。此时例如图7所示，先通过时序关系压缩，再进行波段间关系压缩，最后进行空间关系压缩。最终压缩后的数据其图像大小可以是其中，len(ai)表示矩阵ai的元素个数。
[0118]
在一些例子中，编码模块216还可以对p个重要波段所对应的图像或者压缩后的p个重要波段所对应的图像进行量化操作，以便于通过第一发送模块215进行网络传输。其中，量化操作可以参考现有任意方式实现，本发明在此不做赘述。
[0119]
第一发送模块215则将p个重要波段所对应的图像，或者经过压缩和/或量化后的p个重要波段所对应的图像发送至后端220。
[0120]
至此，前端210便完成了对采集到的高光谱图像数据的一次波段选择，并将重要波段对应的图像发送至后端220。当然，对于前端210中的交互模块，还可以将接收到的反馈信息存储至历史字典库中。
[0121]
后端220中的第二接收模块221接收前端210发送的第三目标图像，若是未经过压缩的，则第二接收模块221可以直接将接收到的第三目标图像发送至特征提取模块222中进行特征提取，以得到第一时间段内的预测框信息。可以理解的是，第三目标图像为第二目标图像之前的目标图像，可以是第一目标图像，或是其它早于第二目标图像的目标图像。当然在一些例子中，也可以接收第二目标图像。可以理解的是，若接收的为第三目标图像，则后端220后续步骤用于辅助前端210确定第二时刻是否需要进行波段调整，而若接收的为第二目标图像，则后端220后续步骤则用于辅助前端210确定第三时刻是否需要进行波段调整。其中，第三时刻晚于第二时刻。
[0122]
下面将以接收第二目标图像为例进行描述，但可以理解的是与接收第三目标图像后实现方式相同。
[0123]
在一些例子中，若前端210在发送p个重要波段所对应的图像时进行了数据编码，即数据压缩和/或量化。则第二接收模块221将接收到的第二目标图像发送至解码模块224。解码模块224对经过数据压缩的第二目标图像进行数据解码操作。例如可以进行空间关系解压缩、波段间关系解压缩和时序关系解压缩中的一个或多个组合。可以理解的是，解码模
块224的执行过程即编码模块216的反向操作。以接收到的第二目标图像经过了空间关系解压缩、波段间关系解压缩和时序关系解压缩进行说明。当然，若前端210还进行了量化操作，则解码模块224首先对量化值进行还原操作，使其还原为高光谱的维度信息则解码模块224首先对量化值进行还原操作，使其还原为高光谱的维度信息然后针对可以采用转置卷积的方式进行解压缩，使其还原为然后对进行多次升维的全连接操作，使其还原为1
×
p的向量例如公式5示出了一种升维方式。
[0124][0125]
可以理解的是，表示为ai的转置，此处的t仅表示为转置含义。
[0126]
之后，再根据时序关系还原得到前端实际采集到的p个重要波段对应的高光谱图像。例如公式6所示。
[0127][0128]
当然，可以根据实际情况采用任意一种解压缩方式的组合进行解压缩操作，本发明在此不作限定。
[0129]
特征提取模块222对p个重要波段对应的图像进行特征提取，例如输入至一个或多个高光谱跟踪网络中进行特征提取，得到第二高光谱图像特征。可以理解的是，若接收的为第三目标图像，则经过特征提取模块222进行特征提取后，得到第一时间段内的高光谱图像特征。其中，高光谱跟踪网络可以是任意一种深度学习网络，其目的主要用于提取相应的特征。可以理解的是，每种深度学习网络所提取的特征可以是不相同的。在一些例子中，可以采用多个深度学习网络进行并行操作，通过不同维度进行特征提取，以保障最终可以得到更为精准的结果。在一些例子中，当采用多个深度学习网络并行执行提取数据的特征时，可以采用融合算法将各个深度学习网络提取到的特征结果进行融合，以得到第二高光谱图像特征或是第一时间段内的高光谱图像特征。其中，融合算法可以采用现有的任意一种融合算法，本发明在此不作限定。
[0130]
当特征提取模块222得到第二高光谱图像特征或是第一时间段内的高光谱图像特征后，可以根据第二高光谱图像特征确定出第二高光谱图像的预测框信息；或是可以根据第一时间段内的高光谱图像特征确定出第一时间段内的高光谱图像的预测框信息。以特征提取模块222得到第二高光谱图像特征为例进行描述，例如特征提取模块222还可以根据解码模块224恢复得到的p个重要波段对应的图像与第二高光谱图像特征，采用预设的算法确定出第二高光谱图像的预测框信息。其中预设的算法可以采用线性回归或分类的方式进行，其具体实现过程可以参考现有方式，本发明不再赘述。当然，还可以在特征提取模块222提取第二高光谱图像特征之前，先根据解码模块224恢复得到的第二目标图像划分出多个候选框信息。然后，通过特征提取模块222提取得到第二高光谱图像特征。之后，根据不同候
选框信息中相应特征的置信度最终确定出第二高光谱图像的预测框信息。例如，选择置信度最高的候选框信息作为该特征下的预测框信息。第二高光谱图像的预测框信息可以作为反馈信息并通过第二发送模块223发送至前端210。以便前端210根据该反馈信息，对第三时刻采集到的高光谱图像进行自适应的波段调整。可以理解的是，对于特征提取模块222得到第一时间段内的高光谱图像特征，则采用与上述相似的方式执行，并确定出反馈信息，以用于第二时刻采集到的高光谱图像进行自适应的波段调整。
[0131]
在一些例子中，后端220还可以包括显示模块，以用于将第二高光谱图像的预测框信息进行显示，或是用于将第一时间段内的高光谱图像对应的预测框信息进行显示，方便后端工作人员进行人工确认。当然，在又一些例子中，第二接收模块221还可以接收后端工作人员下发的发送指令，并根据发送指令控制第二发送模块223将反馈信息发送至前端210。例如后端工作人员确认将反馈信息反馈至前端210时，后端220会接收到后端工作人员下发的发送指令，后端220根据该发送指令，将反馈信息发送至前端220。对于预测框信息可以是由左上角顶点坐标和预测框的宽度、高度信息构成，例如[x’，y’，e’，h’]。
[0132]
可以理解的是，本发明所涉及的高光谱跟踪网络主要目的用于提取图像的特征信息。其可以根据实际任务需求选取任意一种深度学习网络模型，并选取相应的模型参数，以便提取到相应任务所需的特征信息。
[0133]
图8为本发明实施例提供的另一种高光谱图像的传输系统架构示意图。
[0134]
如图8所示，本发明还提供了另一种高光谱图像的传输系统架构示意图，与图2相比，区别在于图8中的前端210还包括显示模块217，用于与前端工作人员进行交互。以及，后端220中还包括第二处理模块225。其中，前端210中的第一处理模块214’与图2中的处理模块214为同一模块。
[0135]
上述图2至图7描述了高光谱图像的传输系统架构如何根据场景变化进行波段选择。图8则将描述高光谱图像的传输系统架构如何根据人物身份变化进行波段选择。
[0136]
对于进行人物身份变化识别时，前端210的第一接收模块213接收到的反馈信息还可以包括比较结果。其中，比较结果用于表示第一时间段内的高光谱图像是否产生人物身份变化。例如，通过确定第一时间段内的高光谱图像特征与历史图像数据库中的至少一个历史图像特征是否存在相同，确定是否产生人物身份变化。在一个例子中，比较结果例如可以是一个整数值。当比较结果为0时，表示第一时间段内的高光谱图像特征与历史图像数据库中的任意一个历史图像特征均不相同。当比较结果为其它整数时，其数值可以代表历史图像数据库中与第一时间段内的高光谱图像特征最相似的历史图像特征的索引下标。在一个例子中，当交互模块212确定比较结果为大于0的整数时，可以认为后端220识别出了人物身份。然而为了进一步确认后端220是否真的识别正确，交互模块212可以根据比较结果所表示的索引下标从历史字典库中找到该索引下标对应的高光谱图像，并发送至显示模块217进行显示，以便前端工作人员可以通过显示出的图像进行判断。当交互模块212确定比较结果等于0时，则表示后端220没有识别出人物身份，即人物身份发生了变化，此时将触发第一处理模块214’重新选择重要波段，即触发波段调整，如可以对波段重要性生成网络进行fine-tune。
[0137]
在一些例子中，当交互模块212多次接收到比较结果为0的反馈信息后，也可以将第二高光谱图像发送至显示模块217进行显示，以便前端工作人员进行判断。
[0138]
图9则示出了确定人物身份变化后的波段重要性生成单元示意图。与图5相类似，波段重要性生成网络接收存储在交互模块212中的历史身份图像。历史身份图像即上述的历史帧队列q，因为此时是识别人物身份信息，因此历史帧队列q中包含的是历史身份图像。在一个例子中，可以是m’个历史身份图像，其中m’的数值可以预先设定。波段重要性生成网络根据历史身份图像确定出历史身份图像波段重要性w’，以及根据第二高光谱图像确定出第二时刻波段重要性w。之后，确定第二时刻波段重要性w与历史身份图像波段重要性w’之间的相似度，并以该相似度作为loss函数进行迭代，直至对波段重要性生成网络fine-tune完毕。其具体过程可以参考图5相应描述，在此不再赘述。
[0139]
在一个例子中，波段选择输出单元402接收波段重要性生成单元401’输出的第二高光谱图像中各个波段的重要性w*后，可以根据采用无监督聚类算法，确定出p个重要波段。其具体实现方式可以参考图4相应描述，在此不再赘述。同时，将p个重要波段所对应的图像发送至后端220的过程也可参考图2和图7相应描述，在此不再赘述。
[0140]
对于图8所示的后端220在接收到p个重要波段所对应的图像并经过特征提取模块222提取完特征后，可以得到当第二高光谱图像特征。在人物身份识别的场景下，第二高光谱图像特征也可以理解为是身份特征。第二处理模块225则根据特征提取模块222确定的第二光谱图像特征与历史图像数据库中的历史图像特征进行比对，以确定是否识别出人物身份。例如，第二处理模块225中包含历史图像数据库，该历史图像数据库中存储有一个或多个历史图像特征，用于进行人物身份确认。当然，在另一些例子中，历史图像数据库中可以存储有一个或多个历史图像，第二处理模块225可以将一个或多个历史图像输入至特征提取模块222中进行特征提取，以得到每个历史图像所对应的历史图像特征。之后第二处理模块225再根据特征提取模块222确定的第二高光谱图像特征与每个历史图像所对应的历史图像特征进行比对。第二处理模块222可以通过公式7和公式8所示方式以确定是否识别出人物身份。
[0141][0142][0143]
其中，g表示第二高光谱图像特征，u表示历史图像数据库，该历史图像数据库中具有r个历史图像特征。ur表示历史图像数据库中第r个历史图像特征。为高光谱网络的模型推理函数(即上述深度学习网络)，ω表示相似度函数。其中，ω可以称为第三相似度，t’为预先设定的第三相似度阈值。可以理解的是，当ω大于或等于预先设定的t’，则认为识别到了人物身份，并确定比较结果为us对应的索引下标。若ω小于预先设定的t’，则认为没有识别到人物身份，并确定比较结果为0。
[0144]
可以理解的是，若后端220接收的为第三目标图像，则第二高光谱图像特征则替换为第一时间段内的高光谱图像特征，其具体实现过程与上述方式相同。
[0145]
在一些例子中，当比较结果为0时，前端210还可以发送存储指令至后端220，以便
后端220将第二高光谱图像特征或是第一时间段内的高光谱图像特征存储至历史图像数据库中，以便后续人物身份识别时可以识别出人物身份。当然，若历史图像数据库中存储的是一个或多个历史图像，则后端220根据存储指令，将接收到的第二目标图像或第三目标图像存储至历史图像数据库中。
[0146]
对于图8所示后端220的其它操作可以参考图2至图7中相应的描述，本发明在此不再赘述。
[0147]
可以理解的是，图2至图9所描述的方案中，图像特征信息可以包含预测框信息和/或比较结果。例如，若应用于识别场景变化的场景时，图像特征信息可以仅包含预测框信息；又例如，若应用于识别人物身份变化的场景时，图像特征信息可以仅包含比较结果。当然，在又一些例子中，若应用场景同时需要识别场景变化和人物身份变化时，则图像特征信息需要包含预测框信息和比较结果。
[0148]
图10为本发明实施例提供的一种前端结构示意图。
[0149]
如图10所示，提供了一种较为具体的前端结构示意图。该前端1000包含了上述图2至图9中前端的所有可能形式。可以看出前端1000包括数据获取/处理模块1010、交互模块1020、第一接收模块1030、波段重要性生成单元1040、波段选择输出单元1050、数据编码模块1060和第一发送模块1070。其中，数据采集/处理单元1010还包括有数据采集单元1011、数据校正单元1012和数据预处理单元1013。前端1000通过上述模块以实现图2至图9中前端所描述的任意一种方案，其具体实现过程可以参考图2至图9中相应的描述，在此不再赘述。
[0150]
图11为本发明实施例提供的一种后端结构示意图。
[0151]
如图11所示，提供了一种较为具体的后端结构示意图。该后端1100包含了上述图2至图9中后端的所有可能形式。可以看出前后端1100包括第二接收模块1110、数据解码模块1120、高光谱跟踪网络1130，融合单元1140和第二发送模块1150。在一些例子中，还可也包括显示模块1160。其中，高光谱跟踪网络1130可以包括多个高光谱跟踪网络，例如图11中示出的3个高光谱跟踪网络，即高光谱跟踪网络分支1 1131、高光谱跟踪网络分支2 1132和高光谱跟踪网络分支3 1133。当然，在其它例子中，还可以包括任意数量的高光谱跟踪网络分支，其具体分支个数可以根据实际情况进行任意设定，本发明不做限定。后端1100通过上述模块以实现图2至图9中后端所描述的任意一种方案，其具体实现过程可以参考图2至图9中相应的描述，在此不再赘述。
[0152]
图12为本发明实施例提供的示例一高光谱图像的传输系统架构示意图。
[0153]
如图12所示，本发明示例一以完成在复杂多样场景上进行自适应交互的目标跟踪任务为例，提供了一种高光谱图像的传输系统架构。可以通过配置多个高光谱相机传感器以采集高光谱视频。在本示例中以三个相机为例，当然在其它例子中，可以根据实际情况设置任意数量的高光谱相机传感器，本发明不做限定。在该示例中主要分为两个阶段，即波段选择编码阶段和数据解码推理阶段。其中，波段选择编码阶段为相机端(即前端)完成。首先相机端的数据获取/处理模块通过多个高光谱相机传感器采集高光谱视频，针对高光谱视频数据中的至少一帧高光谱图像数据，通过数据校正单元和数据预处理单元对采集到的图像进行校正和/或预处理。之后，交互模块通过服务器端(即后端)发送的反馈信息确定是否进行重要波段的更新。当交互模块确定进行重要波段的更新后，通过波段选择编码模块进行重新选择重要波段，并将新的重要波段对应的图像发送至服务器端。当然，若当交互模块
确定不需要进行重要波段的更新，则可以直接根据最近一次确定的重要波段，确定相应重要波段对应的图像进行数据编码并发送至服务器端。其具体实现过程可以参考图2至图11中前端的相应描述，本发明在此不再赘述。
[0154]
可以理解的是，相机端和服务器端之间可以通过有线或无线的方式进行通信。数据解码推理阶段由服务器端完成。如服务器端接收相机端发送的一个或多个重要波段对应的图像后，经过数据解码模块的相应解码后，输入至高光谱跟踪网络中提取特征。在一些例子中，可以同时多个高光谱跟踪网络并行执行，以提取到高光谱图像特征。当通过多个高光谱跟踪网络并行执行后，需要对多个高光谱跟踪网络得到的结果进行融合，以得到当前帧对应的高光谱图像特征。当前帧可以认为是上述采集到高光谱图像的时刻。在算法模型中还会根据提取到的高光谱图像特征确定当前帧的预测框信息。其中，高光谱跟踪网络的数量可以根据实际情况进行任意设定，本发明不做限定。在一些例子中，可以将当前帧的预测框信息进行显示，以便后端工作人员进行相应操作。服务器端将当前帧的预测框信息作为反馈信息发送至相机端，以便相机端在后续运行过程中确定是否进行重要波段的更新。在一些例子中，服务器端在显示当前帧的预测框信息给后端工作人员后，可以根据后端工作人员的指示选择是否发送反馈信息至相机端。其具体实现过程可以参考图2至图11中后端的相应描述，本发明在此不再赘述。
[0155]
在该示例中，服务器端可以分析不同的场景的图像数据，并将分析结果反馈至相机端的交互模块。交互模块根据反馈结果决定是否对采集处理后的高光谱数据进行波段重要性生成并选择新的重要波段。上述过程实现了波段更新的自适应交互，以自适应的在各种场景中切换选择的重要波段。在压缩传输高光谱数据量的同时提高了高光谱数据在特定任务特定场景下的可用性。
[0156]
上述过程选择波段时无需手工调整，也可以不是预先选择的特定波段。可以与具体的应用任务(例如跟踪、重识别等)进行动态交互，适应性强。可以为布防系统在各种环境中检测、跟踪目标提供更好的原始信息。同时，根据通信情况自动的调整波段选择策略，无需通过降低帧率或分辨率适应通信。
[0157]
图13为本发明实施例提供的示例二高光谱图像的传输系统架构示意图。
[0158]
如图13所示，本发明示例二以完成针对不同场景实现自适应交互式身份识别为例，提供了一种高光谱图像的传输系统架构。对于彩色图像身份识别在出现伪装或者外观相关、相似时，往往会导致识别失败，从而带来较大的人员、财产等损失。与彩色图像身份识别不同的是，高光谱视频带有丰富的光谱材质信息，可以解决上述问题。与示例一类似，本示例中仍然可以包括两个阶段，即波段选择编码阶段和数据解码推理阶段。其中，波段选择编码阶段为相机端(即前端)完成。首先相机端的数据获取/处理模块通过多个高光谱相机传感器采集高光谱视频数据，针对高光谱视频数据中的至少一帧高光谱图像数据，通过数据校正单元和数据预处理单元对采集到的图像进行校正和/或预处理。之后交互模块通过服务器端(即后端)发送的反馈信息确定是否进行重要波段的更新。当交互模块确定进行重要波段的更新后，通过波段选择编码模块进行重新选择重要波段，并将新的重要波段对应的图像数据发送至服务器端。当然，若当交互模块确定不需要进行重要波段的更新，则可以直接根据最近一次确定的重要波段，确定相应重要波段对应的图像进行数据编码并发送至服务器端。同时，对于反馈信息中可以包括比较结果，用于指示人物身份是否被服务器端识
别出来。当比较结果为识别出人物身份后，在一些例子中，可以根据比较结果将识别出的历史身份图像进行显示，以便前端的管理员进行确认。该过程是为了验证服务器端是否识别正确。当然，若接收到的多次反馈信息均表示未识别出任务身份，此时可以将当前的身份图像进行显示，以便前端的管理员进行相关操作。同时，向服务器端发送存储指令，以便服务器端将未识别出的身份图像进行保存。
[0159]
在一些例子中，在进行重要波段的更新时，当波段重要性单元输出所有波段的重要性信息后，波段选择输出单元可以对所有的波段重要性进行分类，例如表1所示，
[0160]
波段索引下标123456789重要性信息0.60.30.80.20.20.10.80.10.7
[0161]
表1
[0162]
表1示出了一种当前帧的波段重要性向量，该向量可以是波段重要性单元输出的w*。当前帧可以认为是上述采集到高光谱图像的时刻。之后，波段选择输出单元可以根据聚类算法将上述表1进行二分类以得到分为两个类别。其中第一类别如表2所示，
[0163]
波段索引下标1379重要性信息0.60.80.80.7
[0164]
表2以及第二类别如表3所示
[0165]
波段索引下标24568重要性信息0.30.20.20.10.1
[0166]
表3
[0167]
之后，根据两个类别中各个波段对应的重要性信息，确定重要性相对较高的，如第一类别。其中，第一类别中波段索引下标即表示选择出的重要波段。并输出相应重要波段对应的图像，可以记为x[[1,3，7，9]，：]。其中，“：”表示相应重要波段所对应的图像的数据信息。
[0168]
其具体实现过程可以参考图2至图11中前端的相应描述，本发明在此不再赘述。
[0169]
相机端和服务器端之间可以通过有线或无线的方式进行通信。数据解码推理阶段由服务器端完成。如服务器端接收相机端发送的一个或多个重要波段对应的图像后，经过数据解码模块的相应解码后，输入至高光谱跟踪网络中提取特征。在一些例子中，可以同时多个高光谱跟踪网络并行执行，以提取到高光谱图像特征。当通过多个高光谱跟踪网络并行执行后，需要对多个高光谱跟踪网络得到的结果进行融合，以得到当前帧对应的高光谱图像特征。其中，高光谱跟踪网络的数量可以根据实际情况进行任意设定，本发明不做限定。由于该示例的场景为人物身份识别，因此高光谱图像特征可以是身份特征。服务器端通过对比当前帧对应的高光谱图像特征与历史图像数据库中各个历史图像特征，确定是否识别出人物身份。可以理解的是，对比过程是采用当前帧对应的高光谱图像特征与每个历史图像特征进行逐一对比。之后，服务器端将对比后得到的比较信息作为反馈结果发送至相机端。以便相机端在后续运行过程中确定是否进行重要波段的更新。其中，比较信息例如可以是个整数，当比较信息为0时意味着没有识别出人物身份，当比较信息为非0整数时，则比较信息表示为历史图像数据库中与当前帧对应的高光谱图像特征最相似的历史图像特征对应的索引下标。其具体实现过程可以参考图2至图11中后端的相应描述，本发明在此不再
赘述。
[0170]
上述过程波段重要性生成是自动生成的，无需人工参与。采用高光谱身份识别增强了身份识别的准确性，抑制了身份识别的伪装，与前端的结合实现动态交互，具有更强的自适应能力。同时上述方案可以自适应地调整波段选择，以应对不同的任务。
[0171]
图14为本发明实施例提供的一种高光谱图像的传输方法流程图。
[0172]
如图14所示，本发明提供了一种高光谱图像的传输方法。方法可以应用于图像采集设备，即上述图2至图13所描述的前端(或称相机端)。该方法可以包括以下步骤：
[0173]
s1401，获取图像采集设备采集的第一高光谱图像。其中，第一高光谱图像包括多个波段图像，多个波段图像中的每个波段图像为单通道图像，第一高光谱图像的采集时间是第一时刻。
[0174]
在一个可能的实施方式中，还可以包括：对第一高光谱图像进行数据校正和/或数据预处理。其中，数据校正包括白平衡校正、黑平衡校正和/或光谱校正。数据预处理包括数据降噪。
[0175]
s1402，从第一高光谱图像中选择至少一个波段，形成第一目标图像。
[0176]
s1403，发送第一目标图像。
[0177]
在一个可能的实施方式中，发送第一目标图像可以包括：对第一目标图像进行数据压缩。其中，数据压缩可以包括：空间关系压缩、波段间关系压缩和时序关系压缩中的任意一个或者任意多个进行组合。之后，再将压缩后的第一目标图像数据进行发送。在一个例子中，例如可以发送至服务器。本发明通过对待发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，从而便于网络传输，无需通过降低帧率或分辨率便可适应通信。
[0178]
在一个可能的实施方式中，将压缩后的第一目标图像数据进行发送，还可以包括：将压缩后的第一目标图像数据进行量化操作。再将量化操作后的数据进行发送。
[0179]
s1404，获取图像采集设备采集的第二高光谱图像。其中，第二高光谱图像包括多个波段图像，第二高光谱图像的采集时间是第二时刻，第二时刻与第一时刻相邻。
[0180]
在一个可能的实施方式中，还可以包括：对第二高光谱图像进行数据校正和/或数据预处理。其中，数据校正包括白平衡校正、黑平衡校正和/或光谱校正。数据预处理包括数据降噪。
[0181]
s1405，获取图像特征信息。其中，图像特征信息用于表示图像采集设备采集到的第一时间段内的高光谱图像变化情况，第一时间段早于第二时刻。
[0182]
在一个可能的实施方式中，图像特征信息可以包括预测框信息，其中该预测框信息可以是第一时间段内的高光谱图像对应的预测框信息，预测框信息用于表示第一时间段内的高光谱图像中的特征区域。
[0183]
在一个可能的实施方式中，图像特征信息还可以包括：比较结果。该比较结果用于表示第一时间段内的高光谱图像是否产生人物身份变化。
[0184]
在一个可能的实施方式中，若第一时间段内的高光谱图像产生人物身份变化，则方法还可以包括：发送存储指令至服务器。其中，该存储指令用于指示服务器将第一时间段内的高光谱图像特征存入历史图像数据库中。本发明中当确定第一时间段内的高光谱图像产生人物身份变化后，可以发送存储指令，以使得服务器将新的身份信息进行存储，从而保
障在后续检测过程中服务器可以识别出新的身份信息。
[0185]
在一个可能的实施方式中，比较结果可以包括历史身份标识。方法还可以包括：根据比较结果，从身份图像库中确定与历史身份标识相对应的身份信息。并将身份信息进行显示。本发明还可以将识别到的身份信息进行显示，以便管理人员进行进一步确认未产生变化的人物身份信息。
[0186]
在一个可能的实施方式中，图像采集设备中存储有第一时间段内的高光谱图像，方法还可以包括：将第一时间段内的高光谱图像进行显示。之后，可以接收用户指令。该用户指令用于指示第一时间段内的高光谱图像是否产生人物身份变化。本发明还可以将第一时间段内的高光谱图像进行显示，以便管理人员进一步确认是否产生了人物身份变化。
[0187]
在一个可能的实施方式中，方法还可以包括：将图像特征信息保存至历史字典库中。本发明通过将图像特征信息保存至历史字典库中，从而保障在从第二高光谱图像中选择至少一个波段时，确定是否产生了场景变化并在产生场景变化时动态调整选择出的重要波段。
[0188]
在一个可能的实施方式中，获取图像特征信息可以包括：获取服务器发送的图像特征信息。
[0189]
s1406，根据图像特征信息确定是否触发波段调整。
[0190]
在一个可能的实施方式中，根据图像特征信息触发波段调整，还可以包括：当根据图像特征信息确定场景发生变化或人物身份发生变化时，执行s1407。当根据图像特征信息确定场景没有发生变化或人物身份没有发生变化时，执行s1408。本发明通过图像特征信息确定出当产生场景或人物身份变化后触发波段调整，相比现有方式需要人工确定波段数目以及具体的波段且无法自动更新波段，本发明可以保证不同场景下有很好的自适应能力。同时，无需每次都进行波段调整，从而减少不必要的资源消耗。
[0191]
在一个可能的实施方式中，当根据所述图像特征信息和历史字典库，确定预测框信息所对应的特征区域产生变化时，从第二高光谱图像选择至少一个波段。其中，特征区域产生变化为第一时间段内的高光谱图像产生场景变化，历史字典库存储在图像采集设备中，历史字典库中包括图像采集设备采集到的至少一个第二时间段内的高光谱图像的预测框信息，所述第二时间段早于所述第一时间段。本发明通过图像特征信息和历史字典库可以确定是否产生了场景变化，从而触发波段调整，相比现有方式需要人工确定波段数目以及具体的波段且无法自动更新波段，本发明可以在产生场景变化后自动调整波段，保证了在不同场景下有很好的自适应能力。
[0192]
在一个可能的实施方式中，确定第一时间段内的高光谱图像产生场景变化，可以包括：采用比较算法确定第一相似度。其中，第一相似度为第一时间段内的高光谱图像对应的预测框信息与历史字典库中的预测框信息之间的相似度。若第一相似度小于相似度阈值，则可以确定第一时间段内的高光谱图像产生了场景变化。
[0193]
在一个可能的实施方式中，第一时间段内的高光谱图像产生人物身份变化可以包括：第一时间段内的高光谱图像特征与历史图像数据库中的至少一个历史图像特征是否存在相同。若比较结果为第一时间段内的高光谱图像特征与历史图像数据库中的任意一个历史图像特征均不相同，则可以确定第一时间段内的高光谱图像产生人物身份变化。产生人物身份变化
[0194]
s1407，从第二高光谱图像中选择至少一个波段，形成第二目标图像。其中，第二目标图像和第一目标图像的波段部分不同或者全部不同。
[0195]
在一个可能的实施方式中，从第二高光谱图像中选择至少一个波段可以包括：当根据图像特征信息和历史字典库，确定第一时间段内的高光谱图像产生场景变化时，从第二高光谱图像中选择至少一个波段。其中，历史字典库存储在图像采集设备中，历史字典库中包括有图像采集设备采集到的至少一个第二时间段内的高光谱图像的预测框信息。第二时间段早于第一时间段。本发明通过图像特征信息和历史字典库确定是否产生了场景变化，从而触发波段调整，从而保证了在不同场景下有很好的自适应能力。
[0196]
在一个可能的实施方式中，根据从第二高光谱图像中选择至少一个波段可以包括：根据第二时刻的高光谱图像和高光谱图像数据库，确定第二时刻的高光谱图像中各个波段的重要性信息。其中，高光谱图像数据库存储在图像采集设备中，高光谱图像数据库中包括有至少一个早于第二时刻的高光谱图像。之后，可以选择重要性信息大于或等于重要性阈值的波段。本发明通过第二时刻的高光谱图像和高光谱图像数据库重新选择第二时刻的高光谱图像中的波段，从而实现了波段的自适应调整。
[0197]
在一个可能的实施方式中，根据第二时刻的高光谱图像和高光谱图像数据库，确定第二时刻高光谱图像中各个波段的重要性信息，可以包括：将第二高光谱图像和高光谱图像数据库输入至波段重要性生成网络，从而确定出第二高光谱图像数据中各个波段的重要性信息以及高光谱图像数据库中各个高光谱图像的至少一个波段的重要性信息。之后，确定第二相似度。其中，第二相似度为第二高光谱图像中各个波段的重要性信息与高光谱图像数据库中各个高光谱图像的至少一个波段的重要性信息之间的相似度。再将第二相似度作为损失函数进行迭代，调整波段重要性生成网络的参数，以最大化第二相似度。当波段重要性生成网络调整完毕后，可以根据调整后的波段重要性生成网络确定第二高光谱图像中各个波段的重要性信息。本发明通过第二高光谱图像数据和图像采集设备中存储的高光谱图像数据库，动态微调波段重要性生成网络的参数，实现动态调整选择出的重要波段。其中，最大化第二相似度的目的在于在使得微调的过程中的波段重要性变化的更加平缓。
[0198]
s1408，采用第一高光谱图像中选择至少一个波段，形成第二目标图像。
[0199]
s1409，发送第二目标图像。
[0200]
在一个可能的实施方式中，发送第二目标图像可以包括：对第二目标图像进行数据压缩。其中，数据压缩可以包括：空间关系压缩、波段间关系压缩和时序关系压缩中的任意一个或者任意多个进行组合。之后，再将压缩后的第二目标图像数据进行发送。在一个例子中，例如可以发送至服务器。本发明通过对待发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，从而便于网络传输，无需通过降低帧率或分辨率便可适应通信。
[0201]
在一个可能的实施方式中，将压缩后的第二目标图像数据进行发送，还可以包括：将压缩后的第二目标图像进行量化操作。再将量化操作后的数据进行发送。
[0202]
具体实现过程可以参考图2至图13前端(或称相机端)中相应的描述，本发明在此不再赘述。
[0203]
由于高光谱图像的波段非常多，因此在发送时往往仅发送部分波段图像，以减少不必要的数据传输。而目前现有方式在确定波段时通常需要预先设定传输哪些波段对应的
波段图像，同时无法在使用过程中自动更换其它波段。而本发明通过图像特征信息可以确定触发波段调整，该过程无需人工手动调整，也无需预先设定固定的波段数目，从而达到自适应调整需要传输的波段图像。增加了本发明对不同场景的自适应能力，同时还可以保障各种场景或环境下的检测、目标跟踪均能满足业务需求。
[0204]
图15为本发明实施例提供的另一种高光谱图像的传输方法流程图。
[0205]
如图15所示，本发明提供了另一种高光谱图像的传输方法。方法应用于服务器，即上述图2至图13所描述的后端(或称服务器端)。该方法可以包括以下步骤：
[0206]
s1501，接收第三目标图像。其中，第三目标图像为图像采集设备在第一时间段内采集到的高光谱图像。
[0207]
在一个可能的实施方式中，第三目标图像为压缩过的图像。该方法还可以包括：对压缩过的第三目标图像进行数据解压缩。其中，数据解压缩可以包括：空间关系解压缩、波段间关系解压缩和时序关系解压缩中的任意一个或任意多个进行组合。以便将解压后的第三目标图像输入至深度网络进行特征提取。本发明通过在图像采集设备发送时对发送的图像进行空间关系、波段间关系、时序关系以及时间-空间-光谱联合关系中任意一种或多种组合的重构，并在服务器接收后进行相应的解压缩，从而保障在图像采集设备与服务器之间通信时无需通过降低帧率或分辨率，便于网络传输。
[0208]
s1502，将第三目标图像输入至深度网络进行特征提取，确定第一时间段内的高光谱图像特征。
[0209]
s1503，根据第一时间段内的高光谱图像特征确定图像特征信息。
[0210]
在一个可能的实施方式中，图像特征信息包括第一时间段内的高光谱图像对应的预测框信息。预测框信息用于表示第一时间段内的高光谱图像中的特征区域。根据第一时间段内的高光谱图像特征确定图像特征信息可以包括：根据第一时间段内的高光谱图像特征确定第一时间段内的高光谱图像对应的预测框信息。
[0211]
在一个可能的实施方式中，图像特征信息还可以包括比较结果。比较结果用于表示第一时间段内的高光谱图像是否产生人物身份变化。根据第一时间段内的高光谱图像特征确定图像特征信息可以包括：将第一时间段内的高光谱图像特征与历史图像数据库中的每个历史图像特征进行比较，确定比较结果。其中，历史图像数据库中可以包括至少一个历史图像特征。本发明通过对第一时间段内的高光谱图像特征与历史图像数据库中的历史图像特征进行比较，从而确定人物身份是否发生了变化，以便图像采集设备根据比较结果确定是否进行波段调整。
[0212]
在一个可能的实施方式中，该方法还可以包括：接收存储指令。在一个例子中，例如可以接收图像采集设备发送的存储指令。然后，可以根据存储指令将第一时间段内的高光谱图像特征存入历史图像数据库中。本发明通过将第一时间段内的高光谱图像特征存入历史图像数据库保障了在后续检测过程中可以识别出新的人物身份信息。
[0213]
s1504，发送图像特征信息。
[0214]
具体实现过程可以参考图2至图13后端(或称服务器端)中相应的描述，本发明在此不再赘述。
[0215]
本发明通过将包含预测框信息和/或比较结果的图像特征信息进行发送，以便图像采集设备可以根据图像特征信息确定出是否产生了场景变化或人物身份变化，并在产生
场景变化或人物身份变化后触发波段调整。相比现有方式在确定波段时通常需要预先设定传输哪些波段对应的波段图像，同时无法在使用过程中自动更换其它波段。本技术的实现过程无需人工手动调整，也无需预先设定固定的波段数目即可在产生场景变化或人物身份变化时调整波段，增加了对不同场景的自适应能力。从而保障了各种场景或环境下的检测、目标跟踪均能满足业务需求。
[0216]
图16为本发明实施例提供的一种高光谱图像的传输装置示意图。
[0217]
如图16所示，本发明还提供了一种高光谱图像的传输装置1600。装置1600可以是上述图2至图15中描述的图像采集设备(或称前端、相机端)。该装置1600可以包括：处理器1610、外部存储器接口1620、内部存储器1621、通用串行总线(universal serial bus，usb)接口1630、充电管理模块1640、电源管理模块1641、电池1642、通信模块1650、摄像头1660和显示屏1670等。
[0218]
可以理解的是，本发明实施例示意的结构并不构成对装置1600的具体限定。装置1600可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0219]
处理器1610可以是高级精简指令集处理器(advanced reduced instruction set computing machines，arm)、x86、无内部互锁流水级的微处理器(microprocessor without interlocked piped stages，mips)等架构的处理器。处理器1610可以包括一个或多个处理单元，例如：应用处理器(application processor，ap)，调制解调处理器，gpu，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0220]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0221]
处理器1610中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1610中的存储器为高速缓冲存储器。该存储器可以保存处理器1610刚用过或循环使用的指令或数据。如果处理器1610需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器1610的等待时间，因而提高了系统的效率。
[0222]
在一些实施例中，处理器1610可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口、集成电路内置音频(inter-integrated circuit sound，i2s)接口、脉冲编码调制(pulse code modulation，pcm)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口、移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口、用户标识模块(subscriber identity module，sim)接口和/或通用串行总线(universal serial bus，usb)接口等。
[0223]
充电管理模块1640用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
[0224]
在一些有线充电的实施例中，充电管理模块1640可以通过usb接口1630接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块1640可以通过装置1600的
无线充电线圈接收无线充电输入。充电管理模块1640为电池1642充电的同时，还可以通过电源管理模块1641为装置1600供电。
[0225]
装置1600的通信功能可以通过通信模块1250、调制解调处理器以及基带处理器等实现。例如可以提供有线或无线的方式进行通信。
[0226]
装置1600通过gpu，显示屏1670，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏1670和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器1610可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0227]
显示屏1670用于显示图像，视频等。显示屏1670包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode，oled)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)、柔性发光二极管(flex light-emitting diode，fled)、miniled、microled、micro-oled和量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，装置1600可以包括1个或n个显示屏1670，n为大于1的正整数。
[0228]
装置1600可以通过isp、摄像头1660、视频编解码器、gpu、显示屏1670以及应用处理器等实现拍摄功能。
[0229]
摄像头1660可以是高光谱相机传感器，用于捕获高光谱静态图像或高光谱视频。在一些实施例中，装置1600可以包括1个或n’个摄像头1660，n’为大于1的正整数。
[0230]
外部存储器接口1620可以用于连接外部存储卡，例如micro sd卡，实现扩展装置1600的存储能力。外部存储卡通过外部存储器接口1620与处理器1610通信，实现数据存储功能。例如将音频，视频等文件保存在外部存储卡中。
[0231]
内部存储器1621可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器1621可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储装置1600使用过程中所创建的数据(比如音频数据等)等。此外，内部存储器1621可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器1610通过运行存储在内部存储器1621的指令，和/或存储在设置于处理器中的存储器的指令，执行装置1600的各种功能应用以及数据处理。
[0232]
本发明所提供的装置1600可以实现上述图2至图15中描述的任意一种图像采集设备(或称前端、相机端)，具体实现方式可以参考述图2至图15中的相应描述，在此不再赘述。
[0233]
图17为本发明实施例提供的另一种高光谱图像的传输装置示意图。
[0234]
如图17所示，本发明还提供了另一种高光谱图像的传输装置1700。装置1700可以是上述图2至图15中描述的服务器(或称后端、服务器端)。该装置1700可以包括：处理器1710、外部存储器接口1720、内部存储器1721、usb接口1730、充电管理模块1740、电源管理模块1741、电池1742、通信模块1750和显示屏1760等。
[0235]
可以理解的是，本发明实施例示意的结构并不构成对装置1700的具体限定。装置1700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0236]
处理器1710可以是arm、x86、mips等架构的处理器。处理器1710可以包括一个或多个处理单元，例如：ap，调制解调处理器，gpu，isp，控制器，视频编解码器，dsp，基带处理器和/或npu等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0237]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0238]
处理器1710中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1710中的存储器为高速缓冲存储器。该存储器可以保存处理器1710刚用过或循环使用的指令或数据。如果处理器1710需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器1710的等待时间，因而提高了系统的效率。
[0239]
在一些实施例中，处理器1710可以包括一个或多个接口。接口可以包括i2c接口、i2s接口、pcm接口、uart接口、mipi，gpio接口和/或usb接口等。
[0240]
充电管理模块1740用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
[0241]
在一些有线充电的实施例中，充电管理模块1740可以通过usb接口1730接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块1740可以通过装置1700的无线充电线圈接收无线充电输入。充电管理模块1740为电池1742充电的同时，还可以通过电源管理模块1741为装置1700供电。
[0242]
装置1700的通信功能可以通过通信模块1750、调制解调处理器以及基带处理器等实现。例如可以提供有线或无线的方式进行通信。
[0243]
装置1700通过gpu，显示屏1760，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏1760和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器1710可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0244]
显示屏1760用于显示图像，视频等。显示屏1760包括显示面板。显示面板可以采用lcd、oled、amoled、fled、miniled、microled、micro-oled和qled等。在一些实施例中，装置1700可以包括1个或n个显示屏1760，n为大于1的正整数。
[0245]
外部存储器接口1720可以用于连接外部存储卡，例如micro sd卡，实现扩展装置1700的存储能力。外部存储卡通过外部存储器接口1720与处理器1710通信，实现数据存储功能。例如将音频，视频等文件保存在外部存储卡中。
[0246]
内部存储器1721可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器1721可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储装置1700使用过程中所创建的数据(比如音频数据等)等。此外，内部存储器1721可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，ufs等。处理器1710通过运行存储在内部存储器1721的指令，和/或存储在设置于处理器中的存储器的指令，执行装置1700的各种功能应用以及数据处理。
[0247]
本发明所提供的装置1700可以实现上述图2至图15中描述的任意一种服务器(或称后端、服务器端)，具体实现方式可以参考述图2至图15中的相应描述，在此不再赘述。
[0248]
本发明通过定义了面向安防监控领域的场景自适应的波段选择流程。与现有方式
不同，本发明可以面向视频数据而不是仅仅是图像数据，可以充分利用时间-空间-光谱信息。此外，通过前端和后端交互自适应的选择出和场景匹配的重要波段进行数据传输和处理，降低了对传输带宽和计算的要求，增强了对不同场景的自适应能力。最后，根据应用任务自适应地选择出一些波段而无需事先确定波段数目，对变化复杂的视频监控场景具有更强的表征能力。
[0249]
同时，基于数据驱动深度学习算法对高光谱视频数据的时间-空间-光谱联合关系建模挖掘出高光谱数据波段之间的关系，避免了传统手工先验带来的应用局限问题和优化耗时问题，具有更强的实时性。
[0250]
本发明通过结合前端的数据采集和后端实现了交互，从而自适应选择出重要的波段进行传输，降低了对硬件设备的要求，可以增强智能视频监控的实时性。通过机器学习的方式在前端灵活地选定最适合的重要波段，并将重要波段对应的图像数据传输到后端计算平台使用，从而减少传输系统的带宽扩容投资和后端存储分析的开销。
[0251]
本发明通过自适应交互波段选择方式，动态地选择和传输有效的重要波段，从而降低传输的需求同时又能最大程度的使用目标环境的知识。
[0252]
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0253]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
[0254]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。