无人机模型验证方法、装置、电子设备及介质与流程

1.本发明涉及无人机及人工智能技术领域，尤其涉及一种无人机模型验证方法、装置、电子设备及介质。


背景技术：

2.随着目前目标识别领域在无人机的广泛应用，但是大部分的目标识别的实现都是基于python下进行的学术研究阶段，该阶段受限于各种复杂的操作流程，且没有良好的交互体验，更无系统性的数据管理与分析功能。


技术实现要素：

3.本发明实施例的主要目的在于提出一种无人机模型验证方法、装置、电子设备及介质，实现了对模型的高效及可控的验证。
4.本发明的一方面提供了一种无人机模型验证方法，包括：
5.响应于无人机验证请求，获取待测模型及待测媒体资源；
6.对所述待测模型及所述待测媒体资源执行预处理，对所述待测模型的预处理为初始化，对所述待测媒体资源的预处理为降噪、去模糊和去雾中的至少一种；
7.获取所述待测模型的参数，调用模型运行接口、图形接口及可视化对所述待测媒体资源通过所示待测模型执行预测，将预测结果叠加于所述待测媒体资源并执行可视化显示。
8.根据所述的无人机模型验证方法，所述方法还包括：
9.根据所述待测模型，执行所述待测模型运行环境的构建；
10.对所述待测模型的所述参数执行校验。
11.根据所述的无人机模型验证方法，所述对所述待测模型的预处理还包括：
12.对所述待测模型执行预热，所述预热包括对所述待测模型加载至内存中，对所述待测模型连续设置多个标准变量参数并执行运行基础。
13.根据所述的无人机模型验证方法，所述对所述待测媒体资源的预处理，包括：
14.获取所述待测媒体资源的类型，其中所述待测媒体资源的类型包括图片、离线视频及流媒体；
15.若所述待测媒体资源的类型为所述图片和所述离线视频中的至少一种，执行对应的解码处理，若所述待测媒体资源的类型为流媒体，根据所述流媒体的在线编码方式及本地解码方式；
16.根据解码得到的文件类型，采用对应的方式执行加载，若为图片或视频文件类型时，调用opencv库的cv::videocapture执行加载，通过调用.net writeablebitmap执行显示。
17.根据所述的无人机模型验证方法，所述获取所述待测模型的参数，调用模型运行接口、图形接口及可视化对所述待测媒体资源通过所示待测模型执行预测包括：
18.执行所述待测媒体资源的播放，包括播放所述待测媒体资源的每一帧图像，并对每一帧图像执行预测，将所述预测结果叠加在待测媒体资源并以图表化的形式进行可视化展示每一帧图像的预测结果；
19.动态调整所述待测模型的所述参数，并将经过动态调整所述参数后的预测结果进行可视化显示。
20.根据所述的无人机模型验证方法，所述将所述预测结果叠加在待测媒体资源并以图表化的形式进行可视化展示每一帧图像的预测结果，包括：
21.对所述待测结果数据和所述待测媒体资源执行本地映射，进而完成所述待测结果数据和所述待测媒体资源与可视化控件或接口的绑定；
22.对所述预测结果采用前端进行显示，后端执行逻辑处理，其中前端和后端基于所述待测结果和所述待测媒体资源的绑定关系执行可视化显示的触发、转换及动态资源调用中的至少一种处理。
23.根据所述的无人机模型验证方法，所述方法还包括：
24.通过所述后端采用异步线程执行逻辑数据处理。
25.本发明的技术方案还包括一种无人机模型验证装置，包括：
26.验证请求模块，用于响应于无人机验证请求，获取待测模型及待测媒体资源；
27.预处理模块，用于对所述待测模型及所述待测媒体资源执行预处理，对所述待测模型的预处理为初始化，对所述待测媒体资源的预处理为降噪、去模糊和去雾中的至少一种；
28.模型预测模块，用于获取所述待测模型的参数，调用模型运行接口、图形接口及可视化对所述待测媒体资源通过所示待测模型执行预测，将预测结果叠加于所述待测媒体资源并执行可视化显示。
29.本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
30.所述存储器用于存储程序；
31.所述处理器执行所述程序实现如前文所描述的方法。
32.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前文所描述的方法。
33.本发明的有益效果为：通过对目标识别训练的待测模型的算法验证方法，将满足要求的目标识别模型执行可视化验证和可控验证，提高了在目标识别模型较多时，减少开发测试的时间，提高了模型验证及测试的效率。
34.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
35.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
36.图1是本发明实施例的无人机模型验证方法的流程示意图。
37.图2是本发明实施例的无人机模型初始化流程图。
38.图3是本发明实施例的媒体资源初始化流程示意图。
39.图4是本发明实施例的预测结果与可视化展示示意图。
40.图5是本发明实施例的数据绑定及通知更改流程示意图。
41.图6是本发明实施例装置示意图。
具体实施方式
42.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。在本后续的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
43.如图1所示，本发明实施例提供了一种无人机模型验证方法的流程，该方法具体包括但不限于步骤s100-s300。
44.步骤s100，响应于无人机验证请求，获取待测模型及待测媒体资源。
45.在一些实施例中，对于目标识别模型，需要根据目标识别模型的要求，创建对应的运行环境。
46.在一些实施例中，以基于pytorch训练的torch scrip yolo模型为例，需要将yolo模型转换为torch script模型导入。
47.在一些实施例中，导入待测的yolo模型(需为torch script类模型)并导入，模型会自动加载并执行预热(模型的导入及预测主要通过对libtorch库函数的封装实现，libtorch库为pytorch的c 版本)。
48.步骤s200，对待测模型及待测媒体资源执行预处理，对待测模型的预处理为初始化，对待测媒体资源的预处理为编码和解码中的至少一种。
49.在一些实施例中，模型的导入过程，需要对模型的参数的校验，导入完毕后，会自动进行测试前的模型预热。
50.在一些实施例中，一般训练后的模型在首次预测时会进行较长时间，为了不影响后面模型预测的等时性，该过程会预先进行，其中的预热包括将待测模型加载至内存中，对待测模型连续设置多个标准变量参数并执行运行基础。
51.在一些实施例中，参考图2，其公开了媒体资源初始化流程示意图，包括但不限于不在s210～s230：
52.s210，获取待测媒体资源的类型，其中待测媒体资源的类型包括图片、离线视频及流媒体；
53.s220，若待测媒体资源的类型为图片和离线视频中的至少一种，执行对应的解码
处理，若待测媒体资源的类型为流媒体，根据流媒体的在线编码方式及本地解码方式；
54.在一些实施例中，媒体资源指代目前熟知的视频文件及图片文件，多以mp4、avi、jpeg、png为主，主要的媒体文件类型都根据其类型进行直接解码并导入进行测试。
55.在一些实施例中，媒体资源文件除了离线视频文件资源外，还支持rtsp、rtmp、udp三种在线流媒体文件格式，具体实施效果主要受其视频编码技术及本地解码格式而定。
56.s230，根据解码得到的文件类型，采用对应的方式执行加载，若为图片文件类型。
57.在一些实施例中，调用opencv库的cv::videocapture执行加载，通过调用.net writeablebitmap执行显示。
58.在一些实施例中，参考图4，选择待测的媒体文件并导入(媒体文件为视频文件时，会加载显示第一帧的图像，若为图片类文件时，则直接显示对应图像，该过程主要通过对opencv库的cv::videocapture类的封装进行视频导入方法的实现，图像帧的显示则通过使用.net writeablebitmap类进行实现)。
59.步骤s300，获取待测模型的参数，调用模型运行接口、图形接口及可视化对待测媒体资源通过所示待测模型执行预测，将预测结果叠加于待测媒体资源并执行可视化显示。
60.在一些实施例中，模型验证结果数据的显示过程，如通过wpf datagrid控件、image控件以及oxyplot图表控件来完成。
61.在一些实施例中，可视化显示基于mvvm框架下，参考图5，需要使用dapper进行数据的本地映射，再由绑定及委托机制完成数据到控件的映射。本发明的实施例中，可视化过程是由xaml前端与逻辑层组成，利用wpf自身的绑定机制，以及充分融合了mvvm架构的前提下，结合触发器、转换器以及动态资源的调用来完成，利用这套方案解决了以往使用winform、mfc等mvc框架下实现数据可视化难及高耦合的问题。
62.在一些实施例中，参考图3，其公开的流程包括但不限于步骤s310～s320：
63.步骤s310，执行待测媒体资源的播放，包括播放待测媒体资源的每一帧图像，并对每一帧图像执行预测，将预测结果叠加在待测媒体资源并以图表化的形式进行可视化展示每一帧图像的预测结果；
64.在一些实施例中，前端编写使用xaml语言，与传统gui框架不一样，该方案能很好的做到前后端数据分离，xaml能方便地自定义各种复杂的前端布局及控件样式，结合mvvm架构，后期维护成本更低。
65.在一些实施例中，通过前后端实现手动中途停止，也可以执行完毕后自动停止，停止后所记录的数据可以通过连接数据库后进行导出工作。
66.步骤s320，动态调整待测模型的参数，并将经过动态调整参数后的预测结果进行可视化显示。
67.在一些实施例中，后端逻辑大量使用线程异步等待方法进行耗时数据处理，相比传统线程调用来说，线程异步等待可控性更强，利用异步特性，不会阻塞主线程其他方法，而且还无需额外建立线程等待检测方法。
68.参考图6，是本发明实施例提供的置示意图，该装置包括了验证请求模块601、预处理模块602及模型预测模块603；
69.其中，验证请求模块，用于响应于无人机验证请求，获取待测模型及待测媒体资源；预处理模块，用于对待测模型及待测媒体资源执行预处理，对待测模型的预处理为初始
化，对待测媒体资源的预处理为降噪、去模糊和去雾中的至少一种；模型预测模块，用于获取待测模型的参数，调用模型运行接口、图形接口及可视化对待测媒体资源通过所示待测模型执行预测，将预测结果叠加于待测媒体资源并执行可视化显示。
70.示例性地，在装置中的验证请求模块、预处理模块及模型预测模块的协同下，实施例装置可以实现前述的任意一种无人机模型验证方法，即响应于无人机验证请求，获取待测模型及待测媒体资源；对待测模型及待测媒体资源执行预处理，对待测模型的预处理为初始化，对待测媒体资源的预处理为降噪、去模糊和去雾中的至少一种；获取待测模型的参数，调用模型运行接口、图形接口及可视化对待测媒体资源通过所示待测模型执行预测，将预测结果叠加于待测媒体资源并执行可视化显示。本发明通过对目标识别训练的待测模型的算法验证方法，将满足要求的目标识别模型执行可视化验证和可控验证，提高了在无人机识别模型较多时，减少开发测试的时间，提高了模型验证及测试的效率。
71.本发明实施例还提供了一种电子设备，该电子设备包括处理器以及存储器；
72.存储器存储有程序；
73.处理器执行程序以执行前述的无人机模型验证方法；该电子设备具有搭载并运行本发明实施例提供的无人机模型验证的软件系统或控制设备的功能，例如，个人计算机(personal computer，pc)、手机、智能手机、个人数字助手(personal digital assistant，pda)、可穿戴设备、掌上电脑ppc(pocket pc)、平板电脑等。
74.本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的无人机模型验证方法。
75.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
76.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的无人机模型验证方法。
77.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
78.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以
存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
79.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
80.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
81.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
82.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
83.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
84.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。