一种视觉信息处理方法、电子设备和介质与流程

本发明涉及计算机视觉，尤其涉及一种视觉信息处理方法、电子设备和计算机可读介质。

背景技术：

1、机器视觉在安防监控、智能机器人、视觉成像拍摄等领域的应用都依赖视觉信息的采集与处理。

2、现有技术中视觉信息处理方法的常规思路是：根据具体应用场景的功能需求，准备对应的训练数据（如筛选样本、标准样本、合成样本），对预训练的检测、分割、识别、跟踪、图像构图质量评估等基础算法进行微调适配，训练得到特定模型以处理特定场景的任务。

3、然而，当前处理方法的场景适应性普遍不足，难以在多个应用场景之间实现灵活、自适应的切换。

技术实现思路

1、本发明旨在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种视觉信息处理方法、一种执行所述视觉信息处理方法的电子设备和一种计算机可读介质，具有基于世界描述实现了跨任务场景的灵活、自适应切换，显著提升了视觉信息处理方法的通用性。

2、为了达到上述目的，作为本发明的第一个方面，提供了一种视觉信息处理方法，其中，所述视觉信息处理方法包括：

3、接收视觉信息处理指令；

4、根据所述视觉信息处理指令确定应用场景类别；

5、根据所述应用场景类别调用对应的传感器；其中，多个传感器搭载在终端设备上；

6、获取调用的传感器采集的感知信息；

7、根据感知信息对所述终端设备所在的环境进行环境建模，得到当前世界描述；其中，所述世界描述包括用于表征所述终端设备所处的环境信息的环境元素、物体元素、部件元素、关系元素和属性元素；

8、根据所述当前世界描述和所述应用场景类别确定与所述应用场景类别匹配的处理结果。

9、可选的，所述根据感知信息对所述终端设备所在的环境进行环境建模，得到当前世界描述，包括：

10、识别感知信息中的目标物体和所述目标物体的部件，将目标物体作为当前世界描述的物体元素；将目标物体的部件作为当前世界描述中与物体元素对应的部件元素；

11、识别感知信息中的目标物体的属性特征，将所述属性特征作为当前世界描述中与物体元素对应的属性元素；

12、对所述感知信息进行环境分析，得到所述感知信息的环境信息，将所述环境信息作为当前世界描述的环境元素；

13、确定所述物体元素、部件元素、属性元素和环境元素之间的关联关系，将所述关联关系作为当前世界描述的关系元素。

14、可选的，所述视觉信息处理方法还包括：

15、利用目标检测识别算法识别出视觉图像中的目标物体和所述目标物体的部件，将目标物体作为当前世界描述的物体元素；将目标物体的部件作为当前世界描述中与物体元素对应的部件元素；

16、利用主体属性识别算法识别出目标物体的属性特征，将所述属性特征作为当前世界描述中与物体元素对应的属性元素；

17、根据待确定的环境元素确定与之对应的环境特征提取算法，将所述环境特征提取算法提取到的环境特征作为当前世界描述的环境元素；

18、将确定出的当前世界描述的物体元素、部件元素、属性元素和环境元素输入至知识图谱中，得到各元素之间的关联关系，将所述关联关系作为当前世界描述的关系元素；其中，所述知识图谱存储有各类元素间的关联规则。

19、可选的，根据所述当前世界描述和所述应用场景类别确定与所述应用场景类别匹配的处理结果，包括：

20、确定与所述应用场景类别匹配的场景处理知识库；

21、根据所述场景处理知识库对当前世界描述进行场景处理，得到处理结果；

22、在所述应用场景类别为检测场景的情况下，根据检测场景处理知识库确定所述物体元素在视觉图像的位置信息和与物体元素对应的属性元素，得到包括位置信息和属性信息的目标检测结果；

23、在所述应用场景类别为识别场景的情况下，根据识别场景处理知识库确定所述物体元素的类别标签和物体元素的部件元素，得到包括物体类别与部件的目标识别结果；

24、在所述应用场景类别为跟踪场景的情况下，根据跟踪场景处理知识库确定所述物体元素在连续视频帧的位置信息和所述关系元素，得到包括目标运动轨迹的跟踪结果；

25、在所述应用场景类别为拍摄场景的情况下，根据拍摄场景处理知识库确定所述环境元素、物体元素、部件元素、关系元素和属性元素，得到包括拍摄参数和运镜参数的拍摄结果。

26、可选的，所述在所述应用场景类别为拍摄场景的情况下，根据所述环境元素、物体元素、部件元素、关系元素和属性元素，得到拍摄参数和运镜参数的拍摄结果，包括：

27、根据传感器采集的感知信息确定物理状态信息；

28、根据所述物理状态信息、环境元素、物体元素、部件元素、关系元素和属性元素进行拍摄语义转化，得到拍摄参数和运镜参数。

29、可选的，所述视觉信息处理指令包括自然语言形式的视觉信息处理指令和结构化形式的视觉信息处理指令中的至少一者；

30、所述根据所述视觉信息处理指令确定应用场景类别，包括：

31、在所述视觉信息处理指令为自然语言形式的视觉信息处理指令的情况下，对所述自然语言形式的视觉信息处理指令进行意图识别，得到应用场景类别；

32、在所述视觉信息处理指令为结构化形式的视觉信息处理指令的情况下，提取所述结构化形式的视觉信息处理指令中的应用场景类别。

33、可选的，对所述自然语言形式的视觉信息处理指令进行意图识别，得到应用场景类别，包括：

34、识别所述自然语言形式的视觉信息处理指令，提取与场景相关的关键词；

35、将提取到的关键词与预设的模板库进行匹配，从多个候选场景类别中确定出初始应用场景类别。

36、可选的，所述视觉信息处理方法，还包括：

37、根据预设的场景类别或任务类型，生成提示词模板；

38、向用户展示所述提示词模板，以引导用户按照所述提示词模板输入视觉信息处理指令。

39、作为本发明的第二个方面，提供一种电子设备，其中，包括：

40、一个或多个处理器；

41、存储器，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据本发明第一个方面所提供的视觉信息处理方法。

42、此外，作为本发明的第三个方面，还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明第一个方面所提供的视觉信息处理方法。

43、本技术的视觉信息处理方法，通过接收视觉信息处理指令；确定与所述视觉信息处理指令对应的应用场景类别；根据所述应用场景类别调用对应的传感器；其中，多个传感器搭载在终端设备上；获取调用的传感器采集的感知信息；根据感知信息对所述终端设备所在的环境进行环境建模，得到当前世界描述；其中，所述世界描述包括用于表征所述终端设备所处的环境信息的环境元素、物体元素、部件元素、关系元素和属性元素；根据所述当前世界描述和所述应用场景类别确定与所述应用场景类别匹配的处理结果。

44、在确定应用场景类别的过程中，可利用大语言模型或本地轻量化语义识别方式，对自然语言形式的视觉信息处理指令进行意图识别；对结构化形式的视觉信息处理指令，则直接提取场景标识，通过差异化解析确定与所述视觉信息处理指令对应的应用场景类别。该方式一方面能够借助大语言模型的语义理解能力，兼容用户口语化、非标准化的自然语言输入，降低用户操作门槛；另一方面，对常规结构化指令采用直接提取的方式，无需复杂语义解析，保障指令解析高效稳定。两种差异化处理方式兼顾了交互便捷性与处理实时性，可适配多样化的交互场景。

45、本技术不针对特定的场景训练模型，而是根据视觉信息处理指令确定应用场景类别；当指令变化时，应用场景类别自动变化；同时，自适应调整和调用对应的传感器类型，实现采集感知信息、世界描述构建、和处理结果的实时更新。解决了传统方法中任务场景与模型训练强耦合、视觉信息处理方法适应性较差的问题。

46、本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。