问答方法、装置、设备、介质、程序产品和系统与流程

本技术涉及计算机，特别涉及一种问答方法、装置、设备、介质、程序产品和系统。

背景技术：

1、智能问答(intelligent question answering，iqa)是一种基于人工智能和自然语言处理(natural language processing，nlp)技术的服务。具有智慧问答功能的问答系统(或问答设备)通过获取用户的提问，确定用户提问对应的回答并将回答提供给用户，例如通过显示文本、语音播报等方式向用户提供回答。

2、然而，对于与流程化任务(例如设备使用、设备调试、设备维修、手工艺品制作等具有既定步骤的任务)相关的提问，设备确定出的回答通常是一段标准化的文本内容，其中通常会涉及一些专业名词(例如螺栓、紧急开锁装置等)或专业操作等，用户可能会耗费大量时间理解回答。

3、并且，对于不同的用户提出的相同的问题，问答系统确定出的回答通常是相同的，但回答并未结合用户所处的场景(例如用户实际需要调试设备的设备型号)，该相同的回答可能并不能准确解决不同用户的问题。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种问答方法、装置、设备、介质、程序产品和系统。

2、本技术的第一方面提供了一种问答方法，应用于第一设备，包括：显示第一图像；响应于用户输入与第一图像相关联的第一提问的操作，获取用户输入的第一提问；针对第一提问提供第一回答，第一回答包括第二图像，第二图像是根据第一图像生成的，并且第二图像包括第一提示信息和第一图像中的至少部分内容，第一提示信息用于指示至少部分内容与第一回答相关联。

3、在本技术实施例中，第一设备提供的针对第一提问的第一回答是基于第一提问以及与第一提问相关联的第一图像确定的。如此，对于不同用户的相同提问，第一设备提供的对应用户提问的回答可能是不同的，并且回答与对应的用户所处的场景(例如与用户提问相关联的图像中的至少部分内容(如用户需要调试的设备)等)的相关性更强。并且，第一设备提供的针对第一提问的第一回答包括第二图像，第二图像包括第一提示信息和第一图像中的至少部分内容，第一提示信息用于指示至少部分内容与第一回答相关联。如此，得到的回答更直观，更易于用户的理解和操作，从而提高用户的使用体验。

4、在上述第一方面的一种可能的实现中，第一图像的形式为图片、动态图片或视频。

5、在上述第一方面的一种可能的实现中，显示第一图像，包括：在第一设备的相机应用的图像取景界面显示第一图像；或者，在第一设备的即时通讯应用的视频通话界面显示第一图像；或者，在第一设备的相册应用的图像预览界面显示第一图像。

6、在本技术实施例中，第一设备在相机应用的图像取景界面显示第一图像。或者，第一设备在第一设备的即时通讯应用的视频通话界面显示第一图像。若第一图像是第一设备的摄像头捕获的图像，则在第一窗口显示第一图像。若第一图像是第一设备接收到的第二设备发送的由第二设备的摄像头捕获的图像，则在第二窗口显示第一图像。第一窗口是用于显示第一设备的摄像头捕获的图像的显示窗口，第二窗口是用于显示第一设备接收的第二设备发送的由第二设备的摄像头捕获的图像的显示窗口。或者，第一设备在相册应用的图像预览界面显示第一图像。

7、在上述第一方面的一种可能的实现中，第一图像为第一设备的摄像头捕获的图像；在第一设备的即时通讯应用的视频通话界面显示第一图像，包括：在第一设备的即时通讯应用的用于显示第一设备的摄像头捕获图像的第一显示窗口显示第一图像；并且，针对第一提问提供第一回答，包括：在第一设备的即时通讯应用的视频通话界面显示第二图像，并基于即时通讯应用将包括第二图像的第一回答发送至第二设备，其中，第二设备是与第一设备进行视频通话的电子设备。

8、在本技术实施例中，第一设备在第一设备的第一显示窗口或者用于显示第一回答的显示窗口显示第二图像，并将包括第二图像的第一回答发送至第二设备，以使得，第二设备在第二设备的即时通讯应用的用于显示第一设备捕获并发送的图像的显示窗口显示第二图像，或者，在第二设备的即时通讯应用的用于显示第一设备发送的回答的显示窗口显示第二图像。

9、在上述第一方面的一种可能的实现中，第一图像为第二设备的摄像头捕获并发送至第一设备的图像，其中，第二设备是与第一设备进行视频通话的电子设备；在第一设备的即时通讯应用的视频通话界面显示第一图像，包括：在第一设备的即时通讯应用的用于显示第二设备的摄像头捕获图像的第二显示窗口显示第一图像；并且，针对第一提问提供第一回答，包括：在第一设备的即时通讯应用的视频通话界面显示第二图像，并基于即时通讯应用将包括第二图像的第一回答发送至第二设备。

10、在本技术实施例中，第一设备在第一设备的第二显示窗口或者用于显示第一回答的显示窗口显示第二图像，并将包括第二图像的第一回答发送至第二设备，以使得，第二设备在第二设备的即时通讯应用的用于显示第一设备捕获并发送的图像的显示窗口显示第二图像，或者，在第二设备的即时通讯应用的用于显示第一设备发送的回答的显示窗口显示第二图像。

11、在上述第一方面的一种可能的实现中，第一提示信息用于指示下列中的至少一种信息：操作对象的位置、操作方向、操作内容；并且，第一提示信息包括下列中的至少一种：提示符、文本。

12、在上述第一方面的一种可能的实现中，第一回答用于指示针对第一提问的回答的一个或多个操作步骤。

13、在上述第一方面的一种可能的实现中，第二图像用于指示第一回答的多个操作步骤中的第i个操作步骤，并且，第一回答还包括第三图像，第三图像用于指示第一回答的多个操作步骤中的第i+1个操作步骤，其中，i为大于0的整数；方法还包括：检测到用户的第一操作，第一操作用于查看第i+1个操作步骤，显示第三图像。

14、在本技术实施例中，若第一结构化数据中包括对应多个操作步骤的结构化数据，则电子设备100确定第二待渲染图像，并基于第一结构化数据中对应第i+1个操作步骤的结构化数据对第二待渲染图像进行渲染，得到渲染结果(第三图像)。

15、在本技术实施例中，若第一结构化数据中仅包括对应第i个操作步骤的结构化数据，则电子设备100确定对应第二图像，以及第一提问和/或第二提问的第二结构化数据，确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到渲染结果(第三图像)。或者，若第一结构化数据中仅包括对应第i个操作步骤的结构化数据，则电子设备100确定对应第一图像，以及第一提问和/或第二提问的第二结构化数据，确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到渲染结果(第三图像)。

16、在上述第一方面的一种可能的实现中，方法还包括：检测到用户输入与第二图像相关联的第二提问的操作；提供针对第二提问的第二回答，其中，第二回答包括第四图像，第四图像包括第二提示信息和第二图像的至少部分内容。

17、在本技术实施例中，第二提示信息用于指示下列中的至少一种信息：操作对象的位置、操作方向、操作内容。第二提示信息包括下列中的至少一种类型：提示符、文本。例如，第二提示信息可以是前述图2a至图7e所示的场景中的方框箭头等提示符。

18、在本技术实施例中，若第二提问是对应于针对第一提问的回答的多个操作步骤的第i+1个操作步骤的提问，且第一结构化数据中包括对应多个操作步骤的结构化数据，则电子设备100确定第二待渲染图像，并基于第一结构化数据中对应第i+1个操作步骤的结构化数据对第二待渲染图像进行渲染，得到渲染结果(第四图像)，并得到包括第四图像的第二回答。

19、在本技术实施例中，若第二提问是对应于针对第一提问的回答的多个操作步骤中的第i+1个操作步骤的提问，且第一结构化数据中仅包括对应第i个操作步骤的结构化数据，则电子设备100确定对应第一图像，以及第一提问和/或第二提问的第二结构化数据，确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到渲染结果(第四图像)，并得到包括第四图像的第二回答。或者，若第二提问是对应于针对第一提问的回答的多个操作步骤中的第i+1个操作步骤的提问，且第一结构化数据中仅包括对应第i个操作步骤的结构化数据，则电子设备100确定对应第二图像，以及第一提问和/或第二提问的第二结构化数据，确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到渲染结果(第四图像)，并得到包括第四图像的第二回答。

20、在本技术实施例中，第二结构化数据可以基于第一提问和第一图像确定，第二结构化数据也可以基于第二提问和第一图像确定，第二结构化数据也可以仅基于第一提问、第二提问和第一图像确定，第二结构化数据也可以基于第一提问和第二图像确定，第二结构化数据也可以基于第二提问和第二图像确定，第二结构化数据还可以基于第一提问、第二提问和第二图像确定。其中，同时基于第一提问和第二提问确定出的第二结构化数据可能更贴合用户实际响应解决的问题。

21、在上述第一方面的一种可能的实现中，方法还包括：第一设备检测到用户用于查看第i+1个操作步骤的回答的操作，显示第一目标图像，第一目标图像包括第二图像的至少部分内容。并且，在确定出第二回答的情况下，第一设备显示第二回答，其中，第二回答包括第三图像，第三图像包括第二提示信息，其中，第二提示信息用于指示至少部分内容与第二回答相关联。

22、在上述第一方面的一种可能的实现中，方法还包括：第一设备检测到用户输入第二提问的操作，显示第一目标图像，第一目标图像包括第二图像的至少部分内容。并且，在确定出第二回答的情况下，第一设备显示第二回答，其中，第二回答包括第四图像，第四图像包括第二提示信息，其中，第二提示信息用于指示至少部分内容与第二回答相关联。

23、在本技术实施例中，若第二提问是对应于针对第一提问的回答的多个操作步骤的第i+1个操作步骤的提问，且第一结构化数据中包括对应多个操作步骤的结构化数据，第一目标图像包括第一图像的至少部分内容，(例如第一目标图像的第三特征与第一图像的第一特征的差值小于第二特征阈值)，则第一设备确定第二待渲染图像，并基于第一结构化数据中对应第i+1个操作步骤的结构化数据对第二待渲染图像进行渲染，得到第四图像，并得到包括第四图像的第二回答。

24、可以理解，若第一目标图像不包括第一图像的至少部分内容，则基于第一提问和第一图像确定出的第一结构化数据中的对应第i+1个操作步骤的结构化数据得到的渲染效果可能不好，例如用于指示操作对象的位置的提示信息不准确等。

25、在本技术实施例中，若第二提问是对应于针对第一提问的回答的多个操作步骤中的第i+1个操作步骤的提问，且第一结构化数据中包括对应多个操作步骤的结构化数据，第一目标图像包括第一图像的至少部分内容，(例如第一目标图像的第三特征与第一图像的第一特征的差值大于或等于第二特征阈值)，则第一设备确定对应第一目标图像，以及第一提问和/或第二提问的第二结构化数据。确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到第四图像，并得到包括第四图像的第二回答。

26、如此，基于第一目标图像，以及第一提问和/或第二提问确定出的第二结构化数据对第二待渲染图像的渲染结果较好，更便于用户查看以及进行对应的操作。

27、可以理解，第二结构化数据可以基于第一提问和第一目标图像确定，第二结构化数据也可以基于第二提问和第一目标图像确定，第二结构化数据还可以仅基于第一提问、第二提问和第一目标图像确定，本技术对此不做限定。其中，同时基于第一提问和第二提问确定出的第二结构化数据可能更贴合用户实际响应解决的问题。

28、在本技术实施例中，若第二提问是对应于针对第一提问的回答的多个操作步骤中的第i+1个操作步骤的提问，且第一结构化数据中仅包括对应第i个操作步骤的结构化数据，则第一设备确定对应第一目标图像，以及第一提问和/或第二提问的第二结构化数据，确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到渲染结果(第四图像)，并得到包括第四图像的第二回答。

29、在本技术实施例中，第二结构化数据可以基于第一提问和第一目标图像确定，第二结构化数据也可以基于第二提问和第一目标图像确定，第二结构化数据还可以仅基于第一提问、第二提问和第一目标图像确定。其中，同时基于第一提问和第二提问确定出的第二结构化数据可能更贴合用户实际响应解决的问题。

30、在本技术实施例中，若第二提问与第一提问无关，或第二提问是未对应于针对第一提问的回答的多个操作步骤中的第i+1个操作步骤的提问，则第一设备确定对应第二提问和第一目标图像的第二结构化数据，确定第二待渲染图像，并基于第二结构化数据对第二待渲染图像进行渲染，得到第四图像，并得到包括第四图像的第二回答。

31、在上述第一方面的一种可能的实现中，第一回答还包括回答文本和/或回答语音，其中，回答文本和/或回答语音的内容与第一提示信息相关联，回答文本和/或回答语音用于指示下列中的至少一种信息：操作对象的位置、操作方向、操作内容。

32、在上述第一方面的一种可能的实现中，方法还包括：检测到用户的第二操作，第二操作用于将第一回答分享至第三设备；将第一文件发送至第三设备，其中第一文件至少包括第二图像。

33、在上述第一方面的一种可能的实现中，方法还包括：通过以下方法确定第一回答：确定第一图像的第一目标物体；基于第一提问和第一图像，获取与第一目标物体相关的至少一个知识内容；基于第一提问、第一图像和至少一个知识内容生成对应第一提问和第一图像的第一结构化数据；确定第一待渲染图像，并基于第一结构化数据对第一待渲染图像进行渲染，得到第二图像，并确定第一回答。

34、在本技术实施例中，若第一图像是第一设备的摄像头捕获的图像，并且第一图像是视频形式，则第一图像可以是包括部分或全部用户输入第一提问的第一时间区间(即，起始时刻为检测到用户输入第一提问的操作，终止时刻为检测到用户结束输入)内、第一设备的摄像头捕获的图像，第一图像也可以是用户输入第一提问前的第二时间区间内、第一设备的摄像头捕获的图像。其中，第二时间区间的时长和第一时间区间的时长可以相同，也可以不同。则第一待渲染图像可以是第一图像本身，第一待渲染图像也可以是第一图像的子数据(例如第一图像中的一帧或多帧图像、第一图像中的预设时长的视频数据等)，第一待渲染图像还可以是第一设备的摄像头捕获的图像，第一待渲染图像的捕获时间和第一图像的捕获时间不同。例如，第一待渲染图像是第一设备的摄像头在捕获到第一图像的第一时长后，捕获到的图像。或例如，第一待渲染图像是第一设备确定出第一结构化数据的第二时长前，第一设备的摄像头捕获到的图像。或例如，第一待渲染图像是第一设备确定出第一结构化数据的第三时长后，第一设备的摄像头捕获到的图像。本技术对此不做限制。其中，第一时长、第二时长和第三时长可以相同，也可以不同。

35、在本技术实施例中，若第一图像是第一设备的摄像头捕获的图像，并且第一图像是图片形式，则第一图像可以为用户输入第一提问的第一时间区间内的第一时刻、第一设备的摄像头捕获的图像，第一图像也可以是用户输入第一提问前的第二时间区间内的第二时刻、第一设备的摄像头捕获的图像。则第一待渲染图像可以是第一图像本身，第一待渲染图像也可以是第一设备的摄像头捕获的图像，第一待渲染图像的捕获时间和第一图像的捕获时间不同。

36、在本技术实施例中，若第一图像是第一设备从第二设备接收的图像，并且第一图像是视频形式，则第一图像可以是在用户输入第一提问前的第三时间区间内、第二设备的摄像头捕获并发送至第一设备的图像。若第一图像是第一设备从第二设备接收的图像，并且第一图像是图片形式，则第一图像可以是在用户输入第一提问前的第三时间区间内的第三时刻、第二设备的摄像头捕获并发送至第一设备的图像。其中，第三时间区间的时长和第一时间区间的时长或第二时间区间的时长可以相同，也可以不同。则第一待渲染图像可以是第一图像本身，第一待渲染图像也可以是第一图像的子数据(例如第一图像中的一帧或多帧图像、第一图像中的预设时长的视频数据等)，第一待渲染图像还可以是第一设备从第二设备接收的图像，第二图像的接收时间和第一图像的接收时间不同。例如，第一待渲染图像是第一设备接收第一图像的第四时长后，从第二设备接收的图像。或例如，第一待渲染图像是第一设备确定出第一结构化数据的第五时长前，从第二设备接收的图像。或例如，第一待渲染图像是第一设备确定出第一结构化数据的第六时长后，从第二设备接收的图像。本技术对此不做限制。第一待渲染图像只需满足第一待渲染图像包括第一图像的至少部分内容的条件即可。其中，第四时长、第五时长和第六时长可以相同，也可以不同。

37、在本技术实施例中，若第一图像是第一设备下载或存储的图像，或者第一图像是第一设备从第二设备接收的图像，且第一图像是第二设备下载或存储的图像，则第一待渲染图像可以是第一图像本身，第一待渲染图像也可以是第一图像的子数据(例如第一图像中的一帧或多帧图像、第一图像中的预设时长的视频数据等)。

38、可以理解，若第一待渲染图像是第一设备的摄像头捕获的实时图像，则得到的第一回答是对第一设备的摄像头捕获的实时图像进行渲染的结果，更便于用户理解。并且，用户可以按照第二图像(第一待渲染图像的渲染结果)操作与第二图像对应的目标物体(例如第二目标物体)，操作更方便快捷，从而可以提高用户的使用体验。若第一待渲染图像是第二设备的摄像头捕获并发送给第一设备的实时图像，则第一设备得到的第一回答是对第二设备的摄像头捕获的实时图像进行渲染的结果，更便于第二设备的用户理解。并且，第二设备的用户可以按照第二图像(第一待渲染图像的渲染结果)操作与第二图像对应的目标物体(例如第二目标物体)，操作更方便快捷，从而可以提高用户的使用体验。

39、在上述第一方面的一种可能的实现中，方法还包括：通过以下方法确定第一回答：将第一提问和第一图像发送至服务器；从服务器获取对应第一提问和第一图像的第一结构化数据，其中，第一结构化数据是服务器基于第一提问、第一图像和与第一图像的第一目标物体相关的至少一个知识内容确定的，至少一个知识内容是服务器基于第一提问和第一图像获取到的；确定第一待渲染图像，并基于第一结构化数据对第一待渲染图像进行渲染，得到第二图像，并确定第一回答。

40、本技术的第二方面提供了一种问答方法，应用于问答系统，问答系统包括第一设备和服务器，方法包括：第一设备显示第一图像；第一设备响应于用户输入与第一图像相关联的第一提问的操作，获取用户输入的第一提问，并将第一提问和第一图像发送至服务器；服务器基于第一提问和第一图像确定对应于第一回答的第一结构化数据，并将第一结构化数据发送至第一设备；第一设备确定第一待渲染图像，并基于第一结构化数据对第一待渲染图像进行渲染，得到第二图像，并确定针对第一提问的第一回答，其中，第一回答包括第二图像，第二图像包括第一提示信息和第一图像中的至少部分内容，第一提示信息用于指示至少部分内容与第一回答相关联；第一设备提供针对第一提问的第一回答。

41、在上述第二方面的一种可能的实现中，服务器基于第一提问和第一图像确定对应于第一回答的第一结构化数据，包括：服务器确定第一图像的第一目标物体；服务器基于第一提问和第一图像，获取与第一目标物体相关的至少一个知识内容；服务器基于第一提问、第一图像和至少一个知识内容生成对应第一提问和第一图像的第一结构化数据。

42、在上述第二方面的一种可能的实现中，第一提示信息用于指示下列中的至少一种信息：操作对象的位置、操作方向、操作内容；并且，第一提示信息包括下列中的至少一种形式：提示符、文本。

43、本技术的第三方面提供了一种问答装置，包括用于执行上述第一方面中的任意一种方法的一个或多个模块。

44、本技术的第四方面提供了一种电子设备，包括：存储器，用于存储计算机程序指令；处理器，用于执行计算机程序指令，以支持电子设备实现上述第一方面中的任意一种方法。

45、本技术的第五方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理电路执行时实现上述第一方面中的任意一种方法。

46、本技术的第六方面提供了一种计算机程序产品，计算机程序产品中包括计算机程序指令，计算机程序指令在设备上执行时使设备实现上述第一方面中的任意一种方法。

47、本技术的第七方面提供了一种问答系统，包括第一设备和服务器，用于实现上述第二方面中的任意一种方法。