一种基于增强现实和人工智能的产品说明系统及方法与流程

1.本发明属于数字说明书技术领域，特别涉及一种基于增强现实和人工智能的产品说明系统及方法。


背景技术：

2.现代电子、机械等产品的科技含量越来越高，产品的功能也越来越复杂丰富，面对充满晦涩难懂的专业术语和复杂图示的、越来越厚的产品说明书，普通用户想要全部看懂并掌握产品的全部功能，往往需要花费很大的力气。
3.目前采用数字化的技术手段，将平面的、静态的纸质说明书，升级为融合触控交互、动画演示、多媒体视听为一体的数字化说明书，实现说明书的数字化、交互化、网络化和多平台化已经成为潮流和趋势。用户只需扫描包装上的二维码或者进入产品服务公众号，即可在线查询或者下载阅览产品数字化说明书，通过交互模拟、动画演示、语音指导等多种形式学习产品的操作使用。
4.然而，现有数字说明书虽然可以实现交互化、数字化展示，但针对用户提出的针对性问题，尤其是与设备运维相关的精准提问，无法从数字说明书中获取相应的精准解决方案。用户在获取历史运维信息时缺乏精准推荐的手段，只能由用户进行人工查找，需要浪费大量时间，同时没有提供实时更新历史运维信息的手段，不能精准迎合用户需求，不够便捷。


技术实现要素：

5.发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于增强现实和人工智能的产品说明系统及方法，针对目标产品建立可拆卸的三维模型，针对每个部件均在展示列表中提供了对应的部件信息栏，用于具体展示相关产品信息。此外，针对用户提出的具体问题，设计了相应的文本分类模型，将用户问题对应至现有分类，并推荐对应解决方案给用户，实现智能推荐的功能。
6.技术方案：一种基于增强现实的产品展示系统，应用于用户终端，基于ar引擎，识别场景中的目标产品，并加载目标产品对应的三维模型和展示列表；展示列表包括对应于三维模型各部件的若干栏部件信息；所述部件信息按照用户关注度从高到低排序；所述三维模型用于展示目标产品的装配关系，并可按用户需求进行包括旋转、放大、缩放、拆分的操作；展示列表实时更新部件信息栏，当三维模型中某一部件处于可视状态时，则显示对应部件信息栏，处于不可视状态时则隐藏对应部件信息栏。
7.进一步地，三维模型中每个部件均设置有用于显示部件名称的标签；所述部件信息栏包括部件规格、材料、使用说明和历史运维信息；当部件在当前用户终端屏幕中为可视状态时，在部件外部显示对应标签，并在展示列表显示对应部件的部件信息栏；当部件在当前用户终端屏幕中为不可视状态，则隐藏相应标签，同时在展示列表隐藏对应部件信息栏。
8.进一步地，当用户点击部件或对应标签时，展示列表中相应部件信息对应高亮显
示。
9.一种采用上述基于增强现实的产品展示系统的展示方法，包括以下步骤：步骤s1、用户终端载入ar引擎，识别当前场景中的目标产品；识别目标产品后，加载预建模好的对应三维模型，用于用户展示；此时三维模型中所有可视部件均显示对应标签，展示列表中按照用户关注度从高到低对部件信息排序并展示；步骤s2、判断当前三维模型是否发生角度变化；当三维模型角度发生变化时，重新判断部件是否可见；隐藏变化后不可视的部件标签，并隐藏展示列表中对应的部件信息栏；将变化后新的可视部件对应的标签展示出来，并在展示列表中显示对应的部件信息栏；将所有显示的部件信息栏按照关注度从高到低进行排序；步骤s3、用户在获取运维指导时，可在展示列表中的交互框输入问题；系统部署有基于bert的文本分类模型，将问题输入至文本分类模型，并对应至现有分类；当用户问题可以对应至现有分类时，系统自动将对应解决方案推荐给用户，并增加对应部件的关注度分数；当分类结果无法满足用户需求时，系统则将信息传输至远程客服平台；客服平台将具体解决方案推送至客户；并增加对应部件的用户关注度分数；基于用户关注度重新排列部件信息栏；每间隔固定时间，基于新增的问题分类和解决方案重新训练文本分类模型。
10.进一步地，步骤s3中文本分类模型具体搭建如下：步骤s3.1、数据预处理；以现有分类作为标签，将对应的解决方案文字数据输入至bert预训练模型获得input_ids和attention_mask；步骤s3.2、搭建文本分类模型；具体包括顺序连接的以下层：（1）一层bert层；（2）取bert层结果数据cls token的embedding输入至下一层bilstm网络层，输出为x1；其中bilstm网络层中隐藏层神经元个数为n_hidden1；（3）输出x1输入至se1模块；（4）se1模块输出输入至一层bilstm网络层，输出为x2；其中bilstm网络层中隐藏层神经元个数为n_hidden2；（5）输出x2输入至se2模块；（6）一层flatten层；（7）第一层全连接层，神经元个数为n1；（8）第二层全连接层，神经元个数为n2；其中n2为标签个数；步骤s3.3、网络训练；设置learning_rate=α，batch_size=β，训练文本分类模型。
11.进一步地，所述步骤s3.2中se1模块结构如下：（1）将输出x1输入至一层全局平均池化下采样层，将输出reshape为（1，2*n_hidden1）；（2）将（1）中输出输入至一维卷积神经网络层；其中输出通道out_channel=（n_hidden1）/2，卷积核大小kernel_size=1；（3）将（2）中输出输入至激活函数层；（4）将（3）中输出输入至另一个一维卷积神经网络层；其中输出通道out_channel=
2*n_hidden1，卷积核大小kernel_size=1；（5）将（4）中输出输入至激活函数层；（6）将（5）中输出与x1相乘，得到se1模块输出。
12.进一步地，所述步骤s3.2中se2模块结构如下：（1）将输出x2输入至一层全局平均池化下采样层，将输出reshape为（1，2*n_hidden2）；（2）将（1）中输出输入至一维卷积神经网络层；其中输出通道out_channel=（n_hidden2）/2，卷积核大小kernel_size=1；（3）将（2）中输出输入至激活函数层；（4）将（3）中输出输入至另一个一维卷积神经网络层；其中输出通道out_channel=2*n_hidden2，卷积核大小kernel_size=1；（5）将（4）中输出输入至激活函数层；（6）将（5）中输出与x2相乘，得到se1模块输出。
13.本发明采用的技术方案与现有技术方案相比，具有以下有益效果：（1）、本发明提供的产品展示系统，基于ar技术，实时展示目标产品的三维模型，并且可以根据拆分状态的三维模型，细致观察其中各部件的形状和装配方式等，可以给予用户最直观的体验。此外，每个部件均与展示列表中的部件信息栏对应，当三维模型呈现某一状态时，展示列表只显示处于可视状态的部件对应的部件信息，避免了展示列表的冗余，方便用户精准定位想找到的部件。同时当用户点击部件或对应标签时，展示列表中相应部件信息对应高亮显示，进一步方便用户快速精准定位。
14.（2）针对传统数字说明书对运维信息不够重视，无法智能解决用户提问的缺陷，本发明还设计了基于bert的文本分类模型，用户将问题输入至文本分类模型，并对应至现有分类；当用户问题可以对应至现有分类时，系统自动将对应解决方案推荐给用户；当分类结果无法满足用户需求时，系统则将信息传输至远程客服平台；客服平台将具体解决方案推送至客户。此外每间隔固定时间，基于新增的问题分类和解决方案重新训练文本分类模型，使文本分类模型更加健壮，可以为用户推荐更加精准的解决方案。
附图说明
15.图1为本发明提供的基于增强现实和人工智能的产品说明系统逻辑图。
具体实施方式
16.下面结合附图提供一份具体实施例，对本发明做更进一步的解释。
17.如图1所示，本发明提供了一种基于增强现实和人工智能的产品说明系统，主要应用于用户终端，包括手机、平板电脑等。核心原理在于以ar形式将三维模型叠加显示于用户终端屏幕，实现三维模型与真实环境中的目标产品相融合的效果。用户通过触摸屏幕可以对三维模型进行包括旋转、缩放、放大、拆分等操作，随着三维模型的角度变换，右侧展示列表会随着各部件的可视状态变更展示信息，将所有当前状态下可视部件的部件信息按部件的关注度高低进行排序并展示出来，并隐藏所有不可视部件的部件信息。对于可视部件的部件信息栏，按照用户关注度高低进行排序，用户可以更直观的通过点击三维模型中的可
视部件，链接至展示列表，获取相关历史运维信息。
18.首先，通过3dmax等三维建模软件，对需要提供说明书的目标产品进行等比例建模，并加以渲染，获取目标产品的三维模型。三维模型不仅可以以组装状态反映目标产品的直观外部结构，而且可以通过爆炸图等形式完整呈现各部件间的装配关系、相对位置关系及各部件的详细结构，在各部件上均设置有用于显示部件名称的标签。在完成目标产品的三维预建模后，导入到三维ar引擎中，编写后续交互逻辑。
19.在用户终端屏幕一侧还设置有展示列表。三维模型中的部件、部件外部显示的标签与展示列表中的部件信息栏一一对应。每一个部件均对应其部件信息栏，实际使用过程中，当用户触摸部件、标签或展示列表中的部件信息栏中的任一项时，其他对应两项均会高亮，便于用户定位、查阅。
20.用户在使用数字说明书时，用户终端载入ar引擎，识别当前场景中的目标产品；识别目标产品后，加载预建模好的对应三维模型，用于用户展示；此时三维模型中所有可视部件均显示对应标签，展示列表中按照用户关注度从高到低对部件信息排序并展示。
21.部件信息栏中给出了该部件的各项信息，包括但不限于部件的规格、材料、使用说明和历史运维信息。无论三维模型整体处于组装状态还是拆分状态，本实施例均采用可视与否作为判断显示标准。具体地，当某一部件在当前用户终端屏幕中为可视状态时，则显示该部件的外部标签，同时在展示列表中显示对应的部件信息栏。当某一部件在当前用户终端屏幕中为不可视状态，则隐藏相应标签，同时在展示列表隐藏对应部件信息栏。
22.最后，重新计算三维模型角度变化后每条部件信息的关注度排名，并对展示列表重新排序；通过点击某一部件，可以直观看出该部件的名称标签，并在侧方对应的部件信息栏中可以查看具体部件信息。本实施例中提供的部件信息除了常规说明书具备的规格、材料、使用说明等信息外，还提供了历史运维信息。用户在获取运维指导时，可在展示列表中的交互框输入问题；在云平台部署有基于bert的文本分类模型，将问题输入至文本分类模型，并对应至现有分类；当用户问题可以对应至现有分类时，系统自动将对应解决方案推荐给用户；当分类结果无法满足用户需求时，系统则将信息传输至远程客服平台；客服平台将具体解决方案推送至客户，并增加对应部件的用户关注度分数，基于用户关注度重新排列部件信息栏；每间隔固定时间，基于新增的问题分类和解决方案重新训练文本分类模型。具体地，基于bert的文本分类模型搭建如下：步骤s3.1、数据预处理；以现有分类作为标签，将对应的解决方案文字数据输入至bert预训练模型获得input_ids和attention_mask；步骤s3.2、搭建文本分类模型；具体包括顺序连接的以下层：（1）一层bert层；（2）取bert层结果数据cls token的embedding输入至下一层bilstm网络层，输出为x1；其中bilstm网络层中隐藏层神经元个数为n_hidden1；（3）输出x1输入至se1模块；（4）se1模块输出输入至一层bilstm网络层，输出为x2；其中bilstm网络层中隐藏层神经元个数为n_hidden2；
（5）输出x2输入至se2模块；（6）一层flatten层；（7）第一层全连接层，神经元个数为n1；（8）第二层全连接层，神经元个数为n2；其中n2为标签个数；步骤s3.3、网络训练；设置learning_rate=α，batch_size=β，训练文本分类模型。
23.其中se1模块和se2模块结构相同，内部参数进行相应调整，se1模块结构如下：（1）将输出x1输入至一层全局平均池化下采样层，将输出reshape为（1，2*n_hidden1）；（2）将（1）中输出输入至一维卷积神经网络层；其中输出通道out_channel=（n_hidden1）/2，卷积核大小kernel_size=1；（3）将（2）中输出输入至激活函数层；（4）将（3）中输出输入至另一个一维卷积神经网络层；其中输出通道out_channel=2*n_hidden1，卷积核大小kernel_size=1；（5）将（4）中输出输入至激活函数层；（6）将（5）中输出与x1相乘，得到se1模块输出。
24.se2模块结构如下：（1）将输出x2输入至一层全局平均池化下采样层，将输出reshape为（1，2*n_hidden2）；（2）将（1）中输出输入至一维卷积神经网络层；其中输出通道out_channel=（n_hidden2）/2，卷积核大小kernel_size=1；（3）将（2）中输出输入至激活函数层；（4）将（3）中输出输入至另一个一维卷积神经网络层；其中输出通道out_channel=2*n_hidden2，卷积核大小kernel_size=1；（5）将（4）中输出输入至激活函数层；（6）将（5）中输出与x2相乘，得到se1模块输出。
25.当用户输入问题后，文本分类模型识别并反馈匹配的分类标签及对应的解决方案给用户，当反馈的解决方案无法满足用户需求时，则将问题发送至后台客服，由客服人工处理并反馈至用户。每隔一段时间，将后台客服人工生成的新的分类标签及对应解决方案合并至现有类别中，重新训练文本分类模型，最终可以实现更精准地推荐。
26.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。