一种基于远程视频技术的机电产品在线组装指导方法、设备及存储介质与流程

1.本发明属于机电产品组装指导技术领域，具体涉及一种基于远程视频技术的机电产品在线组装指导方法、设备及存储介质。


背景技术：

2.随着互联网在人们日常生活中的广泛应用,网购成为一种新的消费标签和人们首选的购物方式。人们对于网络购物的需求增幅扩大,网购商品的种类也逐渐扩大,除了日常生活的小物件产品,一些大型的组装商品也加入到购买热潮中。越来越多的人在网上购买机电产品，例如家用电器、电子玩具等,这些商品的特点是都是散装的,需要组装后才能使用。
3.但是现有技术中，目前用户对网购得到的机电产品进行组装的方式都是根据卖家提供的组装说明书或者组装视频进行组装，这种组装方式由于卖家提供的组装说明书或组装视频都是提前统一设置好的，购买用户在进行实际组装过程过程中，由于个人理解能力存在差异，对组装说明书或组装视频的理解也可能存在偏差，这样就导致有些购买用户看不懂组装说明书或组装视频，容易造成某一组装步骤存在组装错误而用户并没有及时意识到，当整个机电产品组装完毕后才发现组装错误，这时需要对组装完毕后的机电产品进行返工重装，这在无形之中会延长组装时长，耗费用户的组装耐心；另外，当用户意识到组装过程存在组装错误而向卖家请求指导时，由于无法还原当初组装过程，卖家无法直观形象地理解用户提到的组装错误位置，进而可能存在指导不到位现象，从而难以精准地对用户的组装错误位置进行正确指导，导致用户实际组装体验感不佳。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于远程视频技术的机电产品在线组装指导方法、设备及存储介质，在用户对目标机电产品进行实际组装过程中，通过建立远程视频指导界面对用户的当前组装过程进行组装正确或错误判断，当判断存在组装错误时，进行组装错误的智能在线组装指导，有效解决了背景技术提到的缺陷。
5.本发明是通过以下技术方案实现的：
6.本发明实施例的第一方面提供了一种基于远程视频技术的机电产品在线组装指导方法，包括以下步骤：
7.步骤1.视频在线组装指导前设备设置：机电产品卖家对其在电商平台售卖的各种机电产品分别设置视频组装指导单元，并分别对应设置视频组装指导二维码，同时构建组成零件库和标准组装数据库，其中组成零件库用于存储各种机电产品对应的所有组成零件名称及各个组成零件对应的图像，标准组装数据库用于存储各种机电产品对应各组装步骤的标准组装状态参数、组装前标准组装半成品图像和标准组装过程视频；
8.步骤2.视频组装指导二维码显示：在用户通过电商平台购买目标机电产品进行签
收后，获取目标机电产品的购物订单，并从购物订单中提取目标机电产品名称，以此基于目标机电产品名称从各种机电产品对应的视频组装指导二维码中筛选出目标机电产品对应的视频组装指导二维码，并显示在目标机电产品卖家店铺与用户的线上交互界面中；
9.步骤3.远程视频指导界面建立：用户在进行目标机电产品组装时，通过利用移动终端扫描线上交互界面中的视频组装指导二维码建立远程视频在线连接，形成远程视频指导界面，其中远程视频指导界面一端为用户，另一端为目标机电产品对应的视频组装指导单元；
10.步骤4.当前组装过程视频采集传输：在用户进行目标机电产品组装过程中由移动终端对用户组装目标机电产品的当前组装过程进行视频采集，其采集的当前组装过程视频通过视频在线传输至目标机电产品对应的视频组装指导单元；
11.步骤5.组装结果判断及组装错误智能在线组装指导：由视频组装指导单元对目标机电产品的当前组装过程视频进行组装正确或错误判断，当判断存在组装错误时，进行组装错误的智能在线组装指导。
12.根据本发明第一方面的一种优选实施方式，所述标准组装状态参数包括标准组装零件名称、标准组装位置和标准组装方式。
13.根据本发明第一方面的一种优选实施方式，所述视频组装指导单元包括当前组装步骤识别单元、组装过程判断分析单元和智能组装指导执行单元。
14.根据本发明第一方面的一种优选实施方式，所述当前组装步骤识别单元用于对目标机电产品的当前组装过程视频进行当前组装步骤识别，其具体识别方法如下：
15.将目标机电产品对应的当前组装过程视频进行组装前半成品图像截取；
16.从标准组装数据库中提取目标机电产品对应各组装步骤的组装前标准组装半成品图像；
17.将截取的组装前半成品图像与目标机电产品对应各组装步骤的组装前标准组装半成品图像进行匹配，从中筛选出匹配成功的组装步骤，作为当前组装步骤。
18.根据本发明第一方面的一种优选实施方式，所述组装过程判断分析单元用于在识别当前组装步骤时，对当前组装步骤的组装过程进行组装正确或错误判断，其具体判断过程执行以下步骤：
19.第一步：将目标机电产品对应当前组装步骤的组装过程视频进行当前组装状态参数提取，其当前组装状态参数包括当前组装零件名称、当前组装位置和当前组装方式；
20.第二步：从提取的当前组装状态参数中筛选当前组装零件名称，并从标准组装数据库中提取目标机电产品对应当前组装步骤的标准组装零件名称，以此将当前组装零件名称与当前组装步骤的标准组装零件名称进行比对，判断是否一致，若一致，则执行第三步，若不一致，则判断当前组装步骤的组装过程存在组装错误，并将当前组装步骤的组装过程错误记作组装零件错误类型；
21.第三步：从提取的当前组装状态参数中筛选当前组装位置，并从标准组装数据库中提取目标机电产品对应当前组装步骤的标准组装位置，以此将当前组装位置与当前组装步骤的标准组装位置进行比对，判断是否一致，若一致，则执行第四步，若不一致，则判断当前组装步骤的组装过程存在组装错误，并将当前组装步骤的组装过程错误记作组装位置错误类型；
22.第四步：从提取的当前组装状态参数中筛选当前组装方式，并从标准组装数据库中提取目标机电产品对应当前组装步骤的标准组装方式，以此将当前组装方式与当前组装步骤的标准组装方式进行比对，判断是否一致，若一致，则判断当前组装步骤的组装过程正确，若不一致，则判断当前组装步骤的组装过程存在组装错误，并将当前组装步骤的组装过程错误记作组装方式错误类型。
23.根据本发明第一方面的一种优选实施方式，所述当前组装零件名称的提取过程具体包括：
24.将目标机电产品对应当前组装步骤的组装过程视频进行组装零件数量统计，并从组装过程视频中截取各组装零件的图像；
25.从组成零件库中提取目标机电产品对应的所有组成零件名称及各个组成零件对应的图像，并将当前组装品对应各组装零件的图像与目标机电产品对应的所有组成零件名称及各个组成零件对应的图像进行对比，从而识别出当前组装品对应各组装零件的名称。
26.根据本发明第一方面的一种优选实施方式，所述智能组装指导执行单元用于在判断当前组装步骤的组装过程存在组装错误时，通过ai客服机器人在建立的远程视频指导界面进行组装错误语音提示，并将错误组装类型进行语音提示，其中错误组装类型包括组装零件错误类型、组装位置错误类型和组装方式错误类型，同时根据错误组装类型从目标机电产品对应当前组装步骤的标准组装状态参数中提取错误组装类型对应的标准组装状态参数，进而基于错误组装类型对应的标准组装状态参数进行语音组装指导。
27.根据本发明第一方面的一种优选实施方式，所述智能组装指导执行单元还包括从标准组装数据库中提取目标机电产品对应当前组装步骤的标准组装过程视频，进而将其显示在远程视频指导界面，由ai客服机器人进行组装过程视频在线指导讲解。
28.本发明实施例的第二方面提供一种设备，包括处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行本发明所述的一种基于远程视频技术的机电产品在线组装指导方法。
29.本发明实施例的第三方面提供一种存储介质，所述存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现本发明所述的一种基于远程视频技术的机电产品在线组装指导方法。
30.结合上述的所有技术方案，本发明所具备的优点及积极效果为：
31.1.本发明在当用户对目标机电产品进行实际组装过程中，通过建立远程视频指导界面，由目标机电产品对应的视频组装指导单元对用户的当前组装过程进行组装正确或错误判断，当判断存在组装错误时，进行组装错误的智能在线组装指导，实现了用户对目标机电产品当前组装过程的在线视频组装指导，不仅弥补了目前基于组装说明书或组装视频进行组装造成的组装错误无法及时发现的不足，还大大减少了目前用户向卖家进行组装错误指导时，因无法还原当初组装过程导致卖家指导不到位现象的发生，能够有效减少组装时长，降低组装返工率，从而在一定程度上提升了用户的实际组装体验感。
32.2.本发明中的视频组装指导单元是由ai客服机器人进行在线组装指导，而不是由真实的客服人员进行在线组装指导，这种指导方式一方面可以降低客服人工成本，另一方面可以避免真实客服人员由于人的感性因素在组装指导过程中代入过多主观情感而使组
装指导服务质量不佳的问题，同时也可以避免有些真实客服人员对目标机电产品的标准组装过程了解不深刻导致对用户的某些错误组装情况无法及时发现的问题，从而有效实现了客观理性科学的在线组装指导。
附图说明
33.利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
34.图1为本发明的方法步骤流程图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.请参阅图1，本发明实施例的第一方面提供了一种基于远程视频技术的机电产品在线组装指导方法，包括以下步骤：
37.步骤1.视频在线组装指导前设备设置：机电产品卖家对其在电商平台售卖的各种机电产品分别设置视频组装指导单元，其中视频组装指导单元包括当前组装步骤识别单元、组装过程判断分析单元和智能组装指导执行单元，并分别根据各种机电产品对应设置视频组装指导二维码，同时构建组成零件库和标准组装数据库，其中组成零件库用于存储各种机电产品对应的所有组成零件名称及各个组成零件对应的图像，标准组装数据库用于存储各种机电产品对应各组装步骤的标准组装状态参数、组装前标准组装半成品图像和标准组装过程视频，所述标准组装状态参数包括标准组装零件名称、标准组装位置和标准组装方式，其中标准组装零件是指在组装前标准组装半成品上组装的标准零件，标准组装位置是指标准组装零件组装在组装前标准半成品上的标准位置，当前组装方式是指标准组装零件组装在组装前标准半成品上采用的标准组装方式，这里提到的组装方式例如插拔、拼接、镶嵌、卡扣等；
38.作为本发明的具体实施例，在对目标机电产品进行在线视频组装指导前，首先进行相关视频指导前的设备设置，能够为在线视频指导提供可靠的指导基础；
39.需要说明的是，将各种机电产品分别设置视频组装指导单元，能够使各种机电产品对应的在线视频指导过程不受干扰，保障视频指导质量；
40.步骤2.视频组装指导二维码显示：在用户通过电商平台购买目标机电产品进行签收后，其中目标机电产品是指用户购买的机电产品，获取目标机电产品的购物订单，并从购物订单中提取目标机电产品名称，以此基于目标机电产品名称从各种机电产品对应的视频组装指导二维码中筛选出目标机电产品对应的视频组装指导二维码，并显示在目标机电产品卖家店铺与用户的线上交互界面中；
41.步骤3.远程视频指导界面建立：用户在进行目标机电产品组装时，通过利用移动终端扫描线上交互界面中的视频组装指导二维码建立远程视频在线连接，其中移动终端具
体为手机，形成远程视频指导界面，其中远程视频指导界面一端为用户，另一端为目标机电产品对应的视频组装指导单元；
42.步骤4.当前组装过程视频采集传输：在用户进行目标机电产品组装过程中由移动终端对用户组装目标机电产品的当前组装过程进行视频采集，其采集的当前组装过程视频通过视频在线传输至目标机电产品对应的视频组装指导单元；
43.步骤5.组装结果判断及组装错误智能在线组装指导：由视频组装指导单元对目标机电产品的当前组装过程视频进行组装正确或错误判断，当判断存在组装错误时，进行组装错误的智能在线组装指导，其中在线组装指导过程具体操作如下：
44.由当前组装步骤识别单元对目标机电产品的当前组装过程视频进行当前组装步骤识别，其具体识别方法包括：
45.s1:将目标机电产品对应的当前组装过程视频进行组装前半成品图像截取；
46.s2:从标准组装数据库中提取目标机电产品对应各组装步骤的组装前标准组装半成品图像；
47.s3:将截取的组装前半成品图像与目标机电产品对应各组装步骤的组装前标准组装半成品图像进行匹配，若截取的组装前半成品图像与目标机电产品对应某组装步骤的组装前标准组装半成品图像相同，则表明该组装步骤匹配成功，此时从中筛选出匹配成功的组装步骤，作为当前组装步骤；
48.由组装过程判断分析单元在识别当前组装步骤时，对当前组装步骤的组装过程进行组装正确或错误判断，其具体判断过程执行以下步骤：
49.第一步：将目标机电产品对应当前组装步骤的组装过程视频进行当前组装状态参数提取，其当前组装状态参数包括当前组装零件名称、当前组装位置和当前组装方式，其中当前组装位置是指当前组装零件组装在组装前半成品上的具体位置，当前组装方式是指当前组装零件组装在组装前半成品上采用的组装方式，且当前组装零件名称的提取过程具体包括：
50.(1)将目标机电产品对应当前组装步骤的组装过程视频进行当前组装零件图像截取；
51.(2)根据目标机电产品从组成零件库内各种机电产品对应的所有组成零件名称及各个组成零件对应的图像中提取目标机电产品对应的所有组成零件名称及各个组成零件对应的图像，并将当前组装零件图像与目标机电产品对应的所有组成零件名称及各个组成零件对应的图像进行对比，具体对比步骤为先将当前组装零件图像与目标机电产品中各个组成零件的图像进行对比，进而从中筛选出与当前组装零件图像一致的组成零件图像，再根据该组装零件图像获取其对应的名称，从而识别出当前组装零件名称；
52.第二步：从提取的当前组装状态参数中筛选出当前组装零件名称，并根据目标机电产品和当前组装步骤从标准组装数据库内各种机电产品对应各组装步骤的标准组装状态参数中提取目标机电产品对应当前组装步骤的标准组装状态参数，再从当前组装步骤的标准组装状态参数中提取标准组装零件名称，以此将当前组装零件名称与当前组装步骤的标准组装零件名称进行比对，判断是否一致，若一致，则执行第三步，若不一致，则判断当前组装步骤的组装过程存在组装错误，并将当前组装步骤的组装过程错误记作组装零件错误类型；
53.第三步：从提取的当前组装状态参数中筛选出当前组装位置，并从目标机电产品对应当前组装步骤的标准组装状态参数中提取标准组装位置，以此将当前组装位置与当前组装步骤的标准组装位置进行比对，判断是否一致，若一致，则执行第四步，若不一致，则判断当前组装步骤的组装过程存在组装错误，并将当前组装步骤的组装过程错误记作组装位置错误类型；
54.第四步：从提取的当前组装状态参数中筛选当前组装方式，并从目标机电产品对应当前组装步骤的标准组装状态参数中提取标准组装方式，以此将当前组装方式与当前组装步骤的标准组装方式进行比对，判断是否一致，若一致，则判断当前组装步骤的组装过程正确，若不一致，则判断当前组装步骤的组装过程存在组装错误，并将当前组装步骤的组装过程错误记作组装方式错误类型；
55.作为本发明的具体实施例，对当前组装步骤的组装过程进行组装正确或错误判断的过程是综合了组装零件、组装位置和组装方式的整体判断过程，其判断指标全面，避免了单一指标判断造成的判断片面性问题，增加了判断结果的可靠度，且在各判断指标判断过程中遵循了一定符合逻辑的判断顺序，实现了循序渐进的判断，避免了盲目无顺序判断造成的不贴合实际的问题；
56.由智能组装指导执行单元在判断当前组装步骤的组装过程存在组装错误时，通过ai客服机器人在建立的远程视频指导界面进行组装错误语音提示，这里提到的组装错误语音提示能够及时制止用户的组装行为，使用户停止错误组装行为的继续，避免错误组装的延续，并将错误组装类型进行语音提示，其中错误组装类型包括组装零件错误类型、组装位置错误类型和组装方式错误类型，这里将组装错误类型进行语音提示，能够及时让用户知晓其组装错误的原因，同时根据错误组装类型从目标机电产品对应当前组装步骤的标准组装状态参数中提取错误组装类型对应的标准组装状态参数，例如当错误组装类型为组装零件错误类型时，则从目标机电产品对应当前组装步骤的标准组装状态参数中提取标准组装零件名称，当错误组装类型为组装位置错误类型时，则从目标机电产品对应当前组装步骤的标准组装状态参数中提取标准组装位置，当错误组装类型为组装方式错误类型时，则从目标机电产品对应当前组装步骤的标准组装状态参数中提取标准组装方式，进而基于错误组装类型对应的标准组装状态参数进行语音组装指导。
57.作为本发明的具体实施例，在由ai客服机器人进行用户组装错误的语音指导时，也是遵循了一定符合逻辑的指导顺序，先是进行组装错误语音提示，提醒用户存在组装错误，进而制止用户的组装行为，再是告知用户组装错误类型，最后是基于组装错误类型进行针对性的组装指导，实现了组装指导的针对方向性，能够有效避免盲目无方向地指导造成的指导效率低和指导效果差的问题，从而有利于提升指导效率和指导效果。
58.同时智能组装指导执行单元还包括从标准组装数据库中提取目标机电产品对应当前组装步骤的标准组装过程视频，进而将其显示在远程视频指导界面，由ai客服机器人进行组装过程视频在线指导讲解，能够根据组装错误类型进行视频加语音的综合指导，使得指导方式更加清晰直观，用户更加容易理解，从而强化了指导效果。
59.本发明中的视频组装指导单元是由ai客服机器人进行在线组装指导，而不是由真实的客服人员进行在线组装指导，这种指导方式一方面可以降低客服人工成本，另一方面可以避免真实客服人员由于人的感性因素在组装指导过程中代入过多主观情感而使组装
指导服务质量不佳的问题，同时也可以避免有些真实客服人员对目标机电产品的标准组装过程了解不深刻导致对用户的某些错误组装情况无法及时发现的问题，从而有效实现了客观理性科学的在线组装指导。
60.本发明实施例的第二方面提供一种设备，包括处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行本发明所述的一种基于远程视频技术的机电产品在线组装指导方法。
61.本发明实施例的第三方面提供一种存储介质，所述存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现本发明所述的一种基于远程视频技术的机电产品在线组装指导方法。
62.本发明在当用户对目标机电产品进行实际组装过程中，通过建立远程视频指导界面，由目标机电产品对应的视频组装指导单元对用户的当前组装过程进行组装正确或错误判断，当判断存在组装错误时，进行组装错误的智能在线组装指导，实现了用户对目标机电产品当前组装过程的在线视频组装指导，不仅弥补了目前基于组装说明书或组装视频进行组装造成的组装错误无法及时发现的不足，还大大减少了目前用户向卖家进行组装错误指导时，因无法还原当初组装过程导致卖家指导不到位现象的发生，能够有效减少组装时长，降低组装返工率，从而在一定程度上提升了用户的实际组装体验感。
63.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。