一种传动解决方案模拟展示系统和方法与流程

1.本发明涉及传动解决方案展示领域，尤其涉及传动解决方案模拟展示系统和方法。


背景技术：

2.目前在传动设计领域，需要经常将传动的设计解决方案展示给客户使用；具体的展示方案一般有两种，一种是直接展示3d模型，这种方式比较直观，可以随意调节角度，但是由于建模时虽然可以对产品的模型进行高精度设计，但是一般场景都是粗略的进行建模，在实际展示时，场景的模型精度不高，显示效果不好；另一种是直接全部进行高精度的建模，然后采用图片渲染的方式进行展示，展示的效果好，但是角度不可调，因为模型数据很大，难以实时进行渲染；
3.ar，即增强现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，因此颇受大众瞩目。申请号cn201711082881.6公开了一种基于ar的商场商品展示系统，客户能够对商品进行360
°
的查看。对商品在实际使用时的情况进行虚拟展示，使得购买者全方位了解商品的信息。本发明基于ar技术对传动解决方案模拟展示进行了技术革新。


技术实现要素：

4.针对上述内容，为解决上述问题，提供一种传动解决方案模拟展示系统，包括云端服务器和展示终端；云端服务器内设置有模型库；该服务器可以租用公共服务器，或者设置服务器放置在云端、企业机房等，用于提供远程的数据保存和实时的图像传输。
5.展示终端内设置终端处理器、图像处理模块、激光定位模块、陀螺仪、显示屏幕、摄像头、渲染模块和贴图模块；终端可以是手机、平板电脑、移动电脑或者智能眼镜等，只要能够实现拍摄、图像处理等上述功能即可，同时使用智能眼镜会有最好的显示效果。
6.云端服务器内的模型库内设置有待展示的传动解决方案3d模型和待展示位置的场景3d模型；模型是提前设计人员设计好保存在云端服务器的，需要注意的是在保存模型前需要将场景的3d进行建模，场景模型的精细度可以低于待展示解决方案的3d模型，因为场景的模型仅仅用于图像计算，并不是展示的重点。
7.终端处理器连接图像处理模块、激光定位模块、显示屏幕、摄像头、渲染模块和贴图模块；
8.激光定位模块连接陀螺仪；
9.展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；
10.也即拍摄图像的同时获取拍摄点的位置和拍摄的角度，从而为云端的模型位置选择提供依据。
11.展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
12.解决方案3d模型和待展示位置的场景3d模型已经在云端服务器内进行两个模型的互相装配；装配的方法就是依据客户的要求将解决方案的模型放置到合适的位置上。例如待展示的解决方案是一套传送带系统，解决方案的3d模型就是传送带系统，待展示的场景就是厂房；展示的时候展示终端到实际的厂房内拍摄图像。
13.云端服务器根据拍摄的位置和角度在场景3d模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准，选取最接近的模型视图图像；
14.云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；
15.展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3d模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3d模型的图像展示在最下层；
16.贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。这时展示终端内展示的图像就可以看到解决方案，也即可以实时的拍摄现场的实际图像，然后系统可以自动的将解决方案放置到实际拍摄图像中，这样就大大提高了展示的直观效果。
17.激光定位模块激光定位模块包括旋转激光雷达，旋转激光雷达对环境进行360度扫描，扫描后生成点阵图，激光定位模块将点阵图的点进行连线，得到线图，并将线图进行平滑；扫描方向是水平的，当然也可以根据需求进行其他方向的扫描。
18.并且激光定位模块计算拍摄坐标点距离线图中线拐点的距离，拐点的数量为5个以上，并将拐点的坐标和拍摄坐标点到拐点的距离发送给终端处理器；陀螺仪获取拍摄角度，拐点的数量越多在进行模型对准的时候也就越精确
19.云端服务器收到拐点坐标后将其与模型库中的场景模型的拐点进行匹配，确定激光定位模块采集的拐点的坐标与场景模型拐点的对应关系；进一步云端服务器根据拍摄坐标点确定场景模型中的模型视图图像采集点，根据陀螺仪获取的拍摄角度确定场景模型中的模型视图图像采集角度。也就是在模型中确定拍摄点。
20.图像处理模块将摄像头采集的图像进行物体边缘识别，将边缘识别后的图像进行边缘提取；
21.将边缘提取后的图像进行二值化处理，然后将二值化处理后的图像进行线形化处理，即将二值化处理后的黑白颜色的图转换成线图；从而得到拍摄图像中物体的边缘线形图；
22.终端处理器将边缘线形图发送给云端服务器；
23.云端服务器在模型视图图像采集点在模型视图图像采集角度附近构造多张模型视图图像；
24.模型视图图像的形式为线形图；云端服务器将每一张模型视图图像和边缘线形图进行配准分析；找到模型视图图像中最接近边缘线形图的一张，将其对应的采集点和采集角度标记为精确位置和精确角度；
25.云端服务器根据精确位置和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；联合图像为双图层，包括场景图层和解决方
案图层；其中解决方案图层仅包括解决方案的设备的图像，其余位置透明；
26.贴图模块接收到联合图像，将联合图像与摄像头拍摄的原始图像进行图层叠加，并将3d模型解决方案图层的图像展示在最上层，透明度100％，摄像头拍摄的图像展示在中间层，透明度50％-80％，场景3d模型的场景图层展示在最下层，透明度20％-50％；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
27.一种利用上述系统进行传动解决方案模拟展示的方法，包括如下步骤：
28.步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3d模型；依据场景3d模型进行解决方案设备的3d建模，并且将解决方案设备3d模型和待展示位置的场景3d模型在云端服务器内进行两个模型的互相装配；
29.步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
30.步骤3、云端服务器根据拍摄的位置和角度在场景3d模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；
31.步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3d模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3d模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
32.其中：
33.展示终端为连接有激光定位装置的智能眼镜、智能手机、移动计算机或者平板电脑。
34.显示屏幕为展示终端上安装的屏幕或者显示屏幕为智能眼镜的镜片。
35.将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准的方法为云端服务器将每一张模型视图图像和边缘线形图进行配准分析，配准分析的方法为计算图像相似度。
36.图像相似度的计算方法为：直方图匹配、马氏距离或欧氏距离计算方法。
37.本发明的有益效果为：
38.本发明利用ar(增强现实)技术，将解决方案的3d模型和实际场景进行融合，在实地进行观察展示时，可以直接在现场拍摄图像的基础上进行实时的解决方案的展示，方便快捷，显示效果好，逼真度高；
39.将现场采集的图像进行高度的数据精简之后再发送至服务器，然后再服务器中进行高度的数据计算，并将精简的数据发送至展示终端，然后在展示终端内部进行现场的渲染，保证了传输数据的精简，可以大大提高数据传输的速度，降低延迟，可以实现实时拍摄和实时渲染。
40.利用现场的定位模块进行粗定位，然后结合现场拍摄的图像进行配准，得到的配准更加精确，保证现场进行高精度展示。
附图说明
41.被包括来提供对所公开主题的进一步认识的附图，将被并入此说明书并构成该说明书的一部分。附图也阐明了所公开主题的实现，以及连同详细描述一起用于解释所公开主题的实现原则。没有尝试对所公开主题的基本理解及其多种实践方式展示超过需要的结构细节。
42.图1为本发明的系统架构示意图。
具体实施方式
43.本发明的优点、特征以及达成所述目的的方法通过附图及后续的详细说明将会明确。
44.实施例1：
45.一种传动解决方案模拟展示系统，包括云端服务器和展示终端；云端服务器内设置有模型库；该服务器可以租用公共服务器，或者设置服务器放置在云端、企业机房等，用于提供远程的数据保存和实时的图像传输。
46.以客户采购的物流检测站一体解决方案为例，客户厂房已经提前建造好，在进行整体解决方案的安装前，在厂房内实地进行解决方案的展示；这样可以提高实地展示的代入感，更加清晰的展示解决方案的细节；
47.展示终端内设置终端处理器、图像处理模块、激光定位模块、陀螺仪、显示屏幕、摄像头、渲染模块和贴图模块；终端可以是手机、平板电脑、移动电脑或者智能眼镜等，只要能够实现拍摄、图像处理等上述功能即可，同时使用智能眼镜会有最好的显示效果。
48.云端服务器内的模型库内设置有待展示的传动解决方案3d模型和待展示位置的场景3d模型；模型是提前设计人员设计好保存在云端服务器的，需要注意的是在保存模型前需要将场景的3d进行建模，场景模型的精细度可以低于待展示解决方案的3d模型，因为场景的模型仅仅用于图像计算，并不是展示的重点。
49.终端处理器连接图像处理模块、激光定位模块、显示屏幕、摄像头、渲染模块和贴图模块；
50.激光定位模块连接陀螺仪；
51.展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；
52.也即拍摄图像的同时获取拍摄点的位置和拍摄的角度，从而为云端的模型位置选择提供依据。
53.展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
54.实际使用时，例如使用手机进行实际场地的拍摄，拍摄的同时就进行了各种环境参数的测量，测量后将测量的数据和拍摄的图像直接进行实时上传。
55.解决方案3d模型和待展示位置的场景3d模型已经在云端服务器内进行两个模型的互相装配；装配的方法就是依据客户的要求将解决方案的模型放置到合适的位置上。例如待展示的解决方案是一套传送带系统，解决方案的3d模型就是传送带系统，待展示的场景就是厂房；展示的时候展示终端到实际的厂房内拍摄图像。
56.云端服务器根据拍摄的位置和角度在场景3d模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准，选取最接近的模型视图图像；
57.云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；
58.展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3d模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3d模型的图像展示在最下层；
59.贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。这时展示终端内展示的图像就可以看到解决方案，也即可以实时的拍摄现场的实际图像，然后系统可以自动的将解决方案放置到实际拍摄图像中，这样就大大提高了展示的直观效果。
60.由于实际展示时图像和测量参数是实时传输的，理论上基于5g通信技术，可以实现高通量的数据传输。基于此可以实现图像的实时传输，实时分析，实时回传，实时回传的图像和实时拍摄的图像延迟极低，在10ms以下时就可以实现实时视频的演示；也就是直接通过终端的屏幕就可以看到解决方案的实际安装效果；无论需要展示解决方案的整体，还是局部细节的展示，只需要在厂房内进行实地拍摄，实时观察就可以。
61.激光定位模块激光定位模块包括旋转激光雷达，旋转激光雷达对环境进行360度扫描，扫描后生成点阵图，激光定位模块将点阵图的点进行连线，得到线图，并将线图进行平滑；扫描方向是水平的，当然也可以根据需求进行其他方向的扫描。
62.并且激光定位模块计算拍摄坐标点距离线图中线拐点的距离，拐点的数量为5个以上，并将拐点的坐标和拍摄坐标点到拐点的距离发送给终端处理器；陀螺仪获取拍摄角度，拐点的数量越多在进行模型对准的时候也就越精确
63.云端服务器收到拐点坐标后将其与模型库中的场景模型的拐点进行匹配，确定激光定位模块采集的拐点的坐标与场景模型拐点的对应关系；进一步云端服务器根据拍摄坐标点确定场景模型中的模型视图图像采集点，根据陀螺仪获取的拍摄角度确定场景模型中的模型视图图像采集角度。也就是在模型中确定拍摄点。
64.图像处理模块将摄像头采集的图像进行物体边缘识别，将边缘识别后的图像进行边缘提取；
65.将边缘提取后的图像进行二值化处理，然后将二值化处理后的图像进行线形化处理，即将二值化处理后的黑白颜色的图转换成线图；从而得到拍摄图像中物体的边缘线形图；
66.终端处理器将边缘线形图发送给云端服务器；
67.云端服务器在模型视图图像采集点在模型视图图像采集角度附近构造多张模型视图图像；
68.模型视图图像的形式为线形图；云端服务器将每一张模型视图图像和边缘线形图进行配准分析；找到模型视图图像中最接近边缘线形图的一张，将其对应的采集点和采集角度标记为精确位置和精确角度；
69.云端服务器根据精确位置和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；联合图像为双图层，包括场景图层和解决方
案图层；其中解决方案图层仅包括解决方案的设备的图像，其余位置透明；
70.贴图模块接收到联合图像，将联合图像与摄像头拍摄的原始图像进行图层叠加，并将3d模型解决方案图层的图像展示在最上层，透明度100％，摄像头拍摄的图像展示在中间层，透明度50％-80％，场景3d模型的场景图层展示在最下层，透明度20％-50％；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
71.实施例2：
72.本实施例针对实施例1的装置进行实际展示的步骤进行介绍，具体的一种利用上述系统进行传动解决方案模拟展示的方法，包括如下步骤：
73.步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3d模型；依据场景3d模型进行解决方案设备的3d建模，并且将解决方案设备3d模型和待展示位置的场景3d模型在云端服务器内进行两个模型的互相装配；
74.此时工作人员可在云端服务器内进行多种不同组合装配方案的配置，在实际展示时，云端服务器会要求终端预先选择一款方案，同时在选择界面显示方案的预览图；
75.步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
76.传输方式可以是直接通过wifi传输，或者通过4g、5g的移动网络进行传输。
77.步骤3、云端服务器根据拍摄的位置和角度在场景3d模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；
78.步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3d模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3d模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
79.实施例3：
80.步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3d模型；依据场景3d模型进行解决方案设备的3d建模，并且将解决方案设备3d模型和待展示位置的场景3d模型在云端服务器内进行两个模型的互相装配；
81.步骤1.1、在云端服务器内存储多个解决方案和多个场景3d模型；在展示终端进行场景3d模型和解决方案编号的选择；选择之后进行拍摄。
82.步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
83.步骤3、云端服务器根据拍摄的位置和角度在场景3d模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置
和精确角度拍摄一个装配好的解决方案3d模型和场景3d模型的联合图像，并将图像发送给展示终端；
84.步骤3.1、在展示终端内进行灯光位置的选择和渲染参数的选择。
85.步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3d模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3d模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
86.其中：
87.展示终端为连接有激光定位装置的智能眼镜、智能手机、移动计算机或者平板电脑。
88.显示屏幕为展示终端上安装的屏幕或者显示屏幕为智能眼镜的镜片。
89.将提取特征后的图像数据与场景3d模型中的模型视图图像进行配准的方法为云端服务器将每一张模型视图图像和边缘线形图进行配准分析，配准分析的方法为计算图像相似度。
90.图像相似度的计算方法为：直方图匹配、马氏距离或欧氏距离计算方法。
91.在实际使用时，为了保证系统的传输速度和反应速度，实现实时视频展示，可以将云端服务器选择为便携式运算工作站；在进行实际展示时，将便携式运算工作站放置到待展示位置的附近，通过无线通信方式与终端相连接；这样就可以避免网络延迟带来的影响；同时携带工作站进行展示还可以方便工作人员直接在工作站上进行展示方案的修改。
92.以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。