基于多模态融合的三维建模系统及建模方法

1.本发明属于三维建模技术领域，具体涉及一种基于多模态融合的三维建模系统及建模方法。


背景技术：

2.传统几何建模方法依靠操作者采用鼠标、键盘与可视化的建模界面进行交互，并在面临复杂模型建模时需要操作者进行编辑或查找复杂的建模命令，进行这种方式延长了建模的时间，其次在建模占据操作系统内存较大的情况下，极易造成建模系统的卡顿或以及其它系统不稳定的情况，长期以往使得建模操作过程繁琐、枯燥，因此无法给予建模操作者较好的建模体验。


技术实现要素：

3.发明目的：为了克服现有技术中的不足，本发明提供一种基于多模态融合的三维建模系统及建模方法，通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和减少操作人员操控精力的浪费，进而提升操作者建模体验。
4.技术方案：第一方面本发明提供一种基于多模态融合的三维建模方法，包括：分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；对反馈数据进行多模态融合，获得多模态融合的模型数据；将模型数据与数据库指令进行匹配，获得指令集；对指令集的属性进行解析，获得出相关建模参数；对相关建模参数进行识别，获取建模方法；基于建模方法进行自动建模，获得可视化实体模型；其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
5.在进一步的实施例中，分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器反馈数据的方法包括：将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。
6.在进一步的实施例中，对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据
进行数据融合，获得模型数据。
7.在进一步的实施例中，将模型数据与数据库指令进行匹配，获得指令集的方法包括：模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。
8.在进一步的实施例中，所述相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。
9.在进一步的实施例中，对指令集的属性进行解析，获得出相关建模参数的方法为：将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。
10.在进一步的实施例中，所述建模方法包括：基本体建模、扩展体建模、布尔运算建模、拉伸建模、旋转建模、复杂建模；所述基本体建模包括：长方体、球体、圆柱体、圆锥体、楔形体和圆环体、几何球体、茶壶、四棱锥、管状体以及若干不规则形体的几何体建模命令；所述扩展体建模包括：对基本体建模中的几何体建模命令参数的扩展；所述布尔运算建模为对扩展体建模和基本体建模的基础上通过各实体元素间的布尔运算来构造更为复杂的三维实体模型；所述拉伸建模为二维图形基面，构造三维实体模型；所述旋转建模为选择任一基线旋转生成三维实体模型；所述复杂建模为导入数学函数进行三维实体模型的曲面构建。
11.第二方面，本发明提供一种基于多模态融合的三维建模系统，包括：体感传感器模块、通信模块、模型建立模块以及数据库模块；所述体感传感器模块用于将采集的多种反馈数据进行多模融合，获得多模融合的模型数据；所述通信模块用于将模型数据上传；所述数据库模块用于将模型数据与数据库指令进行匹配，获得指令集；以及存储指令集与模型数据的对应关系；所述模型建立模块用于对指令集的属性进行解析，获得出相关建模参数，对相关建模参数进行识别，获取建模方法，并基于建模方法进行自动建模，输出可视化实体模型。
12.在进一步的实施例中，所述通信模块包括发送端和接收端，所述发送端和接收端建立通讯关系后，以报文格式进行通信。
13.第三方面，本发明提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
14.有益效果：本发明与现有技术相比具有以下优点：通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和节省操作人员操控次数；
采用体感设备进行人机交互弥补传统建模时人机交互方式的不足，选择操作者的身体变化信号作为编辑命令的输入目标对象，从而进行根据体感的人机交互，将体感的变化的全部信息都能在计算机建模系统中得到呈现，在建模时提供更为人性化的人机交互方式，给操作者带来沉浸式的建模体验。
附图说明
15.图1是本发明多模态融合三维cad建模系统的系统框架示意图；图2是本发明多模态融合三维cad建模方法的流程图；图3是本发明三维cad建模系统的主界面。
具体实施方式
16.为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
17.实施例1：结合图1进一步说明本实施例中的基于多模态融合的三维建模系统，建模系统包括：体感传感器模块、通信模块、模型建立模块以及数据库模块；体感传感器模块用于将采集的多种反馈数据进行多模融合，获得多模融合的模型数据；通信模块用于将模型数据上传；数据库模块用于将模型数据与数据库指令进行匹配，获得指令集；以及存储指令集与模型数据的对应关系；模型建立模块用于对指令集的属性进行解析，获得出相关建模参数，对相关建模参数进行识别，获取建模方法，并基于建模方法进行自动建模，输出可视化实体模型。
18.通信模块包括发送端和接收端，发送端和接收端建立通讯关系后，以报文格式进行通信：以udp通信为例：以报文格式进行通信方法为：用户使用服务器命令格式登录，用户登陆成功，服务器返回指令，用户向服务器发送控制和数据信息格式，包括源地址和目的地址。 发送端、接收端流程包括：初始化套接字、绑定ip地址和端口号、调用发送数据函数、接收端通过检测信号触发接受槽函数完成数据通信。
19.实施例2：结合图2至图3所示进一步说明本实施例中的基于多模态融合的三维建模方法，包括如下工作步骤：分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；对反馈数据进行多模态融合，获得多模态融合的模型数据；将模型数据与数据库指令进行匹配，获得指令集；对指令集的属性进行解析，获得出相关建模参数；对相关建模参数进行识别，获取建模方法；基于建模方法进行自动建模，获得可视化实体模型；
其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
20.分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据的方法包括：将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。
21.对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据进行数据融合，获得模型数据。
22.将模型数据与数据库指令进行匹配，获得指令集的方法包括：模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。
23.相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。
24.对指令集的属性进行解析，获得出相关建模参数的方法为：将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。
25.建模方法包括：基本体建模、扩展体建模、布尔运算建模、拉伸建模、旋转建模、复杂建模；其中建模方法的具体如下：基本体建模在本系统中，给绘制者提供一定的简单三维体的命令和方法。提供了长方体、球体、圆柱体、圆锥体、楔形体和圆环体等命令。除此之外还提供了几何球体、茶壶、四棱锥、管状体等命令。
26.扩展体建模如基本体建模相同，制作者可以直接利用软件中提供的各种参数化扩展几何体建模方法。绘制倒角立方体；倒角圆柱体；油桶；倒角棱柱；纺锤体等三维模型。
27.布尔运算这种方法基于实体模型可以用体素构造法表达的思想，通过各实体元素间的布尔运算来构造更为复杂的三维实体模型。
28.拉伸建模这种方法与旋转建模和放样建模的思想是一致的，但不再是基于以上实体模型的表示方法。而是从二维图形出发，从而构造三维实体模型。拉伸建模的思想原理是通过为二维截面增加厚度，从而生成三维模型。
29.旋转建模的基本原理是选一条曲线作为母线，绕确定轴旋转而形成一个三维模型。凡是具有旋转对称轴的三维物体，都可以用旋转方法生成。如酒杯、车轮、轴等。
30.复杂建模是创建复杂的造型，特别是一些不规则造型方法。例如构成汽车车体和电话机等的曲面用数学解析式来表达很困难。一般称这种曲面为自由曲面。将曲面分割成曲面元，用曲面元进行连接的方法。一般地，表示曲面元的方法分为内插法和近似法两种。内插法用简单的多项式来表示曲面元，多项式的系数由分割点的连续条件来确定。例：双三
次曲面元。近似法在分割点之外指定若干个控制点，用由这些点确定的函数来表示曲面元。例：贝塞尔曲面元。
31.实施例3：本实施例进一步说明一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；对反馈数据进行多模态融合，获得多模态融合的模型数据；将模型数据与数据库指令进行匹配，获得指令集；对指令集的属性进行解析，获得出相关建模参数；对相关建模参数进行识别，获取建模方法；基于建模方法进行自动建模，获得可视化实体模型；其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
32.实施例4：本实施例在cad建模软件中的构建实体模型的操作流程：启动通信终端和cad建模软件，在通信终端启动之后，再启动cad建模软件，通信终端其实页面右边会出现cad建模软件对象，届时将收到的多源传感器的信号解析成cad建模软件的指令，再选择建模软件对象发送即可：通信终端接收到多源传感器的信号输出，并解析信号，转化成相应的建模操作指令，以打孔为例，首先脑电波传感器释放信号建立一个某个特定的立方体，在通信终端接收到如下命令，将指令发送给cad建模软件，届时cad建模软件界面生成一个立方体。
33.接着脑电波传感器释放信号建立一个某个特定的圆柱体，在通信终端接收到如下命令，将指令发送给cad建模软件，届时cad建模软件界面生成一个圆柱体。
34.最后肌电传感器释放信号进行打孔，在通信终端接收到如下命令，将指令发送给cad建模软件，届时cad建模软件界面生成打好孔的立方体。
35.拉伸操作中肌电传感器释放信号进行拉伸，在通信终端接收到命令，将指令发送给cad建模软件，届时cad建模软件界面生成打好孔的立方体。
36.综上所述，通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和节省操作人员操控次数；采用体感设备进行人机交互弥补传统建模时人机交互方式的不足，选择操作者的身体变化信号作为编辑命令的输入目标对象，从而进行根据体感的人机交互，将体感的变化的全部信息都能在计算机建模系统中得到呈现，在建模时提供更为人性化的人机交互方式，给操作者带来沉浸式的建模体验。
37.本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
38.本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
39.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
40.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
41.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
42.以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。