基于三维模型的设备装配引导交互方法与流程

摘要: 本发明涉及计算机辅助装配,尤其涉及基于三维模型的设备装配引导交互方法。背景技术:1、随着高端装备制造业的发展,机械设备的结构日益复杂,其装配过程往往涉及数量众多...
基于三维模型的设备装配引导交互方法与流程

本发明涉及计算机辅助装配,尤其涉及基于三维模型的设备装配引导交互方法。

背景技术:

1、随着高端装备制造业的发展,机械设备的结构日益复杂,其装配过程往往涉及数量众多的部件以及严格的装配顺序和装配方向要求。装配质量直接影响设备的性能与可靠性,因此如何为操作者提供准确、直观的装配引导,成为提升装配效率与装配质量的关键。

2、相关技术中,传统的装配引导主要依赖纸质装配工艺文件或二维装配图纸。然而,二维图纸难以充分表达部件之间的空间位置关系与装配方向,操作者需要在图纸与实物之间反复对照,理解成本高、易出错。

3、为改善上述问题,一些方案采用预先制作的三维装配动画对操作者进行引导。但是,此类动画通常按照固定的顺序循环播放,无法感知操作者当前的实际装配进度,也无法在操作者发生装配错误时及时发现并纠正,引导内容与实际装配过程相互脱节。

4、另一些方案借助增强现实技术,将装配指示叠加显示于实物之上。然而,这类方案往往依赖技术人员针对每一装配步骤离线地进行人工标注和内容制作,标注工作量大、成本高、周期长,难以适应多品种、小批量的柔性生产需求;并且,在对当前装配状态进行识别时,通常需要将实测数据与所有可能的装配状态逐一进行全局匹配,计算量大、实时性差。此外,对于外观较为相近的不同装配状态(例如仅个别部件不同或部件安装方向不同的状态),全局匹配的方式容易发生混淆,识别准确率低、鲁棒性差。

5、再者,现有的装配引导方案通常对所有操作者、所有装配步骤采用统一的引导粒度,无法根据装配步骤的难易程度以及操作者的实际操作情况进行自适应调整;并且在装配过程中,操作者双手常被占用,采用键盘、鼠标或触摸屏进行交互往往需要中断装配操作,交互方式不便。

6、综上所述,如何在无需大量人工标注的前提下,自动、准确、实时地感知装配状态并进行装配偏差检测,同时提供自适应的、便于操作者交互的装配引导,是本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供基于三维模型的设备装配引导交互方法,以解决上述技术问题。

2、本发明为解决上述技术问题,采用以下技术方案来实现:

3、第一方面,本技术实施例提供一种基于三维模型的设备装配引导交互方法,包括:

4、获取目标设备的三维装配模型,三维装配模型包括多个部件模型以及各部件模型的装配位姿;

5、提取各部件模型的配合特征,基于配合特征进行自由度分析与可达性分析,得到装配约束图,并基于装配约束图确定装配序列,其中,装配约束图中的节点表征部件模型,装配约束图中的边表征部件模型之间的装配约束关系,且边具有约束类型属性和装配方向属性;

6、基于装配序列生成装配状态识别特征库,装配状态识别特征库包括与多个装配状态一一对应的特征描述子,装配状态表征装配序列中对应的部分装配结果;

7、采集当前装配对象的实测数据并提取实测特征,将装配约束图中当前已确认节点经边可达的相邻节点所对应的装配状态确定为候选装配状态,将实测特征与各候选装配状态的特征描述子进行匹配,并根据匹配结果确定当前实际装配状态;

8、将当前实际装配状态与当前已确认节点在装配序列中对应的期望装配状态进行比对,得到比对结果,并根据比对结果生成装配引导内容;

9、将装配引导内容与当前装配对象进行配准并叠加显示,响应操作者的多模态交互输入对装配引导内容进行更新。

10、在一种可能的实施方式中,提取各部件模型的配合特征,基于配合特征进行自由度分析与可达性分析,得到装配约束图,包括:

11、识别各部件模型上的配合特征,配合特征包括配合面、配合孔和配合轴中的至少一种;

12、根据相互配合的配合特征之间的几何关系确定对应两个部件模型之间的约束类型以及相对运动的自由度,并根据自由度确定两个部件模型之间的装配方向;

13、针对具有配合关系的两个部件模型,沿装配方向对被装配的部件模型进行扫掠,得到扫掠体,并检测扫掠体与其余部件模型之间的干涉情况,根据干涉情况确定两个部件模型的装配先后约束;

14、以部件模型为节点,以约束类型、装配方向和装配先后约束为边的属性,构建装配约束图。

15、在一种可能的实施方式中,基于装配约束图确定装配序列,包括:

16、对装配约束图进行拓扑排序,得到满足装配先后约束的至少一个候选装配序列;

17、针对每个候选装配序列,根据部件模型的装配方向变化次数、装配可达性以及配合特征的数量确定装配代价;

18、将装配代价最小的候选装配序列确定为装配序列。

19、在一种可能的实施方式中,基于装配序列生成装配状态识别特征库,包括:

20、针对装配序列对应的每个装配状态,按照装配状态对应的部分装配结果,从多个视角对由已装配部件模型构成的三维模型进行渲染,得到多视角图像;

21、从多视角图像中提取二维特征,并从三维模型中提取三维特征,得到装配状态的特征描述子;

22、确定相邻两个装配状态之间新增部件模型所占据的区域,作为装配状态的增量区域,并将增量区域标注于特征描述子中。

23、在一种可能的实施方式中,将实测特征与各候选装配状态的特征描述子进行匹配,并根据匹配结果确定当前实际装配状态,包括:

24、针对每个候选装配状态,将实测特征与候选装配状态的特征描述子进行匹配,得到位于增量区域内的第一匹配度和位于增量区域外的第二匹配度;

25、按照第一权重对第一匹配度进行加权,并按照第二权重对第二匹配度进行加权,得到候选装配状态的综合匹配度,其中,第一权重大于第二权重;

26、将综合匹配度最大且大于预设阈值的候选装配状态确定为当前实际装配状态。

27、在一种可能的实施方式中,根据比对结果生成装配引导内容,包括:

28、在比对结果表征当前实际装配状态与期望装配状态一致的情况下,生成用于指示装配下一部件模型的引导内容;

29、在比对结果表征当前实际装配状态与期望装配状态不一致的情况下,根据当前实际装配状态确定装配偏差类型,并生成与装配偏差类型对应的纠正引导内容,其中,装配偏差类型包括错装、漏装和反装中的至少一种。

30、在一种可能的实施方式中,方法还包括:

31、统计当前已确认节点对应的装配步骤的装配偏差发生次数,和/或根据期望装配状态所新增部件模型的数量、配合特征的数量和装配方向的数量确定装配复杂度;

32、在装配偏差发生次数达到预设次数,和/或装配复杂度达到预设复杂度阈值的情况下,将期望装配状态对应的装配步骤分解为多个装配子步骤,并按照装配子步骤依次生成装配引导内容。

33、在一种可能的实施方式中,将装配引导内容与当前装配对象进行配准并叠加显示,响应操作者的多模态交互输入对装配引导内容进行更新,包括:

34、根据实测数据估计当前装配对象相对于图像采集装置的位姿,并基于位姿将装配引导内容与当前装配对象进行配准;

35、将配准后的装配引导内容以三维虚拟模型的形式叠加显示于当前装配对象上;

36、获取操作者的手势输入、语音输入和视线输入中的至少一种作为多模态交互输入,并根据多模态交互输入对装配引导内容的显示视角、显示比例和播放进度中的至少一项进行更新。

37、第二方面,本技术实施例提供一种基于三维模型的设备装配引导交互系统,包括:

38、模型获取模块,用于获取目标设备的三维装配模型;

39、约束图构建模块,用于提取各部件模型的配合特征,基于配合特征进行自由度分析与可达性分析,得到装配约束图,并基于装配约束图确定装配序列;

40、特征库生成模块,用于基于装配序列生成装配状态识别特征库;

41、状态识别模块,用于采集当前装配对象的实测数据并提取实测特征,将装配约束图中当前已确认节点经边可达的相邻节点所对应的装配状态确定为候选装配状态,将实测特征与各候选装配状态的特征描述子进行匹配,并根据匹配结果确定当前实际装配状态;

42、引导生成模块,用于将当前实际装配状态与期望装配状态进行比对并根据比对结果生成装配引导内容;

43、交互显示模块,用于将装配引导内容与当前装配对象进行配准并叠加显示,响应操作者的多模态交互输入对装配引导内容进行更新。

44、第三方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面的方法的步骤。

45、第四方面,本技术实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述第一方面的方法的步骤。

46、本发明的有益效果是:

47、1、通过对三维装配模型自动提取配合特征,并进行自由度分析与可达性分析以构建装配约束图,进而自动确定装配序列并生成装配状态识别特征库,无需针对每一装配步骤进行人工标注,显著降低了装配引导内容的制作成本与周期,能够快速适应多品种、小批量的柔性生产需求。

48、2、在识别当前装配状态时,仅以装配约束图中当前已确认节点经边可达的相邻节点所对应的装配状态作为候选装配状态进行匹配,而无需与全部装配状态进行全局匹配,从而大幅缩小了搜索空间,提高了状态识别的实时性,并且通过对相邻装配状态之间新增部件所在的增量区域赋予更高的权重进行加权匹配,突出了不同装配状态之间的差异区域,有效提升了对外观相近的装配状态的识别准确率与鲁棒性。

49、3、通过将当前实际装配状态与期望装配状态进行比对,能够及时检测出错装、漏装、反装等装配偏差并生成针对性的纠正引导,有助于降低装配错误、提升装配质量。

50、4、能够根据装配偏差发生次数和/或装配复杂度对装配步骤进行自适应的粒度分解,在保证装配正确率的同时兼顾装配效率。

51、5、通过将装配引导内容与实物进行配准叠加,并支持手势、语音、视线等多模态交互,使操作者无需中断装配操作即可完成交互,提升了引导的直观性与操作的便捷性。