面向复杂环境的生猪三维点云补全方法及系统

本发明涉及三维点云处理和智慧农业技术，具体涉及一种面向复杂环境的生猪三维点云补全方法及系统，尤其适用于农业场景中因运动、遮挡导致的大面积残缺点云数据。

背景技术：

1、点云作为三维空间中的数据表达形式，能够精确描述物体的几何结构与表面细节，在自动驾驶、三维重建、工业检测及智慧农业等众多现实应用中发挥着重要作用。然而，由于三维点云数据本身具有无序性、稀疏性和不规则性，针对点云的分析与处理任务极具挑战性。在实际采集过程中，受限于传感器精度、物体表面特性以及复杂环境中的遮挡、光照等因素影响，获取的点云数据通常存在稀疏、缺失和不完整等问题，难以准确反映目标物体的完整结构信息，从而给后续的分析与处理任务带来较大困难。例如非接触式家畜体尺测量已成为智慧农业中的一个活跃研究方向，但传统测量方法依赖卷尺、标尺等手动工具，这些方法劳动强度大、耗时长，且常给动物带来应激，所捕获的点云往往不完整。遮挡、动物运动和有限的相机视角导致点云中存在缺失区域，这直接影响关键点定位和体尺测量的准确性。

2、近年来，基于深度学习的三维点云补全方法取得了显著进展。点云补全任务旨在从残缺的局部点云中重建完整的三维几何结构，在遮挡场景理解、三维目标重建等方面具有重要价值。早期基于深度学习的方法，如3d-epn等，通过将不完整形状体素化，并利用三维卷积神经网络在体素网格上预测完整占据情况以得到补全结果，该类方法拓扑表达直观，但由于体素分辨率与内存及计算成本呈立方增长，难以在高分辨率下恢复精细几何细节。另一类多视图方法，如3d-r2n2，将三维形状渲染为深度图或多视角图像，在二维域内完成补全后再映射回三维空间，然而，该类方法受限于视角选择与多视图融合的复杂性，且对几何细节的一致性建模不足。

3、随着pointnet及pointnet++等能够直接处理原始点云数据的深度网络架构的提出，点云补全领域迎来了重要突破。yuan等人提出的pcn首次将编码器-解码器框架引入点云补全任务，实现了对缺失部位的粗粒度重建。随后，foldingnet、topnet等方法通过改进解码器结构，进一步提升了补全点云的几何规则性。pf-net、grnet等方法则进一步引入了多尺度特征提取和三维体素卷积，提升了局部细节的生成能力。然而，上述编码器-解码器架构本质上受限于卷积操作的局部感受野，难以有效捕捉点云中非局部的长距离几何依赖，且在处理大规模无序点集时计算效率受限。

4、随着transformer架构在自然语言处理和二维图像领域的巨大成功，其强大的全局注意力机制被迅速引入到三维点云处理中。基于transformer的方法，如pointr、adapointr、snowflakenet、pmp-net++、seedformer、anchorformer、proxyformer、lake-net、fb-net、svdformer及geoformer等，通过引入注意力机制，显著增强了模型对全局几何结构与局部细节的联合建模能力，在公开数据集上取得了优异性能。以pointr为代表的方法利用最远点采样与k近邻提取局部特征，借助transformer编码器预测缺失点代理，实现高精度补全。然而，transformer的自注意力机制虽能有效捕获长距离依赖，但其计算复杂度与输入序列长度的平方成正比，即存在二次方计算复杂度问题，在处理高分辨率点云或大规模场景时形成显著的效率瓶颈，限制了其在资源受限或实时性要求较高的场景中的应用。

5、近期提出的mamba等序列状态空间模型（ssm）为长序列建模提供了区别于自注意力的高效范式。mamba通过可学习的状态空间递推，在近似线性时间复杂度下对任意长度序列进行建模，兼顾了较强的全局依赖建模能力与良好的计算效率。在点云与三维视觉领域，已有如pointmamba、pointcloudmamba、mamba3d等工作尝试将mamba引入点云分析任务，通过空间填充曲线或一致遍历序列化等方法将点云转化为一维序列，并利用mamba编码器实现全局建模，在降低计算复杂度的同时保持了有竞争力的性能。在点云补全方向，已有如3dmambacomplete等框架尝试将mamba用于点云补全，但其特征提取设计未能充分发挥mamba的优势，在大规模输入下的补全精度仍有提升空间。现有方法在点云补全中往往偏向单一架构，尚未充分挖掘transformer与mamba协同工作的潜力，仍存在显著的局限与不足，具体如下：

6、第一，面向大面积高度残缺数据的补全精度不足。在农业场景中，采集的生猪（例如生猪）等目标点云因运动、遮挡和视角限制，存在大面积缺失，残缺程度远超通用数据集（如shapenet、completion3d等）。现有基于单一transformer或mamba架构的方法，在面对此类极端缺失时，难以有效利用有限的可用几何信息恢复完整的全局形状结构，导致补全精度显著下降。

7、第二，对特定目标的生物形态先验利用不足。生猪等目标具有独特的生物形态约束，其体型、姿态等具有明确的先验知识。通用点云补全模型缺乏对此类先验知识的专门建模，难以在补全过程中有效还原目标特有的局部细节与整体形态，导致补全结果在几何结构上不合理或不符合目标生物特征。

8、第三，真实场景下训练数据稀缺。在现实采集条件下，难以获取与残缺点云精准配对的完整目标点云真值，导致成对的训练数据极为稀缺。现有方法高度依赖大规模成对数据集的训练范式，在数据有限的条件下，模型的泛化能力和补全性能受到严重制约。

9、第四，transformer与mamba的融合方式存在局限。虽然已有研究尝试将transformer与mamba进行融合，例如完全替代自注意力并将编码器全部替换为mamba并行插入，但该种融合方式存在两方面不足：其一，点云的无序性与mamba依赖序列顺序的建模方式之间存在固有矛盾，transformer虽能利用自注意力机制建立全局点间关系以克服无序性，但mamba采用状态空间递推方式建模序列信息，更强调序列上下文的连续传播，导致局部几何信息容易在序列传播过程中丢失；其二，现有融合策略简单地将二者并行或堆叠，未能实现二者的深度耦合与优势互补，难以在保证补全质量的同时有效控制计算开销。

技术实现思路

1、发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种面向复杂环境的生猪三维点云补全方法及系统，通过三维morton码空间排序、双向mamba扫描、频率分解与film门控融合机制以及渐进式注入策略，在保留全局结构建模能力的同时缓解点云补全过程中的过度平滑问题，并通过两阶段迁移学习策略实现通用点云补全能力向生猪特定领域的高效迁移，还可以应用于其他活体动物目标的形态重建。

2、技术方案：本发明的一种面向复杂环境的生猪三维点云补全方法，包括以下步骤：

3、步骤1、获取待补全的生猪原始残缺点云数据；

4、步骤2、通过dgcnn分组模块对原始残缺点云数据进行处理，得到聚合特征；

5、此处的dgcnn分组模块沿用adapointr的特征提取结构，通过局部k近邻图卷积与逐级最远点采样相结合的方式，逐层提取生猪点云的局部几何特征，为后续编码与解码器重建缺失部位提供基础特征支撑；

6、步骤3、对聚合特征进行规整化处理，先基于点三维坐标归一化、10-bit整数量化，沿x-y-z轴向位交织生成morton码，依据morton码对特征序列全局排序，得到具备三维空间局部连续性的一维序列化特征；

7、步骤4、构建transformer-mamba混合编码网络，将生猪点云的一维序列化特征输入训练好的transformer-mamba混合编码网络，得到融合全局结构与局部几何细节的增强特征序列；transformer-mamba混合编码网络基于改进adapointr架构，融合mamba选择性状态空间机制与transformer局部特征建模机制，内置有渐进式laplace-mamba注入策略、双向扫描机制以及结合film调制的频率解耦模块；具体包括以下子步骤：

8、步骤4.1、对进行最远点采样降维，得到低分辨率中心点集合及对应特征；对低分辨率中心点集合按三维坐标进行morton位交织排序；设置两个独立mamba实例，对排序后的低分辨率中心点特征序列分别执行正向扫描和反向扫描，将正向扫描和反向扫描输出在通道维度拼接后经线性投影恢复原始特征维度，得到低分辨率增强特征；

9、步骤4.2、将低分辨率增强特征通过近邻距离加权插值恢复至原始点云分辨率，得到表征生猪整体轮廓姿态的低频分量；将步骤4.1的输入特征与低频分量残差相减，得到表征局部解剖细节的高频分量；以低频分量为条件，通过两层mlp生成缩放因子与偏移因子，对高频分量进行仿射调制并归一化，得到调制高频特征；将低频分量与调制高频特征拼接后经线性层生成门控权重，依据门控权重对与进行加权融合并经残差连接，输出频率协同增强特征；

10、步骤4.3、执行渐进式laplace-mamba注入策略，仅在编码器前半层插入laplace-mambamixer模块，编码器后半层保留原始transformer自注意力结构，分层协同建模全局结构与局部几何细节，输出精细化的增强特征序列；

11、步骤5、基于交叉注意力解码机制对精细化的增强特征序列解码重建，生成完整生猪预测点云。

12、进一步地，步骤2获得聚合特征的具体处理方法为：基于k近邻构建局部图并提取初始局部几何特征，经两次最远点采样逐级降维，并在每级降维后的中心点上重复执行基于k近邻的图卷积特征聚合，逐层扩大特征通道维度，输出降采样中心点坐标及其对应的聚合特征。

13、进一步地，步骤3规整化处理的详细方法为：首先，对生猪残缺点云三维坐标执行最小边界和最大边界归一化处理；

14、然后，将归一化后的三维坐标进行10-bit整数阶量化；对量化后的三维整数坐标沿x-y-z轴向位交织，生成每个点云点位对应的morton码；

15、接着，依据morton码对聚合特征序列全局排序，得到具备三维曲面空间连续性的规整化的一维序列化特征；由于dgcnn分组模块生成的点坐标在整个编码器处理过程中保持不变，编码器各层独立计算得到的morton排序索引结果一致。

16、进一步地，transformer-mamba混合编码网络基中，基于离散状态空间模型ssm构建mamba选择性状态空间机制，ssm离散公式为：

17、；

18、；

19、、分别为t时刻、t-1时刻的隐状态，为t时刻的离散输入，为t时刻的离散输出，、和为由连续参数经零阶保持离散化得到的离散参数矩阵，和满足以下条件：

20、；

21、；

22、为时间步长参数，a和b为连续参数矩阵，i为单位矩阵；

23、为实现并行训练，ssm递推形式等价转化为全局卷积形式：

24、；

25、；

26、表示由状态空间参数生成的全局卷积核，为输入序列，为输出序列，*为卷积运算，为序列长度；

27、mamba选择性状态空间机制将部分状态参数设计为输入相关函数，满足下式：

28、；

29、mamba采用selectivescan算法实现状态递推并行计算，保持o(n)线性时间复杂度，相较于已有transformer的o(n²)复杂度，大幅提升长序列点云建模效率与可扩展性。

30、进一步地，步骤4.1中双向扫描机制的执行过程如下：

31、设置两个独立的mamba实例，分别对最远点采样降维后、经morton排序所得的低分辨率中心点特征序列进行正向扫描与反向扫描，正向扫描捕获序列的前序上下文信息，反向扫描补充正向扫描缺失的后序上下文信息；

32、然后，将正向扫描与反向扫描的输出序列在通道维度拼接后，通过线性投影映射回原始特征维度c，满足：

33、；

34、为morton排序后特征序列；为序列翻转操作；为正向扫描mamba实例，捕获序列前序上下文；为反向扫描mamba实例，处理翻转序列补充后序上下文；为通道维度拼接，拼接后特征维度为2c；为线性投影层，将2c维特征映射回原始维度c；o为双向扫描模块输出特征；

35、对输入特征先施加layernorm归一化，扫描与投影操作采用残差连接，训练阶段引入随机深度正则化。由于点云坐标在编码过程中保持不变，各编码层独立计算得到的morton排序索引结果一致；morton排序采用三维x-y-z轴向位交织编码，规避二维z曲线、希尔伯特曲线排序破坏三维点云空间邻近性的缺陷，精准保留生猪三维曲面空间连续性。

36、进一步地，步骤4.2获得频率协同增强特征的详细过程是：

37、首先，对输入点云特征（具体是指一维序列化特征）通过最远点采样fps获取稀疏点集和对应的稀疏特征，n为点云点数，c为原始特征维度；

38、；

39、；

40、；r为下采样倍率；

41、按三维坐标进行morton位交织排序，经权利要求4所述双向mamba扫描得到低分辨率增强特征；将低分辨率增强特征通过近邻距离加权插值恢复至原始点数n，得到低频分量；

42、通过残差减法提取高频分量：；

43、上述频率解耦操作在完整c维特征空间执行，显式分离高低频特征，避免局部细节丢失；从根源解决点云补全过度平滑问题；

44、接着使用film跨频率调制与融合，具体过程包括：

45、将低频分量输入两层mlp生成调制参数缩放因子、偏移因子，即；

46、随后采用调制参数对高频分量逐元素仿射变换并归一化，得到调制高频特征：；

47、为逐元素乘法，为层归一化；

48、将调制后的高频特征与原始的低频特征拼接，经线性层生成门控权重gate;

49、；

50、为sigmoid激活函数，为线性投影层；

51、通过线性映射恢复原始特征维度，得到特征融合结果：

52、；

53、将特征融合结果与输入的点云特征进行残差连接，得到模块最终输出特征：

54、；

55、通过低频全局特征自适应引导高频局部细节特征，解决高低频特征融合的信息冲突问题，同步保障生猪点云整体形态一致性与局部边缘细节完整性。

56、进一步地，步骤4.3渐进式laplace-mamba注入策略的详细内容如下：

57、设编码器总层数为l，则注入laplace-mamba模块的层数：；

58、为向下取整运算；

59、第个编码层的特征更新规则为：

60、；

61、为第层输出特征；为laplace-mambamixer模块运算，为transformer编码块运算；

62、仅在前层并行嵌入mamba模块与transformer自注意力模块，后层仅保留transformer结构；通过浅层全局建模、深层细节优化的分层设计，规避串行流水线编码的误差级联问题，实现全局结构建模与局部几何表征的高效协同。

63、进一步地，对transformer-mamba混合编码网络执行迁移学习两阶段训练策略，

64、第一阶段进行通用预训练，选取公开三维点云基准数据集作为训练样本，对transformer-mamba混合编码网络进行完整训练，使网络学习通用物体三维几何结构、曲面形态、边缘细节的基础表征能力，完成网络基础参数初始化；

65、第二阶段进行领域微调，采集真实生猪养殖场景下的生猪深度图像，通过坐标转换生成残缺点云数据，构建微调数据集；基于微调数据集对预训练网络进行迭代微调，适配专属生物几何特征、躯干曲面形态及真实采集环境的噪声分布特性，克服农业场景生猪标注点云数据稀缺的问题。

66、进一步地，网络训练采用复合损失函数，复合损失函数由精细点云倒角距离损失、中心点倒角距离损失与去噪分支倒角距离损失加权融合得到；

67、其中倒角距离cd损失公式为：

68、；

69、p为预测点云集合，q为真实点云集合，n、m分别为预测点云、真实点云的点数，为二范数欧氏距离；

70、由于解码模块采用辅助去噪机制以增强解码器的特征预测能力，去噪查询点与中心点同步生成，得到基于去噪查询点的补全点云；对该部分点云施加损失优化，确保训练初期在中心点预测尚不精确的情况下，网络仍能通过高质量输入点获得有效优化；

71、为预测点云到真实点云的双射映射函数；

72、最终复合损失函数为：；

73、为平衡权重超参数，通过消融实验确定最优取值；通过浅层全局建模、深层细节优化的分层设计，规避串行流水线编码的误差级联问题，实现全局结构建模与局部几何表征的高效协同。

74、进一步地，对渐进补全三维点云过程进行可视化，方法为：采用mitsuba，open3d工具对补全后的完整生猪三维点云进行三维可视化渲染，直观展示不同区域的补全效果。

75、本发明还公开一种面向复杂环境的生猪三维点云补全系统，包括点云特征提取模块、点云规整化模块、混合编码模块、交叉注意力解码重建模块和训练优化模块；

76、点云特征提取模块内置dgcnn分组单元，接收生猪残缺点云，通过局部k近邻图卷积与逐级最远点采样相结合的方式，逐层提取降采样中心点及其对应的局部几何特征；

77、点云规整化模块对加权聚合特征完成坐标归一化、10-bit量化、三维morton编码与全局排序，输出空间连续的一维序列化特征；

78、混合编码模块中内置有渐进式laplace-mamba注入单元、双向mamba扫描单元、拉普拉斯频率解耦单元、film跨频调制单元，构建transformer-mamba混合编码网络，输出精细化增强特征序列；

79、交叉注意力解码重建模块对增强特征序列解码，生成完整生猪预测点云；

80、训练优化模块于执行两阶段迁移学习训练，基于复合损失函数迭代优化网络参数，输出最优生猪点云补全模型。

81、有益效果：与现有技术相比，本发明有以下优点：

82、1、本发明的transformer-mamba混合编码网络，实现特征互补分工：mamba 分支专门建模低频全局拓扑结构，transformer 分支专注提取高频局部几何细节，二者协同完成特征表征；区别于对比专利仅依靠 bi-ssm 通道翻转实现的伪双向建模，本发明实现全局特征和局部特征真正意义上的解耦互补，建模精度更高。

83、2、本发明增设 laplacepointmixer频率解耦模块，通过动态邻域聚合提取低频轮廓、残差减法分离高频细节，全程在完整特征维度运算；从根源规避对比专利采用最大池化操作带来的局部曲面、边缘细节丢失缺陷，大幅提升生猪四肢、躯干褶皱等精细结构重建效果。

84、3、本发明采用三维 x-y-z 位交织 morton 码排序，摒弃该专利使用的二维 z 曲线、希尔伯特空间填充曲线，规避二维排序破坏三维点云空间邻近性的缺陷，精准保留生猪三维曲面空间连续性，空间特征序列化更合理。

85、4、本发明提出适配生猪三维重建的专属迁移学习策略，第一阶段在公开基准数据集预训练，让网络学习通用物体曲面、边缘几何基础表征；第二阶段采用真实生猪养殖场深度图像转换生成的残缺点云数据集微调，完成通用几何能力向生猪专属生物特征、养殖噪声分布的领域自适应，解决农业场景高质量标注点云数据匮乏的现实难题，降低落地数据采集成本。