一种动力学驱动的高保真实景融合航天器数据集生成方法

本发明提供一种动力学驱动的高保真实景融合航天器数据集生成方法，它涉及一种利用高精度数值动力学仿真生成精确位姿标签，通过可控物理采集获取真实纹理外观，并借助引入几何一致性约束的生成对抗网络实现从虚拟域到真实域的精准迁移，从而合成兼具几何精度与视觉真实性的混合训练数据集的技术。属于计算机视觉、航天器自主导航与人工智能数据合成技术交叉领域。

背景技术：

1、基于单目视觉的非合作目标航天器六自由度相对位姿估计，是实现在轨捕获、碎片清除、在轨维护等复杂空间操作的核心关键技术。近年来，以卷积神经网络为代表的深度学习方法在此领域取得显著进展，其端到端的特征学习能力展现出超越传统基于特征匹配与模型拟合方法的鲁棒性和潜力。然而，深度学习模型的优越性能强烈依赖于大规模、高质量且标注精确的训练数据。鉴于在真实太空环境中直接获取此类数据的极端困难与高昂成本，研究界普遍依赖于地面仿真数据生成技术。

2、现有数据生成方法主要遵循两条技术路线。

3、其一是基于计算机图形学的纯虚拟仿真方法。该方法利用三维建模与渲染引擎（如opengl、unreal engine、blender）构建虚拟空间场景，通过程序化控制生成带有精确位姿标签的合成图像。早期代表性工作如欧洲空间局开发的pangu仿真器，其专注于行星表面场景。近年来，随着游戏引擎渲染质量的大幅提升，出现了如urso（unreal renderedspacecraft on orbit）等先进仿真器，能够生成更具视觉真实感的航天器在轨图像。此类方法的根本优势在于位姿标签由程序精确生成，理论上可达机器精度，且数据规模可无限扩展、生成成本低廉。然而，其核心缺陷在于合成图像的视觉特征分布与真实物理图像存在系统性差异，主要体现在材质的光学属性（如双向反射分布函数）、全局光照模型、传感器噪声特性（如光子散粒噪声、读出噪声）以及背景的物理一致性等方面。这种差异导致在纯合成数据上训练得到的模型，在迁移至真实或高保真仿真环境时，普遍遭遇显著的“域间隙”问题，表现为性能急剧下降。

4、其二是基于硬件在环的物理仿真方法。为提升数据的视觉真实性，研究者采用硬件在环方案，在受控的地面暗室环境中，利用高精度机械臂搭载真实卫星模型（或缩比模型），并精确模拟空间光照环境，使用物理相机进行图像采集。speed+数据集是该方向的典型代表，其提供了在模拟太阳直射光与地球反照光下的高保真图像。然而，尽管硬件在环（hardware in loop, hil）方法在纹理细节、光照交互等外观层面更接近真实，但其存在一系列难以克服的根本性局限：

5、一、位姿标签精度存在不可消除的误差下限。标签精度受限于机械臂的绝对定位精度、运动捕捉系统的标定误差与动态测量噪声，以及多系统间的时间同步误差，难以满足高精度导航算法训练与严格验证对真值的极高要求。

6、二、难以生成符合空间动力学的长时连续轨迹。受机械臂工作空间、运动学奇异点以及速度/加速度极限的约束，难以物理模拟符合轨道动力学与姿态动力学规律的、长时间、复杂、连续的相对运动序列，无法有效支撑基于卡尔曼滤波、滑动窗口优化或递归神经网络等时序模型的算法开发与测试。

7、三、系统构建与维护成本极其高昂。完备的hil设施需集成高精度多自由度机械臂、高准直度多光谱可调光照模拟系统及高精度光学运动捕捉系统，其建设、标定与运维均需巨大的资金与时间投入。

8、四、对复杂空间光照与材料交互的模拟能力仍有差距。地面模拟光源的光谱能量分布、强度均匀性及多光源耦合效应与真实太空多源（太阳、地球、行星）光照环境存在差异，难以完全复现航天器表面多层隔热材料、太阳能电池盖片等复杂材料在真实空间环境下的光学响应。

9、针对上述问题，近期研究尝试通过域适应技术弥合差距。例如，通过领域随机化增加合成数据的多样性，或利用生成对抗网络进行仿真到真实的图像转换。然而，这些方法往往在提升视觉外观的同时，难以保证原始精确几何标签的有效性，或无法生成动力学合理的连续序列。

10、因此，当前亟需一种能够兼顾绝对标签精度、高视觉保真度、连续动态合理性的数据集生成方法。

11、综上，本发明提出了一种面向航天器视觉导航的高保真数据集生成方法，其利用高精度数值动力学仿真生成绝对精确位姿标签，通过可控自动化图像采集流程物理采集获取航天器真实纹理外观，并借助引入几何一致性约束的生成对抗网络实现从虚拟域到真实域的迁移，从而合成兼具几何精度与视觉真实性的混合训练数据集的技术。

技术实现思路

1、本发明为解决非合作航天器在轨视觉位姿估计中高精度、高保真训练数据获取难题，提出一种基于动力学仿真生成精确位姿标签、通过物理采集获取真实纹理外观，并利用具备几何一致性约束的域适应网络进行合成-真实数据融合的高保真数据集生成方法。本发明具有标签精度高，视觉保真度好，能生成物理一致的连续动态序列且成本可控的优点，适用于航天器单目视觉导航、位姿估计等算法的训练、测试与验证场景。

2、本发明提出的一种动力学驱动的高保真实景融合航天器数据集生成方法，如图1所示，具体步骤如下：

3、步骤一：高精度虚拟数据与动力学标签生成

4、在数字仿真环境中完成，核心任务是生成带有位姿标签的航天器图像序列，并确保该序列在运动学与动力学上的合理性。

5、首先，构建一个基于unreal engine 4的高保真虚拟渲染环境。导入目标航天器的高精度cad模型，并利用引擎的基于物理的渲染系统，为模型的不同部件（如主体结构、太阳能帆板）配置符合其真实物理属性的材质参数。结合照明系统模拟太空环境：使用一个方向性平行光源模拟太阳直射光，其强度依据空间太阳常数设定；使用一个半球形或立方体环境光源模拟地球反照产生的均匀漫射光，其强度根据轨道高度及地球平均反照率模型进行计算。背景采用高分辨率的地球纹理与动态星空图。虚拟相机的成像模型经过严格校准，其内参矩阵与镜头畸变参数与后续将用于真实采集的工业相机完全一致，以确保成像几何的匹配。

6、其次，基于航天器相对运动动力学模型，生成连续的位姿标签序列。如图2所示，考虑服务航天器（servicer，记为s）与目标非合作航天器（target，记为t）的相对运动。假设服务星运行于一个半径为的近圆轨道，其平均轨道角速度（平运动角速度）为：

7、

8、其中，为地球引力常数。

9、下面讨论相对轨道运动的建模。以服务星的质心为原点，建立轨道坐标系，x轴沿径向向外，y轴沿迹向，z轴沿轨道角动量方向。在服务星的轨道坐标系中，当相对距离远小于轨道半径时，目标星相对于服务星的位置矢量由clohessy-wiltshire方程描述：

10、  (1)

11、服务星给定初始相对状态（位置与速度），方程(1)存在解析解，由此可生成任意时长、连续且符合轨道动力学的位置序列，该序列直接作为高精度的位置标签。

12、相对姿态运动建模如下。目标星的姿态动力学由其本体坐标系下的方程描述：

13、  (2)

14、其中，为目标星的惯性张量，为目标星相对于惯性系的角速度在其本体系下的表示，为作用在目标星上的外力矩，其中，对于自由翻滚目标，。服务星通常采用对地定向模式，其本体系相对于惯性系的角速度近似为。

15、目标星相对于服务星的角速度为：

16、  (3)

17、此处，为从服务星本体系到目标星本体系的旋转矩阵。对上述两边求导并利用旋转矩阵微分性质与相对姿态动力学和运动学方程，可得相对角加速度的表达式：

18、  (4)

19、采用单位四元数描述目标星本体系相对于服务星本体系的相对姿态，其中，表示四元数单位超球面，满足，其运动学方程为：

20、  (5)

21、式(5)中为由角速度构建的四元数乘法矩阵，其定义为：

22、

23、为结合构建的四元数乘法矩阵，为向量的反对称矩阵。

24、给定初始相对姿态和相对角速度，联立方程(2)、(3)、(4)与(5)，构成以相对角速度 与相对姿态四元数为状态变量的常微分方程组。

25、记状态向量为：

26、

27、其动力学方程为：

28、  (6)

29、 其中， 由方程(3)（相对角加速度表达式）给出， 为四元数乘法矩阵，定义如前述。

30、采用四阶runge-kutta数值积分方法，以固定步长进行递推。对于第步，已知当前状态，下一时刻的姿态四元数由以下递推公式得到：

31、  (7)

32、在四阶runge-kutta数值积分方法中，斜率参数分别定义为：

33、为区间起点处的导数，表征系统在当前状态下的瞬时变化率；

34、为利用半步推进后的中点处的导数；

35、为基于再次预估中点状态后计算得到的同一中点处的斜率，用以对中点导数进行修正；

36、为利用一步推进至终点后所得的状态处的终点导数。

37、最终，状态向量的更新采用上述四个斜率的加权平均：

38、，从而实现对系统动力学方程的高精度数值积分。

39、从中提取后四个分量，即得高精度姿态四元数序列。由此可依次生成全部离散时刻的连续姿态标签 。

40、为使生成的数据集既能覆盖连续的动态运动，又能充分采样离散的位姿空间以扩充数据规模和多样性，本发明一方面采用基于上述clohessy-wiltshire方程与相对姿态动力学和运动学，通过数值积分生成符合物理规律的长时间连续相对运动序列，用于支持时序导航算法训练；另一方面采用随机静态位姿采样方法，通过在相机视锥体范围内，对相对位置和姿态进行均匀随机采样。位置在预设的距离范围内随机生成，姿态通过对单位四元数在超球面上进行均匀采样实现，确保覆盖全姿态空间。此模式用于大量生成离散的、可能未被连续轨迹覆盖的静态位姿样本，显著扩充数据集的数量与多样性。

41、最后，进行虚拟图像序列的批量渲染。对于每个生成的时间戳及其对应的位姿标签，在虚拟场景中，首先构建目标航天器本体系到服务航天器轨道坐标系的相对位姿齐次变换矩阵：

42、  (8)

43、 其中，  为四元数对应的旋转矩阵,为由转换得到的相对位置矢量。设服务航天器本体坐标系到unreal engine世界坐标系的固定变换矩阵为 ，则虚拟相机在世界坐标系中的位姿由下式给出：

44、

45、由此得到相机的位置与朝向。调用ue4渲染管线，生成对应的rgb图像为：

46、

47、其中，。

48、由此，获得虚拟数据集。

49、其中，为第帧虚拟渲染图像，为目标航天器在服务星轨道坐标系（lvlh坐标系）中的相对位置矢量，为目标星本体系相对于服务星本体系的单位姿态四元数，为虚拟数据集样本总数。

50、步骤二：真实纹理图像采集

51、在物理实验环境中完成，其核心目标是获取真实卫星缩比模型在多种可控的模拟空间光照条件下的外观图像集合。

52、首先，构建一套可控的空间光照模拟暗室采集平台。如图4所示，该平台主要包括以下子系统：1）六自由度协作机器人，作为精密位姿执行机构，用于承载和定位卫星缩比模型；2）高分辨率科学级面阵相机与定焦镜头，相机被刚性固定于光学平台，确保成像稳定性；3）高保真空间光照模拟系统，其核心为用于模拟太阳平行光的高准直度led太阳模拟器与用于模拟地球反照漫射光的大尺寸积分球/柔光板系统，所有光源均由可编程电源驱动，支持复杂光照场景的预设与自动切换；4）全吸光暗室环境，内壁覆盖高性能吸光材料，以最大程度抑制环境杂散光反射，确保光照条件的纯净性与可控性。

53、采集流程通过上层控制软件实现全自动化。首先，对工业相机进行内参标定，获取精确的焦距、主点及畸变系数。随后，由程序生成一组数百至上千的机械臂末端工具中心点（tcp）位姿。这些位姿经过筛选，确保卫星模型能完整出现在相机视场中，并覆盖从近到远的不同距离范围以及不同的观测视角。对于序列中的每一个目标位姿，控制机械臂运动到位并等待系统稳定后，软件自动按预设协议循环切换多种光照配置模式。在每一种光照配置下，触发相机拍摄一张高分辨率、高动态范围的raw格式图像。在整个采集过程中，仅记录图像文件、对应用于数据管理的粗略机械臂位姿以及精确的光照配置id，无需机械臂提供的位姿信息作为最终数据标签。最终，获得一个大规模、无精确位姿标签但包含丰富真实视觉特征的真实图像集合。

54、其中，为第帧虚拟渲染图像，m是真实图像数据集样本总数。

55、步骤三：几何一致性约束下的域迁移与混合数据集生成

56、本发明在经典的循环一致性生成对抗网络（cyclegan）框架基础上进行改进。如图3所示，定义两个图像域，包括虚拟域（图像来自）和真实域（图像来自）。网络架构包含两个生成器，分别为用于实现从虚拟风格到真实风格的转换的生成器和实现反向转换的生成器，以及两个对应的判别器和，分别用于判断图像是否属于真实域或虚拟域。

57、除了标准的对抗损失、循环一致性损失和身份映射损失外，本发明的核心创新在于引入了显式的几何一致性损失。

58、为实现几何一致性，首先离线训练一个轻量级的航天器关键点检测网络。该网络在一个小型、人工精确标注的航天器图像子集上训练，能够从输入图像中稳定地提取一组与航天器刚性结构强相关的2d关键点坐标，例如太阳能帆板的四个外角点、天线安装基座中心点等。训练完成后，该检测器的权重被冻结。设对于输入虚拟图像，检测器输出其关键点坐标为，其中，为关键点数量。则几何一致性损失定义为生成图像与输入图像之间关键点位置的均方误差：

59、  (9)

60、式中，表示对从虚拟域中采样的图像求数学期望，为前述冻结权重的航天器关键点检测网络，为输入原始虚拟图像时检测器输出的关键点坐标矩阵，为将 经生成器转换为真实域风格图像后，再输入同一检测器所得的关键点坐标矩阵。该损失通过最小化两者之间的均方误差，强制生成器在域迁移过程中保持目标航天器结构关键点的像素位置不变。

61、该损失的物理意义在于强制生成器在改变图像的光照、纹理、色彩等外观属性以逼近真实域风格时，必须保持图像中目标航天器关键几何特征点的像素坐标基本不变，从而从根本上确保变换后图像的有效位姿标签与原始虚拟图像一致。

62、因此，改进后的cyclegan总目标函数为：

63、  (10)

64、式中， 为生成器与判别器之间的对抗损失， 为反向生成器与判别器之间的对抗损失，为各损失项之间的权衡超参数，为确保几何约束的主导作用，应取值较大，建议取值范围为 10～50，典型值取 20。使用虚拟数据集和真实数据集中的图像对网络进行充分的对抗性训练，直至模型收敛。

65、训练完成后，保留生成器。对于虚拟数据集中的每一个样本，将其图像输入训练好的生成器，即可得到具有高度真实视觉外观的转换后图像：

66、  (11)

67、由于训练过程受到的强约束，可以认为在几何结构上与高度一致。因此，原始虚拟图像所携带的精确位姿标签被完整且准确地继承到新生成的图像上。最终，构建出虚实融合的高保真数据集：

68、  (12)

69、本发明的优点及有益效果在于：

70、1、本发明所提方法的位姿标签直接源于无物理测量噪声，无累积误差的数值动力学模型解算，其精度理论上仅受计算机浮点数精度限制，为算法训练与性能评估提供了高精度的地面真值，解决了传统hil方法因复杂测量链路引入系统性误差而导致标签可信度不足的问题。

71、2、本发明所提方法基于clohessy-wiltshire方程与相对姿态动力学和运动学方程的联合数值积分，可以灵活、高效地生成任意时长、覆盖各种任务场景的连续相对运动序列。这一特性能够支持基于扩展卡尔曼滤波（ekf）、图优化以及递归神经网络（rnn）等时序模型的导航算法开发与测试，填补了现有静态或短序列数据集不足的空白。

72、3、本发明所提方法利用高精度数值动力学仿真生成精确位姿标签，通过可控物理采集获取真实纹理外观，并利用智能网络进行融合的创新性解耦思路，避免了构建全链路超高精度hil仿真设施的巨额资金与时间成本。主要资源集中于可控的中小型暗室建设与计算资源投入，显著降低了获取高质量、高保真训练数据的经济与技术门槛。