基于深度学习图像数据处理的甲片3D打印定制成形方法

本发明涉及计算机视觉、图像处理、人工智能、三维图像建模与增材制造，具体而言，涉及一种基于深度学习图像数据处理的甲片3d打印定制成形方法。

背景技术：

1、个性化甲片是一种预先制作完成的人工指甲贴片，用户可通过胶粘等方式将其附着于自然指甲表面，以达到美化指甲的效果。与传统美甲相比，个性化甲片具有操作简便、耗时短、可重复使用、对自然指甲损伤小等显著优势。近年来，全球美甲市场增长迅速，据行业数据显示，全球美甲市场年消费规模已超过500亿美元，其中个性化、定制化的美甲产品因满足了消费者对个性化、便捷性和性价比的多重需求，正成为行业增长的重要驱动力。

2、然而，现有个性化甲片产品的定制化程度普遍较低。市场上主流的甲片产品主要采用标准化模具和有限尺寸规格（通常按号码划分）进行批量生产，消费者在选购时仅能根据大致的指甲宽度进行粗略匹配。由于个体指甲在长度、宽度剖面、纵向曲率、横向拱高、左右不对称性等方面存在显著差异，标准化产品难以实现与自然指甲的高精度贴合，普遍存在贴合不紧密、佩戴异物感强、易脱落、外观不自然等问题。

3、在技术层面，已有部分方案尝试通过三维图像扫描或图像采集实现甲片的个性化定制。例如，中国发明专利申请cn116548718a公开了一种全自动美甲机及美甲方法，通过机械装置和视觉系统实现指甲的自动识别和美甲操作。然而，该类方案存在以下不足：其一，依赖专用硬件设备，设备成本高、体积大，不适合个人消费者家庭使用或网上远端客户使用；其二，多采用单视图或接触式测量，效率低，难以全面准确地描述指甲的复杂曲面形态；其三，从数据采集到成品制造的全流程自动化程度不足，需要较多人工干预。

4、在三维图像建模方面，传统的通用三维图像重建方法（如多视图立体视觉、结构光扫描等）虽然能够获得较高的重建精度，但通常需要几十张图像或专用采集设备，且重建结果多为无结构的点云或网格模型，难以直接用于参数化设计和制造约束的施加。对于甲片制造而言，需要一种能够直接输出参数化、结构化、可制造的三维实体模型的专用建模方法，该模型应内嵌尺寸精度、曲面光顺性、壁厚均匀性等制造约束。

5、在制造端，3d打印技术已成为个性化甲片生产的重要手段。2023年全球3d打印市场规模已超过200亿美元，预计2025年将达到277亿美元。sla、dlp、lcd等光固化3d打印技术因其成型精度高、表面质量好、适合小批量个性化生产的特点，尤其适用于甲片制造。然而，3d打印对输入模型的格式和质量有严格要求，需要将参数化三维模型转换为step、3mf、stl等标准格式，并满足水密性、壁厚均匀性、支撑可去除性等工艺约束。

6、综上所述，现有技术在以下方面存在明显不足：（1）缺乏一种低门槛、高精度的自然指甲三维图像信息采集方案；（2）缺乏针对甲片制造需求的专用参数化三维图像建模方法；（3）缺乏从图像采集到可制造模型输出的全流程自动化技术方案。

技术实现思路

1、为了解决上述现有技术中存在的问题，本发明的目的在于提供了一种基于深度学习图像数据处理的甲片3d打印定制成形方法，针对现有技术的不足，本发明要解决的技术问题包括以下几个方面：

2、第一，自然指甲三维图像信息低门槛高精度获取问题。 现有方案要么依赖专用三维扫描设备，成本高、操作复杂；要么采用单视图图像采集，获取的三维图像信息严重不足，无法准确恢复指甲的三维曲率。本发明旨在提供一种仅需用户使用普通智能手机拍摄两张图像（顶视图和斜视图），即可获取五个自然指甲的精准平面轮廓和有限三维图像曲率信息的技术方案，大幅降低个性化甲片定制的用户操作门槛和设备成本。

3、第二，移动端图像的精确尺度标定问题。 从手机照片恢复物理尺寸需要精确的相机内参标定。传统的离线标定方法需要专用标定板和复杂的操作过程，不适合普通消费者使用。本发明旨在提供一种利用ic卡作为尺度参考物的在线自标定技术，通过ic卡理想顶点检测和低维参数联合优化，在无需预先标定的条件下，实时准确地恢复焦距、主点偏移和径向畸变系数，实现像素尺寸到物理尺寸的精确映射。

4、第三，指甲区域的精准分割与特征提取问题。 自然指甲在图像中占比较小，与肤色背景对比度低，且存在高光、遮挡、指甲形状个体差异大等挑战。本发明旨在提供一种三级视觉图像分割体系，实现从整手与背景分离、手指拓扑与roi定位到指甲精细多任务分割的逐层精细化处理，准确提取指甲掩膜、甲根、甲沟、自由端、中心线等关键特征。

5、第四，参数化三维图像建模与不可见侧恢复问题。 四指在顶视图中左右轮廓可见但左侧曲率不可见，拇指的形态和可见性与其他四指存在显著差异。本发明旨在提供一种基于参数化曲面的三维图像建模方法，通过镜像初值与条件形状先验为不可见侧提供合理的初始估计，并结合双视图反投影约束进行迭代优化，实现包括拇指在内的五个指甲的高精度个性化三维图像建模。

6、第五，面向3d打印制造的可制造实体生成问题。 三维图像建模结果需要转换为满足3d打印工艺约束的实体模型。本发明旨在提供一种cad实体生成方法，通过内贴合面和外表面构造、可变厚度配置和多格式输出，直接生成适用于sla、dlp、lcd、fdm等3d打印工艺的可制造模型文件。

7、为了解决上述技术问题，本发明采用如下技术方案：

8、一种基于深度学习图像数据处理的甲片3d打印定制成形方法，包括以下步骤：

9、步骤一：双视图移动端图像采集。 用户使用手机摄像头对同一手部依次拍摄顶视图和右斜视图两张图像。顶视图要求手机光轴接近桌面法线方向，主要用于获取食指、中指、无名指和小指的精准平面轮廓；右斜视图从手部右侧约15°～45°角度拍摄，主要用于获取拇指近正面轮廓和四指右侧的三维图像曲率信息。拍摄时将标准ic卡（尺寸85.60mm ×53.98mm）放置于手部附近作为尺度参考物。在替代方案中，具备标准尺寸产品使用包括但不限于ic卡、银行卡、工作卡、印有特定图案的专用采集垫、a4纸、各国钱币、具备标准尺寸的电子产品、iphone手机a5纸、法定纸币或硬币、标准化电子产品（如iphone手机等）作为尺度参考物，本发明中以ic卡为例进行说明。

10、步骤二：ic卡在线自标定。 系统对两张图像分别执行以下标定流程：首先进行ic卡理想顶点检测，对卡片四条边分别进行边缘点分组，删除圆角区域边缘点，对每条边中部的直线段采用总最小二乘（total least squares, tls）方法进行直线拟合，相邻拟合直线延长求交点获得理想顶点；然后执行低维在线自标定，以ic卡四个理想顶点的物理坐标为约束，联合优化相机焦距f、理想顶点偏移、一阶径向畸变系数（必要时包含二阶系数）以及两张图像相对相机姿态的旋转矩阵和平移向量。其中焦距和畸变系数为两张图像共享参数，姿态参数各自独立。标定完成后，建立像素坐标到物理坐标的精确映射关系。

11、步骤三：三级视觉图像分割。 基于深度学习大模型对图像执行三级视觉图像分割：第一级为整手与背景分割，排除桌面、ic卡和其他干扰物体，提取手部区域；第二级为手指拓扑分析与roi定位，基于关键点识别检测五根手指（d1-d5），建立每根手指的中心轴、指尖点和远近端关节点，确定各手指的图像区域；第三级为指甲精细多任务分割，输出每片指甲掩膜、甲根线、左右甲沟线、自由端轮廓、中心线、高光区域、遮挡区域和置信度图。

12、步骤四：参数化三维图像建模。 采用参数化曲面描述指甲的三维图像形态。设参数表示从甲根到自由端的纵向位置，参数表示从指甲最宽处的解剖左侧到解剖右侧的横向位置。指甲的平面边界由顶视轮廓已确认的左边界曲线和右边界曲线固定，宽度剖面定义为：

13、

14、三维图像高度场分左右半侧分别表达。对于左侧（）：

15、

16、对于右侧（）：

17、

18、其中，为指甲中心线高度基线，和分别为左半侧、右半侧的横向拱高函数，和分别为指甲中心线左右两侧归一化的横向形状基函数。约束条件包括：在处位置和切线连续；和来自已确认的顶视轮廓；主要由右斜视图估计；初始由镜像获得，后续通过双视图联合优化修正。

19、拇指专用建模。 拇指采用与四指不同的视图角色分配：右斜视图作为拇指平面主轮廓来源，顶视图作为左侧轮廓和纵向曲率的辅助视图。拇指参数化模型包括平面参数（长度、最大宽度、宽度剖面、甲根曲率、自由端曲率、中心线）和三维图像参数（甲根/中央/自由端横向拱高、纵向曲率、最高点位置、左右甲沟下降、自由端翘曲）以及非对称参数（最高点横向偏移、左右曲率残差、左右包裹深度），以更准确地描述拇指特有的解剖形态。

20、镜像初值与条件形状先验。 对于四指不可见的左侧拱高，初始值设为右侧拱高的镜像：

21、

22、引入条件形状先验，将四指不可见侧的目标几何参数表达为：

23、

24、其中，为不可见侧的目标几何参数，为基于镜像对称假设的初始估计值，为基于深度学习先验知识的修正量即残差，可观测特征包括指甲长度、最大宽度、宽度剖面、甲根和自由端曲线、可见侧轮廓与高度、手指类型、左右手标识和拍摄质量评估。条件先验输出隐藏侧参数的条件均值和协方差，为不可见侧的合理恢复提供统计约束。

25、步骤五：双视图反投影与迭代优化。 建立综合损失函数进行参数优化：

26、

27、其中各项损失分别为：顶视轮廓距离损失，定义为参数化三维图像模型轮廓到顶视图观测轮廓的平均有符号距离：

28、

29、

n为顶视图观测轮廓上的采样点数量，

p为采样点，为顶视图观测轮廓，为采样点到参数化三维图像模型轮廓的平均有符号距离。

30、宽度剖面损失，约束参数化三维图像模型宽度剖面与观测一致：

31、

32、为采样点数量，，为观测宽度。

33、、、、、、、、、分别为各项损失对应的权重系数，用于平衡不同约束条件的重要性。右视轮廓损失、可见侧轮廓损失、指甲-手指高度关系损失、镜像对称损失、形状先验损失、曲面光顺损失和制造约束损失。优化过程分为五个阶段：平面轮廓固化阶段、可见三维图像拟合阶段、不可见侧初始化阶段、双视图联合微调阶段和制造约束施加阶段。

34、步骤八：cad实体生成与输出。 基于优化后的参数化曲面生成甲片cad实体模型。甲片内贴合面参数化曲面模型构造为：

35、

36、其中为按甲根、左右甲沟、中央和自由端分区配置的间隙函数，为曲面法向量，为通过优化得到的自然指甲的参数化曲面模型。甲片外表面的参数化曲面模型构造为：

37、

38、其中为可变厚度函数，根据不同区域的结构强度需求和美观要求进行配置。最终输出step、3mf、stl、glb格式的三维图像数模文件，可直接导入3d打印设备进行制造。

39、与现有技术相比，本发明具有以下有益效果：

40、（1）用户操作门槛极低。 本发明仅需用户使用普通智能手机拍摄两张照片，无需任何专用硬件设备或复杂的操作培训，即可完成五个自然指甲的高精度三维图像数据采集，显著降低了个性化甲片定制的准入门槛，使个人消费者在家即可发起定制流程。

41、（2）三维图像建模精度高、一致性好。 通过双视图联合约束、尺度参考物在线自标定确保物理尺寸精度、参数化建模保证曲面连续性与光顺性，以及分阶段迭代优化不断提升模型与观测的吻合度，本发明能够实现亚毫米级的个性化甲片三维图像建模精度，且建模结果具有良好的制造一致性。

42、（3）全流程自动化程度高。 从图像采集、相机标定、视觉图像分割、三维图像建模到可制造实体生成，本发明实现了全流程的自动化处理，无需人工干预，大幅提高了生产效率，降低了人力成本，支持大规模个性化定制场景。

43、（4）拇指建模精度显著提升。 通过为拇指设计专用的视图角色分配和独立的参数化模型，本发明有效解决了拇指与四指在形态和可见性上的差异问题，提升了拇指甲片的贴合度和佩戴舒适度。

44、（5）可直接对接3d打印制造。 本发明输出的三维图像数模文件符合step、3mf、stl和glb等工业标准格式，内嵌制造约束，可直接导入sla、dlp、lcd、fdm等3d打印设备进行生产，实现了从数字模型到物理产品的无缝衔接。