手机相机获取印章辅助图像的三维重建方法与流程

1.本发明属于人工智能领域，特别提供一种手机相机获取印章辅助图像的三维重建方法。


背景技术：

2.基于图像的三维重建从获取多视图图像开始，逐步通过相应的算法恢复场景中物体的三维结构，随着此技术的发展，激光扫描仪、基于结构光的深度摄像头、基于双目视觉的深度摄像头等图像采集设备的应用，其获取深度信息以及重建精度方面均不可忽视，在工业检测、医疗、建筑设计、航空航天和虚拟现实等领域都有广泛的应用。
3.在医学上应用，如x射线照片进行骨结构的三维重建，在计算机辅助外科手术中有着重要的作用；基于医学ct图像三维重建，直观病灶相对位置，对疾病的诊断治疗提供了可靠的依据；针对临床糖尿病足溃疡损伤评估，应用红外结构光的深度摄像头获取足部的外围图像进行三维重建。
4.上述用来三维重建的图像获取方法，其重建模型的精度不可忽视，但所需设备昂贵，专业性较强，不适合家用。


技术实现要素：

5.本发明的目的在于提供一种手机相机获取印章辅助图像的三维重建方法，对被测对象，尤其是纹理特征较少的被测对象进行低成本、方便快捷的三维重建。
6.本发明技术方案如下：应用手机相机围绕盖有特征图案的被测对象一周，同时读取手机传感器数据实现特定角度自动拍照获得图像序列，用此图像序列进行三维重建获得被测对象的三维几何模型，并获取有效信息，具体步骤在于：
7.s1：设计可提供三维重建特征信息又可提供尺度基准的特征图案，以此特征图案制作印章，在被测对象表面盖印；
8.s2：在手机客户端中，用手机相机围绕盖有特征图案的被测对象拍摄一周，获得特定角度的图像序列；
9.s3：将图像序列上传到云端；
10.s4：将图像序列进行图像的归一化配准；
11.s5：将配准后的图像序列进行三维重建，得到被测对象外观三维几何模型；
12.s6：判断三维几何模型的特征参数，获取有效信息。
13.进一步地，发明了图案样式简单规范的印章盖印在被测对象，不仅丰富被测对象表面的特征信息，而且还给予被测对象一个尺度基准，利用此基准进行将不同图像中的特征图案所占像素数量归一化，实现相机与被测对象之间距离的自动校准；图案样式简单规范且具有方向性，并在图案中设定特征距离。
14.进一步地，印章还有以下作用：特征距离的设定，建立了实际尺寸与图像像素尺寸之间的关系，对三维几何模型有效性的评估提供依据；图案样式较为简单，不仅制作简单，
且线条清晰，便于直线的拟合，为图像配准提供了便利；非中心对称图形，使得图案具有了方向性，有利于人为识别待处理图片的方向。
15.进一步地，开发手机客户端，用以调用手机摄像头以及手机内置陀螺仪和三轴加速度传感器，把两个传感器的数据进行融合，当被测对象在任意角度静置，均可计算相机相对被测对象的旋转角度，实现特定角度的自动拍照。具体地说，在垂直方向上的拍照姿态，角度的计算调用的是手机内置陀螺仪传感器；而水平方向上的拍照姿态，调用的是手机内置三轴加速度传感器计算角度信息；任意角度的拍照姿态，是融合两种传感器数据获得的角度信息。
16.进一步地，应用互联网相关技术，将获取到的图像上传到云端，通过云计算进行图像的归一化配准和三维重建，并将得到的三维几何模型存储，从而判断其特征参数，获取有效信息。
17.进一步地，应用人工智能相关技术，对被测对象进行三维重建，将采集到的图像进行特征的提取与计算，得出被测对象的空间和几何关系，生成三维点云，将点云网格化后，进行一系列优化处理，最终得到被测对象的三维几何模型。
18.本发明的有益效果为：在保证精度的前提下，使用手机以及印章辅助，对被测对象，尤其是表面纹理特征较少的被测对象实现低成本、方便快捷的三维重建。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1本发明实施方式流程图
21.图2印章的特征图案
22.图3手机客户端程序框图
23.图4手机相机图像采集姿态示意图
24.图5三维几何模型示意图
具体实施方式
25.为使本技术的目的、技术方案和优点更加清楚，下面将对本技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本技术所保护的范围。
26.参见图1所示，本技术提供了一种由手机相机获取印章辅助图像的三维重建方法，并将其应用在家庭健康领域的静脉疾病早期诊断中，其具体步骤为：
27.s1：发明如图2所示印章，可提供三维重建特征信息又可提供尺度基准的特征图案，以此特征图案制作印章，在下肢自然放松的状态下盖印，图案样式简单规范且具备方向性，上下两平行线可作为特征距离，可作为模型有效性的评估的依据；
28.s2：发明手机客户端，此程序框图如图3所示，点击拍照按钮，开始图像采集，每隔
5
°
拍摄一张照片，为了防止由于抖动和手动转速控制不稳定的问题，设定在5
°±
0.5
°
的范围内即可触发一次拍照，围绕小腿旋转一圈。手机相机拍照姿态示意图如图4所示，在本实施例中使用的是垂直方向上的拍照姿态，角度的计算调用的是手机内置陀螺仪传感器；
29.s3：将获取到的图像序列上传到云端；
30.s4：进行图像归一化配准，此过程均使用基于c 的opencv进行，具体步骤如下：
31.s41：将手机拍摄的图像，以特征图案为模板，用matchtemplate()模板匹配函数，将匹配到的roi区域保存下来；
32.s42：将上述roi区域用cvtcolor()函数转化为灰度图；
33.s43：由于图像数量较多，每幅图像二值化阈值不同，使用adaptivethreshold()自适应阈值进行二值化，使得二值化更具有特异性；
34.s44：morphologyex()进行形态学处理闭运算后，使得图案更加具有连贯性；
35.s45：canny算子边缘检测，提取特征图案的轮廓；
36.s46：houghlinesp()进行霍夫变换拟合直线，得到线集，可读取直线的两个端点，从而计算所有直线的斜率以及两直线间距离，以斜率相似度0.1以及像素距离(120,200)的双重限制，筛选出满足条件的直线对，以剩余直线对距离的均值作为此图像的中特征图案的最终像素距离，以此为依据计算图像缩放比例，完成图像的配准，提高建模精度。
37.s5：三维重建：此过程在visualsfm和geomagic中进行。visualsfm是一款使用广泛的开源的三维重建软件，操作简单，上手容易，用来计算三维点云以及相机信息，并利用cmvs/pmvs进行稠密点云重建。最终稠密重建结果在geomagic软件中显示，用其对模型进行优化处理以及获取两下肢同一高度的截面，结果如图5所示。
38.s6：两下肢非对成性参数提取，在opencv中将s4中所得截面进行轮廓提取，arclength()计算下肢外轮廓周长，比较双腿同一高度截面周长差异，来判断是否存在潜在静脉疾病。
39.综上，本发明应用智能手机在家中就可实现下肢静脉疾病早期筛查；应用互联网技术，实现图像获取的便捷化；应用人工智能相关技术，实现手机图像的三维重建；设计特殊印章，在三维重建所需特征点及图像配准中起到了关键性作用；一系列优势可以保证用户在家方便、快捷、经常性的自我检查，在超出指标的情况下，提醒用户到医院做进一步的检查。因此本作品可以有效地对使用者进行腿部静脉疾病的早期筛查，并得到及时的治疗。
40.本发明未尽事宜为公知技术。
41.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。