船舶外形3D数字重构方法、装置、存储介质及电子设备

船舶外形3d数字重构方法、装置、存储介质及电子设备
技术领域
1.本发明涉及智能船舶数字孪生技术领域，具体涉及一种船舶外形3d数字重构方法、装置、存储介质及电子设备。


背景技术：

2.现如今，随着智能船舶技术在面向数字化与自动化的道路上不断发展，各类智能船舶感知技术和船舶仿真测试技术不断提升，智能船舶数字孪生技术越来成为未来智能船舶发展的关键技术。
3.目前针对船舶外形的3d数字重构都是基于统一的数字模型，尽管可以在三维平台进行数字化设计和vr建造模拟，但无法解决实体船舶与虚拟船舶的实时信息交互与真实映射问题。
4.现有的虚拟仿真系统与平台，往往采用特定的船舶种类，在仿真的过程无法体验真实航行过程中海上交通的复杂性、多样性、不确定性等特征，尤其在面对船舶自主避碰、自主靠离泊等问题上，交通参与者类型与真实性往往对结果尤为重要。
5.因此，如何利用现有海上监控设备，在实时捕捉船舶图像或视频的前提下，快速、高效、精准地完成船舶外形数字3d重构，实现真实船舶与虚拟船舶的实时交互是当前需要解决的一大技术问题。
6.有鉴于此，需要一种新的技术方案来解决上述存在的问题。


技术实现要素：

7.本发明的目的在于提供一种基于图像或视频的船舶外形3d数字重构的方法，能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3d数字重构，为解决真实与虚拟船舶的实时交互提供技术支持。
8.为实现上述目的，本发明采用以下技术方案：
9.第一方面，本发明实施例提供一种船舶外形3d数字重构方法，包括：
10.步骤s100、从包含船舶的影像中提取出目标船舶图像；
11.步骤s200、利用预先构建的船舶图像3d特征提取器提取船舶外形3d数字模型的参数，并确定3d形状先验模型的位置，将所述3d形状先验模型作为初始的船舶外形3d数字模型；
12.步骤s300、对当前的船舶外形3d数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；
13.步骤s400、利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
14.步骤s500、基于所述n个船舶多视图样本，对当前的船舶外形3d数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3d数字模型；
15.步骤s600、判断是否达到目标优化次数，在未达到目标优化次数的情况下执行步
骤s300～步骤s500，在达到目标优化次数的情况下将当前的船舶外形3d数字模型作为船舶外形3d数字重构模型输出。
16.一些实现方式中，所述从包含船舶的影像中提取出目标船舶图像，包括：
17.将所述目标船舶图像的分辨率调整为第一分辨率；
18.利用卷积神经网络提取所述目标船舶图像的第一特征图；
19.将所述第一特征图通过池化操作分别缩小n个不同倍数，生成n个第二特征图；
20.将分辨率相对低的n-1个第二特征图进行特征提取，得到相应的n-1个第三特征图；
21.将n-1个所述第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图；
22.将n个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像；
23.基于所述分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像。
24.一些实现方式中，所述船舶图像3d特征提取器包括视点模型、光照模型、船宽模型和反射率模型；所述船舶外形3d数字模型的参数包括视点参数、光照参数、船宽参数和反射率参数；所述3d形状先验模型为3d胶囊体模型；
25.所述确定3d形状先验模型的位置，包括：
26.基于所述目标船舶图像中船舶的像素点分布，确定3d胶囊体模型的半径长度与中心线段位置，计算各像素点到所述中心线段的距离，确定距离不超过所述半径长度的像素点集合，所述像素点集合为所述3d胶囊体模型在二维平面的投影，再基于船宽参数确定所述3d胶囊体模型在z轴方向上的深度信息，完成所述3d胶囊体模型的位置确定，且所述3d胶囊体模型位置与船舶位置对齐。
27.一些实现方式中，所述视点模型和所述光照模型采用编码器结构，所述船宽模型和所述反射率模型采用编解码器结构。
28.一些实现方式中，所述对当前的船舶外形3d数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本，包括：
29.采用梯度下降法优化反射率参数，生成渲染船舶图像；
30.对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3d数字模型分别生成n个视点及对应的n个光照参数；
31.利用可微渲染器生成n个船舶多视图渲染样本。
32.一些实现方式中，所述采用梯度下降法优化反射率参数，生成渲染船舶图像，包括：
33.采用预设的第一重建代价函数，确定所述目标船舶图像和渲染船舶图像之间差距最小时的反射率参数：
34.35.其中，θa表示反射率参数，表示第一重建代价函数，i表示目标船舶图像，表示渲染船舶图像，φk表示为基于卷积神经网络处理后的第k层网络特征图，ck、hk、wk分别表示第k层网络特征图的通道数、长、宽。
36.一些实现方式中，所述基于所述n个船舶多视图样本，对当前的船舶外形3d数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3d数字模型，包括：
37.采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
[0038][0039]
其中，θd表示船宽参数，θa表示反射率参数，θv表示视点参数，θ
l
表示光照参数，表示第二重建代价函数，表示第i个船舶多视图样本，φ表示可微渲染过程，d(i)表示目标船舶图像的船宽参数，a(i)表示目标船舶图像的反射率参数，表示第i个船舶多视图样本的视点参数，表示第i个船舶多视图样本的光照参数。
[0040]
第二方面，本发明实施例提供一种船舶外形3d数字重构装置，包括：
[0041]
船舶提取模块，用于从包含船舶的影像中提取出目标船舶图像；
[0042]
位置确定模块，用于利用预先构建的船舶图像3d特征提取器提取船舶外形3d数字模型的参数，并确定3d形状先验模型的位置，将所述3d形状先验模型作为初始的船舶外形3d数字模型；
[0043]
第一生成模块，用于对当前的船舶外形3d数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；
[0044]
第二生成模块，用于利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
[0045]
参数优化模块，用于基于所述n个船舶多视图样本，对当前的船舶外形3d数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3d数字模型；
[0046]
结果输出模块，用于判断是否达到目标优化次数，在未达到目标优化次数的情况下调用所述第一生成模块、所述第二生成模块、所述参数优化模块，在达到目标优化次数的情况下将当前的船舶外形3d数字模型作为船舶外形3d数字重构模型输出。
[0047]
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的船舶外形3d数字重构方法。
[0048]
第四方面，本发明实施例提供一种电子设备，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述计算机程序被所述一个或多个处理器执行时实现第一方面所述的船舶外形3d数字重构方法。
[0049]
相比现有的船舶外形3d数字重构技术，本发明至少具有以下有益效果：
[0050]
本发明能够针对海上捕捉到的船舶图像或视频，分割船舶与背景，缓解了船舶外形3d数字重构中背景干扰，增强了智能船舶智能感知能力。针对船舶外形特性，利用船舶3d
特征提取器无监督地提取船舶特征信息，有效地解决了船舶数字化建造中人工成本较高问题，进一步提升了虚拟船舶生成地效率，采用特征融合与网络框架提取图像特征图，反演船舶外形3d数字模型的参数并确定3d形状先验模型的位置。在海上监控捕捉单一或极少图像情况下，利用多视图生成器实时地实现高质量的目标船舶多角度视图，有效地提升了船舶外形3d数字重构质量，有利于促进智能船舶虚拟现实技术地发展。本发明实现的3d数字重构不需要任何深度摄像机与船舶模型先验，能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3d数字重构，为解决真实与虚拟船舶的实时交互提供技术支持，对实现真实船舶与虚拟船舶的实时交互具有重要意义。
附图说明
[0051]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0052]
图1为本发明实施例提供的一种船舶外形3d数字重构方法流程图；
[0053]
图2为本发明实施例提供的一种特征融合提取网络框架示意图；
[0054]
图3为本发明实施例提供的船舶图像3d特征提取器的视点编码器和光照编码器组成示意图；
[0055]
图4为本发明实施例提供的船舶图像3d特征提取器的船宽编解器和反射率编解器组成示意图；
[0056]
图5为本发明实施例提供的多视图生成器的编码器e的示意图；
[0057]
图6为本发明实施例提供的一种船舶外形3d数字重构装置框图。
具体实施方式
[0058]
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]
实施例一
[0060]
图1示出了一种船舶外形3d数字重构方法流程图，如图1所示，本实施例的船舶外形3d数字重构方法，包括步骤s100～步骤s600：
[0061]
步骤s100、从包含船舶的影像中提取出目标船舶图像。
[0062]
在实际应用中，通过海上监控设备实时捕捉包含船舶的影像(图像或视频)，针对捕捉的视频按帧提取相应的图像，由于各帧图像中目标船舶与背景融合，因此需要进行船舶与背景分割，本实施例通过提取多尺度特征图来分割目标船舶与背景，以获取目标船舶图像。
[0063]
本实施例中，采用的特征融合与提取网络框架包含利用空洞卷积策略作为上采样
进行特征融合以及利用成熟的特征提取网络提取特征(特征提取网络包括卷积神经网络，例如可以是resnet101)框架示意图如图2所示。
[0064]
在一些实现方式中，步骤s100进一步包括：
[0065]
步骤s101、将目标船舶图像的分辨率调整为第一分辨率。
[0066]
一些情形下，第一分辨率为m
×
m，m可以为但不限于512。
[0067]
步骤s102、利用卷积神经网络提取目标船舶图像的第一特征图。
[0068]
利用卷积神经网络(例如resnet101)提取第一特征图(图2中的特征图1)，相应地，输出通道数变为c1，c1可以是但不限于2048，图像的分辨率变为f1×
f1，f1可以是但不限于64。
[0069]
步骤s103、将第一特征图通过池化操作分别缩小n个不同倍数，生成n个第二特征图。
[0070]
以n＝4为例，将图2中的特征图1分别池化操作缩小s1、s2、s3、s4倍，s1、s2、s3、s4可以是但不限于64、32、16、8倍，进而产生分辨率分别f2×
f2、f3×
f3、f4×
f4、f5×
f5，通道数分别为c2、c3、c4、c5的四个第二特征图，f2、f3、f4、f5可以是但不限于1、2、4、8，c2、c3、c4、c5可以是但不限于64、128、256、512。
[0071]
步骤s104、将分辨率相对低的n-1个第二特征图进行特征提取，得到相应的n-1个第三特征图。
[0072]
仍以n＝4为例，f2×
f2、f3×
f3、f4×
f4这三个分辨率相对低，将对应的第二特征图直接进行特征提取，得到对应的第三特征图，即：图2中的特征图2、特征图3、特征图4。
[0073]
步骤s105、将n-1个第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图。
[0074]
继续前面的例子，将分辨率分别为f2×
f2、f3×
f3、f4×
f4的三个第二特征图，由分辨率从低到高进行拼接来特征融合，并且每次特征融合后进行一次特征提取再进行下一拼接，直至拼接后特征融合生成分辨率相对高的第二特征图对应的第三特征图，即图2中的特征图5。
[0075]
步骤s106、将n个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像。
[0076]
将前面的例子中的四个第三特征图—特征图2、特征图3、特征图4、特征图5进行拼接再通过空洞卷积策略进行上采样，恢复出分辨率为m
×
m的分类标签图像。
[0077]
步骤s107、基于分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像。
[0078]
在实际应用中，基于分类标签图像中从预先存储的船舶标签中进行匹配，选取与分类标签图像对应的船舶标签，以确定船舶类型，进而提取出船舶图像，并将其分辨率恢复至初始分辨率，生成分割后的船舶图像，即目标船舶图像i。
[0079]
步骤s200、利用预先构建的船舶图像3d特征提取器提取船舶外形3d数字模型的参数，并确定3d形状先验模型的位置，将3d形状先验模型作为初始的船舶外形3d数字模型。
[0080]
一些实现方式中，本实施例的船舶图像3d特征提取器包括视点模型、光照模型、船宽模型和反射率模型；相应地，船舶外形3d数字模型的参数包括视点参数、光照参数、船宽
参数和反射率参数。
[0081]
如图3所示，船舶图像3d特征提取器的视点模型v、光照模型l采用编码器结构，编码器包括n个二维卷积层(conv)，n可以是但不限于6，其中前n-1个卷积层的卷积核为4
×
4，步幅(stride)为2，最后一个卷积层的卷积核为1
×
1，步幅(stride)为1，前n-1个卷积层后面设置一个relu激活函数，最后一个卷积层后设置一个tanh激活函数，最终视点模型v和光照模型l的输出分别为6维和4维的特征向量。
[0082]
如图4所示，船舶图像3d特征提取器船宽模型d、反射率模型a采用编解码器结构，其编码器包括n个二维卷积层(conv)，n通常但不限于6，其中前n-1个卷积层的卷积核为4
×
4，步幅(stride)为2，最后一个卷积层的卷积核为4
×
4，步幅(stride)为1，前n-1个卷积层后设置一个批量归一层bn和一个lrelu激活函数，最后一个卷积层后面设置一个relu激活函数。解码器包括n个反卷积层(deconv)，n通常但不限于6，第一个反卷积层(deconv)的卷积核为4
×
4，步幅(stride)为1，后n-1个反卷积层(deconv)的卷积核为4
×
4，步幅(stride)为2，并且每个反卷积层后设置一个批量归一层bn和一个relu激活函数实现上采样，最终船宽模型d和反射率模型a的输出分别为1维和3维的分辨率为f4×
f4的特征向量，f4可以是但不限于128。
[0083]
一些实现方式中，本实施例的船舶图像3d形状先验模型为3d胶囊体模型，现有的3d形状先验模型一般采用椭球体模型，由于船舶模型的特殊性，存在收敛较慢，生成3d船舶模型精度较低问题，本实施例中采用更加符合船舶模型构造的3d形状先验模型，即3d胶囊体模型。进而，步骤s200中确定3d形状先验模型的位置，包括：
[0084]
基于目标船舶图像i中船舶的像素点分布，确定3d胶囊体模型的半径长度与中心线段位置，计算各像素点到中心线段的距离，确定距离不超过该半径长度的像素点集合，该像素点集合为3d胶囊体模型在二维平面的投影，再基于船宽参数确定3d胶囊体模型在z轴方向上的深度信息，从而完成3d胶囊体模型的位置确定，且3d胶囊体模型位置与船舶位置对齐。
[0085]
步骤s300、对当前的船舶外形3d数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本。
[0086]
由于单视图或视图较少情况下3d船舶生成存在形状歧义性问题，需要基于目标船舶图像i和初始的船舶图像3d形状先验模型，利用可微渲染器先进行渲染采样。
[0087]
整个3d船舶模型初步优化与渲染采样的过程可以简化为以下公式：
[0088][0089]
其中，表示渲染后的船舶图像；φ表示可微渲染过程；d、a、v、l分别表示船宽模型、反射率模型、视点模型、光照模型；π表示变换视点模型v参数并进行可微渲染；λ表示使用船宽d、反射率a、光照l下的颜色。
[0090]
基于可微渲染器的渲染过程本质上是利用一个透视摄像机对3d船舶模型进行由三维空间向二维空间坐标变换的过程，即渲染，渲染坐标变换函数如下：
gan)，作为多视图生成器。其中，船舶图像类型包括但不限于：渔船、快艇、集装箱船、引航船、散货船、油船、拖轮、巡逻船。该对抗网络可用于计算机自动生成与输入船舶图像类似的图像，boat-gan网络权重包括生成器g、判别器d以及隐藏空间
[0105]
基于船舶生成对抗网络(boat-gan)，将目标船舶图像i作为输入，通过对boat-gan网络权重中的隐藏空间引入噪声z，利用生成器g生成船舶图像ig，迭代优化噪声z，迭代次数可以是但不限于1000次，最终确定目标船舶图像i所对应的隐藏空间迭代优化过程选取的代价函数依然是重建代价函数，即比较i与ig之间的相似性。
[0106]
基于船舶生成对抗网络(boat-gan)的各项权重，多视图生成器采用编解器结构，其中解码器利用boat-gan网络权重的生成器g。
[0107]
如图5为多视图生成器的编码器e的示意图。如图5所示，多视图生成器的编码器e包括3个二维卷积层(conv)和k个残缺块(resblock)，k通常但不限于4，编码器的架构顺序为一个卷积核为4
×
4，步幅(stride)为2的卷积层并后面设置relu激活函数；k个残缺块；一个卷积核为4
×
4，步幅(stride)为1的卷积层并后面设置relu激活函数；最后为一个卷积核为1
×
1，步幅(stride)为1的卷积层，最终编码器的输出为512维的特征向量。
[0108]
基于多视图渲染样本利用多视图生成器生成n个船舶多视图样本采用梯度下降法优化多视图生成器的编码器e的网络权重，其代价函数如下定义：
[0109][0110]
其中，前者采用多视图渲染样本与生成的多视图样本在判别器d特征空间的l1范数；后者是l2正则化函数，用于防止编码器e网络权重过拟合；θe表示编码器e的网络权重；λ是超参数。
[0111]
最终形成的船舶多视图样本中包含了目标船舶360
°
视角下的图像。
[0112]
步骤s500、基于n个船舶多视图样本，对当前的船舶外形3d数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3d数字模型。
[0113]
一些实现方式中，步骤s500中采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
[0114][0115]
其中，θd表示船宽参数，θa表示反射率参数，θv表示视点参数，θ
l
表示光照参数，表示第二重建代价函数，表示第i个船舶多视图样本，φ表示可微渲染过程，d(i)表示目标船舶图像的船宽参数，a(i)表示目标船舶图像的反射率参数，表示第i个船舶多视
图样本的视点参数，表示第i个船舶多视图样本的光照参数。
[0116]
表达式(5)只有正确预测每一张船舶多视图样本的光照参数与视点参数，以及正确预测目标船舶图像i的船宽参数与反射率参数，整个代价函数才能减少。根据此次优化的船宽参数可以调整3d形状先验模型深度信息获得船舶外形3d数字模型m1。
[0117]
步骤s600、判断是否达到目标优化次数，在未达到目标优化次数的情况下执行步骤s300～步骤s500，在达到目标优化次数的情况下将当前的船舶外形3d数字模型作为船舶外形3d数字重构模型输出。
[0118]
在未达到目标优化次数的情况下，基于前步获得的船舶外形3d数字模型m1替代3d形状先验模型，循环步骤s300至步骤s500综合优化的过程n次，n可以是但不限于12，并且每次循环输出的船舶外形3d数字模型均作为下一次循环的船舶外形3d数字模型的输入，最终会输出n个3d船舶模型{mi|i＝1,2,...,n}，最后将输出的船舶外形3d数字模型mn作为船舶外形3d数字重构模型。
[0119]
本实施例的方法，能够针对海上捕捉到的船舶图像或视频，分割船舶与背景，缓解了船舶外形3d数字重构中背景干扰，增强了智能船舶智能感知能力。针对船舶外形特性，利用船舶3d特征提取器无监督地提取船舶特征信息，有效地解决了船舶数字化建造中人工成本较高问题，进一步提升了虚拟船舶生成地效率。在海上监控捕捉单一或极少图像情况下，利用多视图生成器实时地实现高质量的目标船舶多角度视图，有效地提升了船舶外形3d数字重构质量，有利于促进智能船舶虚拟现实技术地发展。本发明实现的3d数字重构不需要任何深度摄像机与船舶模型先验，能够有效且实时地根据海上监控捕捉到的船舶图像或视频实现船舶外形3d数字重构，为解决真实与虚拟船舶的实时交互提供技术支持，对实现真实船舶与虚拟船舶的实时交互具有重要意义。
[0120]
实施例二
[0121]
图6示出了一种船舶外形3d数字重构装置框图，如图6所示，本实施例的船舶外形3d数字重构装置，包括：
[0122]
船舶提取模块610，用于从包含船舶的影像中提取出目标船舶图像；
[0123]
位置确定模块620，用于利用预先构建的船舶图像3d特征提取器提取船舶外形3d数字模型的参数，并确定3d形状先验模型的位置，将所述3d形状先验模型作为初始的船舶外形3d数字模型；
[0124]
第一生成模块630，用于对当前的船舶外形3d数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本；
[0125]
第二生成模块640，用于利用预先训练的多视图生成器，基于所述n个船舶多视图渲染样本生成n个船舶多视图样本；
[0126]
参数优化模块650，用于基于所述n个船舶多视图样本，对当前的船舶外形3d数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3d数字模型；
[0127]
结果输出模块660，用于判断是否达到目标优化次数，在未达到目标优化次数的情况下调用所述第一生成模块、所述第二生成模块、所述参数优化模块，在达到目标优化次数的情况下将当前的船舶外形3d数字模型作为船舶外形3d数字重构模型输出。
[0128]
在一些实现方式中，船舶提取模块610从包含船舶的影像中提取出目标船舶图像
时，包括：
[0129]
将目标船舶图像的分辨率调整为第一分辨率；利用卷积神经网络提取目标船舶图像的第一特征图；将第一特征图通过池化操作分别缩小n个不同倍数，生成n个第二特征图；将分辨率相对低的n-1个第二特征图进行特征提取，得到相应的n-1个第三特征图；将n-1个第二特征图按照分辨率从低到高依次进行拼接来特征融合，且每次特征融合后进行一次特征提取再进行下一拼接操作，直至特征融合生成分辨率相对高的第二特征图对应的第三特征图；将n个第三特征图进行拼接，再通过空洞卷积策略进行上采样，恢复出分辨率为第一分辨率的分类标签图像；基于分类标签图像匹配出相应的船舶分类标签，提取目标船舶并将分辨率恢复至原始分辨率，生成目标船舶图像。
[0130]
一些实现方式中，本实施例的船舶图像3d特征提取器包括视点模型、光照模型、船宽模型和反射率模型；相应地，船舶外形3d数字模型的参数包括视点参数、光照参数、船宽参数和反射率参数。
[0131]
一些实现方式中，本实施例的船舶图像3d形状先验模型为3d胶囊体模型，进而确定3d形状先验模型的位置，包括：
[0132]
基于目标船舶图像i中船舶的像素点分布，确定3d胶囊体模型的半径长度与中心线段位置，计算各像素点到中心线段的距离，确定距离不超过该半径长度的像素点集合，该像素点集合为3d胶囊体模型在二维平面的投影，再基于船宽参数确定3d胶囊体模型在z轴方向上的深度信息，从而完成3d胶囊体模型的位置确定，且3d胶囊体模型位置与船舶位置对齐。
[0133]
一些实现方式中，第一生成模块630对当前的船舶外形3d数字模型进行参数优化，并利用可微渲染器生成n个船舶多视图渲染样本，可以进一步包括：采用梯度下降法优化反射率参数，生成渲染船舶图像；对视点参数、光照参数添加随机噪声，基于优化后的反射率参数和当前的船舶外形3d数字模型分别生成n个视点{vi|i＝1,2,...,n}及对应的n个光照参数{li|i＝1,2,...,n}；其中，随机噪声的添加服从多变量正态分布；以及利用可微渲染器生成n个船舶多视图渲染样本
[0134]
一些实现方式中，参数优化模块650中，基于所述n个船舶多视图样本，对当前的船舶外形3d数字模型的参数进行优化，基于优化后的参数调整当前的船舶外形3d数字模型，包括：采用预设的第二重建代价函数，确定重建代价最小船宽参数、反射率参数、视点参数、光照参数：
[0135][0136]
其中，θd表示船宽参数，θa表示反射率参数，θv表示视点参数，θ
l
表示光照参数，表示第二重建代价函数，表示第i个船舶多视图样本，φ表示可微渲染过程，d(i)表示目标船舶图像的船宽参数，a(i)表示目标船舶图像的反射率参数，表示第i个船舶多视图样本的视点参数，表示第i个船舶多视图样本的光照参数。
[0137]
应当理解的是，本实施例的装置具备方法实施例的全部有益效果。
[0138]
本领域的技术人员应当明白，上述各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何限定的硬件和软件结合。
[0139]
实施例三
[0140]
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一的船舶外形3d数字重构方法。
[0141]
本实施例中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。方法的内容详见实施例一，此次不再赘述。
[0142]
实施例四
[0143]
本实施例提供一种电子设备，包括存储器和一个或多个处理器，存储器上存储有计算机程序，计算机程序被所述一个或多个处理器执行时实现实施例一的船舶外形3d数字重构方法。
[0144]
本实施例中，处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。在处理器上运行的计算机程序被执行时所实现的方法可参照本发明前述实施例提供的方法的具体实施例，此处不再赘述。
[0145]
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的。
[0146]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0147]
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。