人体测量数据便携式获取设备和收集人体测量数据的方法与流程

1.本发明涉及一种人体测量数据便携式获取设备和一种收集人体测量数据的方法。


背景技术：

2.众所周知，从商业到医疗保健的许多领域可能对人体测量的收集感兴趣。例如，处理服装的电子商务系统可以根据包括相关身体测量在内的个人数据集提供尺码选择建议，从而为客户提供帮助。可以将个人数据馈送到自动分类系统，并且可以基于通常最适合的标准来选择大小。这种服务不仅方便了客户，而且可以大大降低退货率，因此也有利于供应商节约成本。作为另一个例子，在营养学中，身体测量的营养学监测可以帮助患者跟进和根据反应调整治疗方案。
3.很明显，如果数据可以由客户或患者使用不需要特殊培训或技能的简单工具直接在现场收集来提供足够准确的结果，那么使用人体测量数据的优势将大大增加。人体测量数据通常是通过图像获取和分析收集的，数据收集可以从智能手机等极其通用的设备的广泛传播中获利。图像捕获工具变得如此友好，以至于终端用户几乎总是希望能够构图和获取充分高质量的图像，以执行所需的分析程序。
4.相反，将图像获取任务委托给终端用户涉及需要考虑的其他问题。一方面，图像处理本身对资源的要求很高，也必须应对现场获取通常会遇到在光照、背景对比度、用户姿势等方面条件较差的问题。这种情况必须通过改进处理技术来补偿，这通常会导致计算负载增加。为了提供足够的处理能力，只有基本的捕获功能专门用于终端用户设备的图像分析，而主要的分析程序在通过互联网连接达到的远程站点执行。另一方面，与远程站点共享图像会导致对隐私和个人数据保护的担忧，因为涉及敏感信息并且法律要求越来越严格。事实上，有关个人方面的信息是在终端用户无法控制的情况下发送的。显然，信息处理是至关重要的，尤其是对于医疗应用。


技术实现要素：

5.因此，本发明的一个目的是提供一种人体测量数据便携式获取设备和一种收集人体测量数据的方法，其允许克服或至少减轻所描述的局限性。
6.根据本发明，分别提供了如权利要求1和19所定义的人体测量数据便携式获取设备和收集人体测量数据的方法。
附图说明
7.现在将参考附图描述本发明，附图示出了本发明的一些非限制性实施例，其中：
8.‑
图1是人体测量数据获取系统的简化框图；
9.‑
图2是包括在图2的系统中并根据本发明的实施例制作的人体测量数据便携式获取设备的更详细框图；
10.‑
图3a和3b显示了图2设备中使用的获取遮罩；
11.‑
图4是根据本发明实施例方法的步骤的简化流程图；
12.‑
图5a和5b显示了在图2的设备中产生的图像；
13.‑
图6是图4的部分方法步骤的更详细流程图；
14.‑
图7是图2设备的组件的更详细框图；
15.‑
图8是图1系统的组件的更详细框图；并且
16.‑
图9和图10显示了在图8的组件中产生的图像。
具体实施方式
17.在图1中，人体测量数据获取系统整体由附图标记1表示并且包括根据本发明实施例的一个或更多个人体测量数据便携式获取设备2和服务器3。便携式获取设备2和服务器3通过广域网4(例如互联网)进行通信结合。便携式获取设备2用于获取个体的图像并进行初步的图像处理步骤，这些步骤在下文中被识别为前端处理，由此发送到服务器以完成相关特征的提取(后端处理)的数据被清除身份信息。
18.一个示例性便携式获取设备2在图2中示出并且将在下文中提及，应当理解，其他便携式获取设备2包括相同的组件。便携式获取设备2包括处理单元5、显示器6和图像传感器7。在一个实施例中，便携式获取设备2可以集成在智能手机、平板计算机或便携式计算机中，有利地，具有集成触摸屏作为显示器6并且具有照相机作为图像传感器7。不过，显示器6不必是触摸屏。
19.处理单元5被配置为实施获取模块8、图像处理器10和通信模块11。
20.获取模块8在获取期间以实时取景模式激活显示器6，并响应于用户通过界面发送的拍摄命令而从图像传感器7捕获图像，所述界面可以包括虚拟按钮或硬按钮(未示出)。在实时取景模式下，图像传感器7的输出信号连续显示在显示器6上。获取模块8还将信息发送到显示器6以供用户可视化，用于帮助正确获取。
21.由获取模块8捕获的图像被提供给图像处理器10。获取模块8可以具有一些处理能力以执行诸如白平衡、亮度和对比度调整以及转换为压缩格式的基本动作。作为替代，原始格式的图像被发送到实行所有所需处理步骤的图像处理器10。
22.图像处理器10从接收的图像中提取修改的前端图像。提取的前端图像通过通信模块11发送到服务器3进行后端处理，因此可能依赖于更高级别的资源。
23.由获取模块8辅助图像获取，该模块提供信息以引导被框者采取在一系列可允许的姿势范围内的姿势，而操作者从背面拍照并从一侧面拍照。标准姿势显着减少了与图像处理相关的计算负载。更具体地(图3a)，获取模块8通过将背面遮罩13叠加到在实时取景中显示在显示器6上的图像来开始获取背面图像。因此可以引导人采取适合背面遮罩13的姿势，在一个实施例中，这可能需要双腿分开且手臂远离躯干的站位。当姿势正确时，操作者激活拍摄命令，获取模块8获取背面图像img
b
(图2)并发送至图像处理器10。背面图像img
b
可临时存储在内置在获取模块8中或者图像处理器10中的存储单元中，或者存储在便携式获取设备2的通用存储单元中。
24.一旦背面图像img
b
已被捕获并存储或发送到图像处理器10，获取模块8开始侧面图像的获取并且将侧面遮罩14(图3b)叠加到实时取景中的显示器6上显示的图像上。再次，引导人采取适合侧面遮罩13的姿势，这需要手臂沿着躯干放置的站位。当姿势正确时，拍摄
命令由操作者激活，并且侧面图像img
s
被捕获并发送到图像处理器10或像背面图像img
b
一样被存储。
25.背面图像img
b
和侧面图像img
s
中的每一个接着由图像处理器10处理用于基本上通过相同步骤的边缘检测和轮廓重建。为简单起见，下文中将参考背面图像img
b
，并且应理解，这同样也适用于侧面图像img
s
，除非另有说明。
26.参考图4，在以适合处理的格式接收到侧面图像img
s
之后，图像处理器10清除侧面图像img
s
的对应于背面遮罩13之外位置的部分(框100)，从而降低噪声。然后，执行边缘检测(框110)和轮廓重建(框120)。由此获得仅包括身体轮廓和可能残留的背景噪声的前端背面图像fimg
b
并将其传输到服务器3。前端背面图像fimg
b
和前端侧面图像img
s
的示例分别在图5a和5b中示出。在边缘检测步骤中，会有可能允许识别所描绘人物的身体特征丢失。
27.边缘检测可以通过多种方式进行，但通常优选轮廓厚度相当恒定，因为它可能是后续后端处理中的关键参数。图像处理器10可以被配置为组合不同的边缘检测程序，以提高性能。
28.在一个实施例中(图6)，图像处理器10初步对背面图像img
b
应用降噪处理以减轻高频噪声的影响(框112)。降噪过程可以是中值滤波。已经发现，中值滤波算子中15个像素大小的核在不影响后续边缘检测精度的情况下提供了可接受的滤波性能。
29.然后(框114)，首先使用canny边缘检测器过程提取背面图像img
b
的轮廓，这在canny，j.，“a computational approach to edge detection(边缘检测的计算方法)”，ieee trans.pattern analysis and machine intelligence，8(6)：679
–
698，1986中进行了描述。canny边缘检测器对可能实际存在的低对比度图像区域非常敏感。这方面可能很关键，因为在现场图像获取中，并不总是可以选择提供足够对比度的背景。为了避免信息丢失，图像处理器10使用另一个边缘检测器过程(框116)来第二次提取背面图像img
b
的轮廓，并且第二次轮廓提取的结果与第一次轮廓提取的结果通过图4的框120中的canny边缘检测器组合。在一个实施例中，图像处理器10使用结构化随机森林用于边缘检测，其也被称为结构化边缘检测器。结构化边缘检测器对低对比度的局部区域不太敏感，并且比canny边缘检测器对噪声鲁棒性更佳，从而弥补了后者的弱点。
30.图7示出了实施图4和图6的过程的图像检测器10的示例性结构。在其中示出的实施例中，图像检测器10包括降噪滤波器15，接收背面图像img
b
(和侧面图像img
s
)并且并行馈送canny边缘检测器和结构化边缘检测器，这里分别用16和17表示。然后，canny边缘检测器16的第一输出i1和结构化边缘检测器17的第二输出i2在轮廓重建模块18中组合，该模块组合第一和第二轮廓提取的结果并提供前端背面图像fimg
b
和前端侧面图像fimg
s
。
31.在一个实施例中，轮廓重建模块18通过加法、阈值和二值化来组合canny边缘检测器16的第一输出i1和结构化边缘检测器17的第二输出i2。更准确地说，将第一输出i1和第二输出i2的亮度值相加，并将结果与阈值τ进行比较，可以以图像传感器7的最大响应的一部分选择所述阈值，例如10％。组合输出定义前端背面图像fimg
b
，并且如果第一输出i1和第二输出i2的总和超过阈值τ，则分配第一逻辑值l1(例如高)，否则分配第二逻辑值l2(例如低)：
32.33.当侧面图像img
s
被馈送到canny边缘检测器16和结构化边缘检测器17(其输出分别由i1'和i2'表示)时，同样，前端侧面图像fimg
s
通过如下定义：
[0034][0035]
在另一个实施例中，当便携式获取设备2中有足够的计算能力可用从而具有用户可接受的响应延迟时，可以利用概率模型。
[0036]
将最小化能量函数e(l)的标签l∈[l1,l2]
imgb
分配给图像img
b
(或img
s
)中的每个位置。能量函数具有如下的第一分量和第二分量：
[0037]
e(l)＝e
unary
(l) e
pairwise
(l)
[0038]
第一分量e
unary
(l)是一个函数，它倾向于为每个像素分配一个值，该值对应于边缘检测器的输出，分别具有相对概率w1和w2[0039][0040]
其中
[0041][0042]
w1和w2是确定canny边缘检测器16和结构化边缘检测器17将在多大程度上影响结果的权重参数。
[0043]
第二分量e
pairwise
(l)试图使相邻像素在标签上达成一致，为不一致添加一个恒定的惩罚，并定义为：
[0044][0045]
其中
[0046][0047]
pairs(i)包括所有相邻图像点对。
[0048]
权重参数w
p
确定相邻像素之间的一致性应该有多强。最优解
[0049]
l*＝arg min
l
e(l)
[0050]
使用树重新加权置信传播算法来近似。
[0051]
在此方式中，分别从背面图像img
b
和侧面图像img
s
中得到前端背面图像fimg
b
和前端侧面图像fimg
s
，发送到服务器3进行后端处理。前端背面图像fimg
b
和前端侧面图像fimg
s
包含被框人完整可靠的身体轮廓，并且不会超出用户控制而传输任何个人身份信息。个人信息(例如面部特征)实际上在边缘检测和轮廓重建步骤中被删除，不需要任何特殊的专用处理，并且身体轮廓基本上是匿名的。如前所述，示例性前端背面图像fimg
b
和前端侧面图像fimg
s
分别在图5a和5b中示出，其中还描绘了背面遮罩13和侧面遮罩14以直观地建议如何进行图像获取和前端处理。然而，背面遮罩13和侧面遮罩14本身不需要是前端背面图像
img
b
和前端侧面图像fimg
s
的一部分。
[0052]
如图8所示，服务器3包括接收前端背面图像fimg
b
和前端侧面图像fimg
s
的通信模块20，以及用于后端处理的组件，包括关键点检测器21、投影测量提取器22和3d测量预测器23。
[0053]
关键点检测器21被配置为基于轮廓线粗细识别关键点，因为前端图像可能包含噪声(即与身体轮廓不对应的点)。更准确地说，首先对前端背面图像fimg
b
进行水平线(例如从左到右)的扫描，并且相同粗细的后续线对被视为相应身体部分的左右边界。例如，如果水平扫描显示三对相同粗细的后续线，则识别三个身体部分，对于第一对可能是左臂的左右边界，对于第二对可能是躯干的左右边界，对于第三对是右臂的左右边界。
[0054]
通过对前端背面图像fimg
b
的扫描，关键点检测器21识别出头尖、脚跟、腋窝和胯部。然后通过对前端侧面图像fimg
s
的第二次扫描来识别头尖和脚跟。
[0055]
投影测量提取器22被配置为基于由关键点检测器21(图5a和5b中的窗口30、31)确定的腋窝和胯部位置来识别属于躯干的轮廓点。为了减少可能由之前的处理步骤引入的不均匀性，投影测量提取器22通过多项式函数(33，图10)近似躯干线(32，图9)。考虑到躯干侧的性质，特别是最大值和最小值的预期数量，四次多项式就足够了，同时对于拟合来说不太复杂。还可以通过使用多项式函数(例如贝塞尔多项式)，由投影测量提取器22估计轮廓的可能丢失部分。
[0056]
然后，投影测量提取器22对主体尺寸在图像平面上或垂直于该图像平面的平面上的投影进行测量。主体尺寸可以包括例如颈部、胸部、腰部、臀部、内缝。可以在固定和预定的垂直坐标(y坐标)处测量胸部、腰部和臀部，例如如下：
[0057][0058][0059][0060]
其中ca是胯部和腋窝之间的距离。
[0061]
在另一个实施例中，ychest取自前端侧面图像fimg
s
的躯干上三分之一的最宽部分；ywaist取自前端背面图像fimg
b
的躯干中央三分之一的最小部分；yhips取自前端侧面图像fimg
s
，取自躯干下三分之一的最宽处。可以根据设计偏好添加其他测量。
[0062]
3d测量预测器23被配置为提供由投影测量提取器22提供的测量或投影测量开始的实际身体测量的估计或预测。为此，3d测量预测器23可以使用简化模型，例如线性模型或概率模型(例如高斯过程模型)。虽然线性模型更简单，并且在误差方面产生了符合行业标准的广泛令人满意的结果，但概率模型允许用其不确定性的测量来补充每个测量的预测。不确定性可用于预测估计误差并触发适当的纠正措施，以避免为用户提供受非常高方差影响的错误输出和预测。
[0063]
高斯过程可以有效地处理噪声，这对于允许用户在未经特定培训的情况下从现场拍摄的图像中收集数据非常重要。
[0064]
通常，高斯过程可以表示为
[0065]
f(x)～gp(m(x),k(x,x
′
))
[0066]
其中m(x)＝e[f(x)]是期望值，并且k(x,x')＝e[(f(x)
‑
m(x))(f(x')
‑
m(x'))]是协方差函数。
[0067]
由高斯过程建模的函数是从投影测量提取器22提供的平面投影长度开始预测3d身体测量的函数。协方差函数允许我们获得非线性映射，并给出了允许的非线性的特定形式的灵活性。由于它们的数学特性，协方差函数可以组合在一起以获得显示所需特征的新函数。在一个实施例中，3个不同协方差函数的总和：
[0068]
‑
用于对不同变量的非零均值建模的常数协方差函数
[0069][0070]
‑
线性协方差函数
[0071][0072]
其中x和x'代表两个通用点，索引d索引输入空间的d维度，
[0073]
‑
一个平方指数协方差函数，它允许获得非线性平滑映射
[0074][0075]
其中x和x'代表两个通用点，h是作为比例因子的特征长度尺度。
[0076]
在其输出上，3d测量预测器23提供数据集ds，其包括被框人身体相关部分的实际(3d)尺寸的估计。
[0077]
最后很明显，在不脱离所附权利要求的保护范围的情况下，可以对所描述和图示的设备和方法进行改变和变化。