一种用于中医舌面象图像的颜色校正方法与流程

1.本发明属于中医学智能健康检测的技术领域，具体涉及一种用于中医舌面诊图像的颜色校正方法。


背景技术：

2.舌诊是中医中最常用、最有临床应用价值的诊法之一，借助于快速发展的图像处理技术和计算机技术，舌诊客观化取得了很大的发展。然而，现有的专业舌诊仪由于采用专业数码相机、专业光源和遮罩材料等，且体积较大，不便普通患者个人使用。目前，随着电子产品的普及，使得智能手机、平板电脑、相机等终端设备进行舌诊采集的需求日益增多，但由于光照、设备、拍摄姿势的差异，使得采集的舌像质量不高，特别是舌象图像的色彩还原问题，更是移动终端舌像采集亟需解决的问题。
3.舌象图像的颜色校正是自然环境下采集面临的关键问题，直接影响后续舌象图像的处理和诊断，而在线色卡校正是舌象图像颜色校正最常采用的方法之一。目前，颜色校正色卡多使用蒙赛尔24标准色卡，不但价格比较昂贵，而且此色卡覆盖的色域虽然比较全面，但其中有许多颜色并不属于舌象的色域范围，因此，蒙赛尔24色标准色卡不太适合舌像的颜色校正。专利cn201110290797.x提供了一种人体数字舌象图像专用颜色校正色卡及制作方法，实现了舌象图像专用颜色校正色卡的选取，能大幅提高人体数字舌象图像校正的精度，但该专利仅从理论角度给出了色卡的设计规则，缺乏对色卡的放置和识别的设计；cn201810741280.x提供了一种中医智能舌诊中使用的、可识别便携式舌象图像颜色校正及其识别方法，解决传统舌像校正色卡不便随身携带、不易被计算机识别等缺陷，但该色卡的设计为矩形卡片设计，使得用户拿着拍照的姿势有很大的不确定性，且由于需要手持，给舌图像的拍摄带来了不必要的背景干扰信息，使后期的色卡识别取色等图像处理变得复杂，且由于色卡色块数目偏多，使得采用多项式回归校正时的处理速度变慢，影响系统性能和用户使用体验。
4.因此，设计出一款在自然光照环境下，舌象图像采集辅助装置及在线颜色校正系统，构建适用于普通用户的便携式舌像在线“采集-校正-传输”平台，以解决目前存在的舌象图像色彩失真、色卡校正不便携的问题，满足用户日常自我监测、远程诊断的需求，具有一定的应用价值和市场前景。


技术实现要素：

5.本发明提供了一种用于中医舌象图像的颜色校正方法及其便携式中医舌象采集-校正-传输平台，解决了自然光照环境下舌象图像采集颜色失真、色卡校正不便携等问题。
6.本发明可通过以下技术方案实现：
7.一种用于中医舌象图像的颜色校正方法，包括以下步骤：
8.步骤一、测试者按照统一姿势将舌体完全暴露在环状色卡的内圈里，然后利用便携式智能终端采集包含舌体和环状色卡的舌象图像；
9.步骤二、在自然光照环境下，进行包含环状色卡的舌象图像采集，识别舌象图像中环状色卡上各个色块对应的实际rgb值，再结合各个色块的真实rgb值，利用多项式回归方法计算两者之间的变化信息，完成颜色校正。
10.进一步，计算两者之间的变化信息包括以下步骤：
11.步骤ⅰ、识别出舌象图像中环状色卡对应的内圆和外圆，进而计算出对应的圆心、内径和外径，再结合环状色卡中色块的个数，计算每个色块对应的中心点，从而提取中心点周围的rgb值作为对应色块的实际rgb值；
12.步骤ⅱ、利用多项式回归方法，建立每个色块对应的实际rgb值和对应的标准rgb值之间的多项式矩阵，再利用最小二乘法计算多项式矩阵中的各个系数，获取两者之间的变化信息。
13.进一步，所述多项式矩阵设置为
14.r
oi
＝a
11ri
a
12gi
a
13bi
15.g
oi
＝a
21ri
a
22gi
a
23bi
16.b
oi
＝a
31ri
a
32gi
a
33bi
17.其中，r
oi
、g
oi
、b
oi
为各个色块第i像素的真实rgb值，ri、gi、bi为舌象图像中第i像素的实际rgb值，a11、a12、a13
…
为多项式系数。
18.进一步，所述环状色卡上均匀设置有多个色块，它们相对圆心对称分布，在其中一个相邻的两个色块之间设置有标识符，在计算色块的中心点时，先识别标识符，再结合环状色卡中色块的个数，按照逆时针或者顺时针方向，计算每个色块对应的中心点。
19.进一步，所述色块所处的色系包括舌质颜色、舌苔颜色所覆盖的色域以及灰色色域，利用环状色卡上的舌质颜色、舌苔颜色所覆盖的色域对应的色块对便携式智能终端上的舌象图像进行颜色校正，再利用环状色卡上的灰色色域对应的色块对便携式智能终端或者传送至远程服务器上的待检舌象图像进行屏幕偏色校正，消除显示器带来的颜色偏差。
20.进一步，所述舌质颜色所覆盖的色域包括青色、红色、蓝色、紫色、绛色、淡红色、淡紫色、淡蓝色，所述舌苔颜色所覆盖的色域包括黑色、灰色、白色、黄色。
21.进一步，采集舌象图像的统一姿势设置为测试者将下巴抵在采集辅助装置的设定位置上，伸出舌体，使舌体完全暴露在环状色卡的内圈。
22.进一步，所述采集装置包括能够收纳呈盒体的支架，在所述支架的顶面设置有与下巴配合的凹口，在所述凹口的前面设置有环状色卡，所述环状色卡能够拆卸地设置在支架的顶面。
23.一种便携式中医舌象诊断平台，包括通过无线网络连接的便携式智能终端和远程服务器，以及采集辅助装置，所述采集辅助装置用于辅助测试者以统一姿势进行舌象图像采集，所述便携式智能终端上装置有应用程序，所述应用程序用于调用便携式智能终端本身的摄像头采集舌象图像，并对舌象图像进行颜色校正，并对校正后舌象图像进行分析，给出体质健康状况报告，或者传送至远程服务器，结合专家系统进行分析，给出体质健康状况报告。
24.进一步，采用上文所述的用于中医舌象图像的颜色校正方法，并对舌象图像进行颜色校正。
25.本发明有益的技术效果在于：
26.借助便于携带的采集辅助装置，以统一姿势进行舌象图像采集，方便后期舌像识别和检测；设计环状色卡，可以减少由镜头或透视带来的畸变失真，并且利用圆形特性可以非常快速地定位色块，提高颜色校正的效率，同时，在环状色卡上增设灰色色域，能够对便携式智能终端和远程服务器的屏幕偏色进行白平衡校正，以减少由于屏幕型号不同、老化等造成的屏幕偏色失真，最大程度还原舌象的色彩，使得自动分析结果真实可信，提高舌诊数字化检测的临床实用性，更加符合实际应用的需求。而以采集辅助装置、便携式智能终端和远程服务器建立的舌象图像采集-校正-传输平台，能够实现便携式的舌像采集及在线颜色校正和传输，使舌诊检测更加便捷化，普及化。
附图说明
27.图1为本发明的便携式中医舌象采集-校正-传输平台的总体结构示意图；
28.图2为本发明的采集辅助装置的总体结构示意图；
29.图3为本发明的颜色校正的过程示意图。
具体实施方式
30.下面结合附图及较佳实施例详细说明本发明的具体实施方式。
31.参照附图1，本发明提供了一种便携式中医舌象诊断平台，包括通过无线网络连接的便携式智能终端和远程服务器，以及采集辅助装置，该采集辅助装置用于辅助测试者以统一姿势进行舌象图像采集，该便携式智能终端上装置有应用程序，该应用程序用于调用便携式智能终端本身的摄像头采集舌象图像，并对舌象图像进行颜色校正，并对舌象图像进行分析，给出体质健康状况报告，或者传送至远程服务器，结合专家系统进行分析，给出体质健康状况报告。该便携式智能终端可以智能手机、ipad等等，再借助采集辅助装置进行舌象图像采集，利用应用程序完成颜色校正、图像分析，给出包含舌象状况在内的健康状况检测结果或者结合专家系统的分析，给出更加准确的健康状况检测结果，较现有的舌诊仪，更加促进舌诊应用的便捷化、普及化。
32.具体地，如图2所示，该采集辅助装置包括支架1，该支架1能够伸缩收纳成盒体，在盒体内部设置有容纳环状色卡2的空间，在支架1的顶面设置与人体下巴配合的凹口11，在凹口11的前端设置有与环状色片2配合的卡槽，该环状色卡2的内圈用于容纳包括人体舌体的部分或者全部面部信息，其环状带上设置有不同颜色的多个色块21。这样，利用能够收纳成盒体的支架，可以将采集舌象所需的环状色卡放置在盒体里面，形成一个整体结构，方便携带和运输，同时，借助支架顶面的凹口以及卡槽，可以以一个统一姿势进行拍摄，使用户头部保证水平拍摄，减少头部歪斜等姿势不当问题给后期图像处理造成不便，而环状色卡将人体舌体包裹在内，内外半径长度设置需使得舌体不能遮挡色卡，从而可以提取色卡颜色信息进行颜色校正，以及不影响后期舌体诊断，同时环状设置比较容易对色卡及其色块进行定位，能够有效提高后续颜色校正的效率。
33.该支架1包括相互配合的上盒体12和下盒体13，两者之间设置多个伸缩杆14，如3-4个，该伸缩杆14的两端能够拆卸地与上盒体12、下盒体13连接，可以在靠近上盒体12、下盒体13的内边缘均匀间隔设置多个插口15，这些插口与伸缩杆14的端部配合，这样，方便伸缩杆14的拆装，同时上盒体12和下盒体13可以通过尺寸配合，实现套装连接，当然也可以采用
卡扣式实现上盒体12和下盒体13的固定连接。
34.在进行舌象图像采集时，打开支架，拿出环状色卡并安装在支架上，测试者将下巴抵在支架上的凹口，伸出舌体，保证舌体不遮挡色环，利用便携式智能终端在自然环境下进行舌像采集，包括但不限于智能手机、相机、平板电脑等常用电子设备，并且便携式智能终端、采集辅助装置、测试者三者保持与地面垂直进行拍摄。
35.环状色卡2上的色块数目设为12的整数倍，包括用于白平衡校正的黑、白、灰色相，方便后续对舌象图像以及电子屏幕显示进行偏色校正等。
36.对采集得到的舌象图像进行在线颜色校正，如图3所示，具体如下：
37.步骤一、测试者按照统一姿势将舌体完全暴露在环状色卡的内圈内部，然后利用便携式智能终端采集包含舌体和环状色卡的舌象图像；
38.步骤二、在自然光照环境下，采集舌象图像，识别舌象图像中环状色卡上各个色块对应的实际rgb值，再结合各个色块的真实rgb值，利用多项式回归方法计算两者之间的变化信息，完成颜色校正。
39.首先、识别出舌象图像中环状色卡对应的内圆和外圆，进而计算出对应的圆心、内径和外径，再结合环状色卡中色块的个数，计算每个色块对应的中心点，从而提取中心点周围的rgb值作为对应色块的实际rgb值。
40.由于本发明采用环状色卡2，借助圆环的规则性和对称性，能够非常方便进行色卡和色块的定位和识别，可采用hough霍夫变换方法进行圆形检测，得到内圆半径r和外圆半径r的大小和圆心位置(x0，y0)，为了能够更快地识别定位舌象图像中的环状色卡，可以在环状色卡上设置特殊的标识符，该标识符可以在两个相邻的色块之间，而这些色块均匀地布置在环状色卡上，它们相对圆心对称分布，如扇环结构，这样，借助标识符，不仅可以快速定位环状色卡，还可以进一步识别色块边界。
41.如选取n＝24块色块，包含舌质颜色、舌苔颜色所覆盖的色域，如八种舌质颜色即青色、红色、蓝色、紫色、绛色、淡红色、淡紫色、淡蓝色和四种舌苔颜色即黑色、灰色、白色、黄色，其中色环的大小：外圆半径为r＝42mm，内圆半径为r＝25mm，则每个色块均是角度为θ＝2π/n＝π/12的扇环，可以很方便获得各个色块的中心点极坐标为ri＝((r r))/2＝33.5mm，θi＝2π/n*i，i＝1,
…
24，再结合标识符，按照逆时针或者顺时针方向，能够快速规范地识别各个舌象图像上各个色块。
42.为了提高计算速度，在提取各个扇环色块上的颜色信息时，可取中心点周围区域，如取5*5像素的小方块，对该5*5像素的小色块的rgb值作为对应色块的rgb值。
43.表1为24块色卡的rgb值及各色块的中心点极坐标，其中包含用于屏幕偏色校正的6块灰色色块。
44.表1
[0045][0046]
其次、利用多项式回归方法，建立每个色块对应的实际rgb值和对应的标准rgb值之间的多项式矩阵，再利用最小二乘法计算多项式矩阵中的各个系数，完成颜色校正。可采用但不限于多项式回归算法建立多项式矩阵模型，具体如下：
[0047]
根据上文得到的24个色块部分的实际rgb值和对应色块的真实rgb值建立多项式矩阵模型，如一阶多项式回归模型如下：
[0048]roi
＝a
11ri
a
12gi
a
13bi
[0049]goi
＝a
21ri
a
22gi
a
23bi
[0050]boi
＝a
31ri
a
32gi
a
33bi
[0051]
其中，r
oi
、g
oi
、b
oi
为各个色块中第i像素的真实rgb值，它是制作环状色卡时选取色块对应的颜色值，可以是依据蒙赛尔或者潘通色系而定，ri、gi、bi为舌象图像中第i像素的实际rgb值，a11、a12、a13
…
为多项式系数。
[0052]
然后，使用最小二乘法计算得到多项式系数，设拟合函数为y(x1,x2,
…
,xn)＝a0 a1x1 a2x2
…
anxn，其中y为因变量，xi为自变量，ai为待求的多项式系数，该拟合函数改写为矩阵形式为：y(x)＝xa，其损失函数定义为：
[0053][0054]
根据最小二乘法的原理，对该损失函数对a向量求导并令它等于零，即求得使损失函数最小的a向量为：
[0055]
a＝(x
t
x)-1
x
ty[0056]
将得到的多项式系数代入一阶多项式回归模型式中，再将模型应用于舌象图像像素，即可实现对原始图像的颜色校正。在此一阶多项式的基础上加入rg、rb、gb、rgb、r2、g2、b2、r2g、r2b、rg2、r3等项可以构成更复杂的高阶多项式，但参数都可以上述方法求出。
[0057]
考虑到各个便携式智能终端、远程服务器的显示设备由于屏幕型号不同、老化等造成的屏幕偏色失真，本发明采用的环状色卡上的色块所在的色系包含舌质颜色、舌苔颜色所覆盖的色域以及灰色色域，当然灰色色域可以是舌质颜色、舌苔颜色所覆盖的色域中的一部分，也可以是单独的一块，该灰色色域除了可以用于舌象颜色校正，还能够用于屏幕偏色校正，以最大程度还原由于屏幕型号或老化带来的偏色失真，包括但不限于采用现有白平衡校正方法，以最大程度还原舌象图像的色彩，提高后续图像处理的准确度。
[0058]
之后，通过对完成颜色校正的待检舌象图像进行图像分析，如结合正常的舌象图像进行分析，给出包含舌象状况的体质健康状况报告，当然该体质健康状况报告还可以包括心率、血压等其他生理指标，如果想要得到更准确的检测结果，还可以传送至远程服务器，结合专家系统进行分析，诊断后结果可通过无线网络发回给用户留存。
[0059]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。