图像数据处理方法、系统、设备和存储介质及口腔扫描仪与流程

1.本发明实施例涉及口腔医学技术领域，尤其涉及一种图像数据处理方法、系统、设备和存储介质及口腔扫描仪。


背景技术：

2.目前口腔扫描仪主要由手持扫描部和主机构成，其中扫描部由光源模块、光控制模块、成像模块、图像数据采集模块、图像数据处理模块、图像输出发送模块、数据传输等硬件模块构成。上述口腔扫描仪硬件模块多，结构复杂。且上述口腔扫描仪中各硬件模块之间的连接关系复杂，容易导致基于上述口腔扫描仪进行数据处理效率低的问题。


技术实现要素：

3.有鉴于此，本发明的目的是提供了一种图像数据处理方法、系统、计算机设备和计算机存储介质及口腔扫描仪，用于解决目前口腔扫描仪进行数据处理效率低的问题。
4.本发明实施例是通过下述技术方案来解决上述技术问题：
5.本发明实施例的一个方面提供了一种图像数据处理方法，应用于口腔扫描仪，所述口腔扫描仪内置有图像数据采集单元和异构可编程逻辑芯片；所述方法包括：
6.通过所述图像数据采集单元采集多个口腔图像数据，并发送所述多个口腔图像数据；
7.通过所述异构可编程逻辑芯片接收所述多个口腔图像数据，解析所述多个口腔图像数据，得到多个并行口腔图像数据；
8.通过所述异构可编程逻辑芯片处理所述多个并行口腔图像数据，并得到目标图像数据，其中，所述目标图像数据为预设图片格式的图像数据；及
9.通过所述异构可编程逻辑芯片将所述目标图像数据发送至服务器。
10.可选地，所述异构可编程逻辑芯片包括中央处理器；所述口腔扫描仪还包括光源单元；所述通过所述图像数据采集单元采集多个口腔图像数据，包括：
11.通过所述中央处理器发送光源控制信号至所述光源单元；
12.通过所述光源单元接收所述光源控制信号，并根据所述光源控制信号，生成目标光源，其中，所述目标光源用于照射在目标用户的口腔内以扫描所述目标用户的口腔；
13.通过所述图像数据采集单元采集反射光信息，其中，所述反射光信息为所述目标光源接触到所述目标用户的口腔内的组织后被反射的光信息；及
14.通过所述图像数据采集单元将所述反射光信息转换为所述多个口腔图像数据。
15.可选地，所述图像数据采集单元包括至少两个图像传感器；
16.所述通过所述异构可编程逻辑芯片将所述目标图像数据发送至服务器，还包括：
17.通过所述至少两个图像传感器接收所述异构可编程逻辑芯片发送的同步曝光信号；及
18.根据所述同步曝光信号将所述多个口腔图像数据同步发送至所述异构可编程逻
辑芯片。
19.可选地，所述异构可编程逻辑芯片还包括可编程逻辑阵列；所述可编程逻辑阵列包括串行数据解析电路、并行数据解析电路、输出缓存电路和对齐电路；所述多个口腔图像数据为串行口腔图像数据；所述并行口腔图像数据为满足预设的并行格式的像素数据；
20.所述通过所述异构可编程逻辑芯片接收所述多个口腔图像数据，解析所述多个口腔图像数据，得到多个并行口腔图像数据，还包括：
21.通过所述串行数据解析电路将所述串行口腔图像数据转换为多个并行数据；
22.通过所述并行数据解析电路将所述多个并行数据按照所述预设的并行格式进行排列组合，并得到多个原始并行口腔图像数据；
23.通过所述输出缓存电路将所述多个原始并行口腔图像数据进行缓存；
24.通过所述对齐电路检测已缓存的所述多个原始并行口腔图像数据之间的超前滞后关系，根据所述超前滞后关系将最滞后的原始并行口腔图像数据的场信号、行信号和像素数据确定为对齐参考信号；及
25.通过所述对齐电路将其余的原始并行口腔图像数据的场信号、行信号和像素数据与所述对齐参考信号进行对齐处理，并输出所述多个并行口腔图像数据。
26.可选地，所述方法还包括：
27.通过每个图像传感器分别接收所述中央处理器发送的配置信号；及
28.根据每个配置信号配置对应的图像传感器的输出行起始地址。
29.本发明实施例的一个方面又提供了一种图像数据处理系统，应用于口腔扫描仪，所述口腔扫描仪内置有图像数据采集单元和异构可编程逻辑芯片，所述异构可编程逻辑芯片用于处理图像数据；所述系统包括：
30.采集模块，用于通过所述图像数据采集单元采集多个口腔图像数据，并发送所述多个口腔图像数据；
31.解析模块，用于通过所述异构可编程逻辑芯片接收所述多个口腔图像数据，解析所述多个口腔图像数据，得到多个并行口腔图像数据；
32.处理模块，用于通过所述异构可编程逻辑芯片处理所述多个并行口腔图像数据，并得到目标图像数据，其中，所述目标图像数据为预设图片格式的图像数据；及
33.发送模块，用于通过所述异构可编程逻辑芯片将所述目标图像数据发送至服务器。
34.本发明实施例的一个方面又提供了一种口腔扫描仪，包括：图像数据采集单元、异构可编程逻辑芯片和光源单元，其中：
35.所述图像数据采集单元用于采集用户的口腔图像数据；
36.所述图像数据采集单元和所述异构可编程逻辑芯片电连接；所述异构可编程逻辑芯片用于处理所述图像数据采集单元发送的口腔图像数据；
37.所述异构可编程逻辑芯片电连接并控制所述光源单元，以使所述光源单元生成并输出目标光源。
38.可选地，所述异构可编程逻辑芯片包括中央处理器、可编程逻辑阵列、总线互联控制器、串行总线控制器和内存控制器；所述总线互联控制器分别与所述中央处理器、所述可编程逻辑阵列、所述串行总线控制器和所述内存控制器电连接。
39.本发明实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述图像数据处理方法的步骤。
40.本发明实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的图像数据方法的步骤。
41.本发明实施例提供的图像数据处理方法、系统、计算机设备和计算机可读存储介质及口腔扫描仪，所述口腔扫描仪上集成图像数据采集单元、图像数据处理单元、光源单元和镜头单元等多个硬件模块，且异构可编程逻辑芯片上集成有图像数据发送模块以及对光源单元进行控制的光源控制模块；集成化程度高；并且通过异构可编程逻辑芯片能够快速处理口腔图像数据并发送，有效提高数据处理和传输的效率。
42.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
43.图1示意性示出了本发明实现图像数据处理方法的示例流程图；
44.图2示意性示出了本发明实施例之口腔扫描仪的硬件结构示意图；
45.图3示意性示出了本发明实施例之口腔扫描仪的硬件电路框图；
46.图4示意性示出了根据本发明实现图像数据处理方法中采集口腔图像数据的步骤流程图；
47.图5示意性示出了根据本发明实现图像数据处理方法中同步发送口腔图像数据的步骤流程图；
48.图6示意性示出了根据本发明实现图像数据处理方法中配置图像传感器的步骤流程图；
49.图7-1示意性示出了图像传感器所配置的行起始地址以奇数地址开始时，图像传感器输出的图像数据的输出时序图；
50.图7-2示意性示出了图像传感器所配置的行起始地址以偶数地址开始时，图像传感器输出的图像数据的输出时序图；
51.图7-3示意性示出了根据本发明实现图像数据处理方法中口腔图像数据解析的步骤流程图；
52.图7-4示意性示出了串行数据解析电路输入的图像数据的时序图；
53.图7-5示意性示出了串行数据解析电路输出的图像数据的时序图；
54.图7-6示意性示出了并行口腔图像数据的时序图；
55.图7-7示意性示出了图像传感器输出数据解析电路示意图；
56.图7-8-1示意性示出了图像传感器a和b数据之间的超前滞后关系示意图；
57.图7-8-2示意性示出了对齐后的图像传感器a和b数据的时序图；
58.图7-9-1示意性示出了图像传感器a和b数据之间的超前滞后关系示意图；
59.图7-9-2示意性示出了对齐后的图像传感器a和b数据的时序图；
60.图7-10示意性示出了对齐功能实现的电路示意图；
61.图8示意性示出了根据本发明实施例三的图像数据处理系统的框图；
62.图9示意性示出了根据本发明实施例四之适于实现图像数据处理方法的计算机设备的硬件结构示意图。
具体实施方式
63.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.需要说明的是，在本发明实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
65.在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。
66.实施例一
67.请参阅图1，示出了本发明实施例之图像数据处理方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。所述图像数据处理方法应用于口腔扫描仪上，所述口腔扫描仪内置有图像数据采集单元和异构可编程逻辑芯片。
68.下面以口腔扫描仪为执行主体进行示例性描述，具体如下：
69.如图1所示，所述图像数据处理方法可以包括步骤s100～步骤s106，所述方法包括：
70.步骤s100，通过所述图像数据采集单元采集多个口腔图像数据，并发送所述多个口腔图像数据。
71.步骤s102，通过所述异构可编程逻辑芯片接收所述多个口腔图像数据，解析所述多个口腔图像数据，得到多个并行口腔图像数据。
72.步骤s104，通过所述异构可编程逻辑芯片处理所述多个并行口腔图像数据，并得到目标图像数据，其中，所述目标图像数据为预设图片格式的图像数据。
73.具体的，通过异构可编程逻辑芯片对多个并行口腔图像数据执行压缩操作，以得到目标图像数据。
74.步骤s106，通过所述异构可编程逻辑芯片将所述目标图像数据发送至服务器。
75.在本发明实施例中，所述口腔扫描仪上集成图像数据采集单元、图像数据处理单元、光源单元和镜头单元等多个硬件模块，且异构可编程逻辑芯片上集成有图像数据发送模块以及对光源单元进行控制的光源控制模块；集成化程度高；并且通过异构可编程逻辑芯片能够快速处理口腔图像数据并发送，有效提高数据处理和传输的效率。
76.在本发明实施例中，所述图像数据采集单元包括至少两个图像传感器，例如：图像传感器a和图像传感器b。图像传感器用于采集目标用户的口腔里面的组织反射的光信号，并将光信号转换成数字信号。
77.如图2和图3所示，所述口腔扫描仪还包括：图像数据处理单元、镜头单元、光源单元和传输接口，所述镜头单元设置于光源单元内，镜头单元连接所述图像数据采集单元，图像数据采集单元连接图像数据处理单元，图像数据处理单元连接光源单元，图像数据处理单元连接所述传输接口；所述图像数据处理单元包括异构可编程逻辑芯片；异构可编程逻辑芯片包括中央处理器。
78.请参阅图3，为了更加方便理解本发明实施例所述的图像数据处理方法，以下将从口腔扫描仪四个单元之间的数据交互进行示例性描述所述图像数据处理方法；其中：四个单元包括：图像数据采集单元、图像数据处理单元、光源单元和电源单元。图像数据处理单元包括异构可编程逻辑芯片，异构可编程逻辑芯片包括中央处理器(即处理器核)；中央处理器至少包括四颗处理器核心，所述四颗处理器核心执行光源单元控制程序、图像传感器配置程序、图像传感器同步曝光产生程序和图像数据处理程序(如图像数据压缩程序)。
79.一：在光学单元中：
80.光学单元包括光源产生电路和镜头单元(即光学镜头)。通过处理器核实现光源单元和图像数据处理单元的交互。
81.为了提高所述口腔扫描仪的实用性和适用性，结合图4，所述通过所述图像数据采集单元采集多个口腔图像数据的还可以包括以下步骤s400～s406，其中：步骤s400，通过所述处理器核发送光源控制信号至所述光源单元；步骤 s402，通过所述光源单元接收所述光源控制信号，并根据所述光源控制信号，生成目标光源，其中，所述目标光源用于照射在目标用户的口腔内以扫描所述目标用户的口腔；步骤s404，通过所述图像数据采集单元采集反射光信息，其中，所述反射光信息为所述目标光源接触到所述目标用户的口腔内的组织后被反射的光信息；及步骤s406，通过所述图像数据采集单元将所述反射光信息转换为所述多个口腔图像数据。在本实施例中，在处理器核执行光源单元控制程序并输出相应的光源控制信号的情形下，光源单元中的光源产生电路可根据光源控制信号产生符合产品需求的光源(即目标光源)。光源单元包括光学镜头，为图像传感器a和图像传感器b聚集物体反射的光信号。通过镜头单元能够将目标光源接触到目标用户的口腔内的组织被反射的光信息聚集到图像传感器 (例如两路图像传感器)的像素区域。通过控制信号调节口腔扫描仪输出的光源，能够满足不同的产品需求，有效提高口腔扫描仪的实用性和适用性。
82.二：在图像数据采集单元中：
83.所述图像数据采集单元包括两个图像传感器(即图像传感器a和图像传感器b)和第一时钟电路(即时钟电路1)。在本发明实施例中，图像传感器的输出接口是slvs接口(索尼的图像传感器接口)，图像传感器的slvs接口输出的是基于slvs协议的多路图像数据和一路时钟信号；其中，多路图像数据包括数据通道1的图像数据、数据通道2的图像数据、数据通道3的图像数据和数据通道4的图像数据；一路时钟信号由时钟电路1输出。通过异构可编程逻辑芯片实现图像数据采集单元和图像数据处理单元之间的交互；例如基于同步曝光信号的交互、基于配置信号的交互。
84.(1)基于同步曝光信号的交互
85.为了满足产品需求，请参阅图5，所述发送所述多个口腔图像数据还可以通过以下操作得到，其中：步骤s500，通过所述至少两个图像传感器接收所述异构可编程逻辑芯片发送的同步曝光信号；及步骤s502，根据所述同步曝光信号将所述多个口腔图像数据同步发
送至所述异构可编程逻辑芯片。在本实施例中，通过处理器核执行图像传感器同步曝光产生程序，进而发送的同步曝光信号能够实现将图像传感器a和图像传感器b采集到的多个口腔图像数据同步发送至图像数据处理单元。在其他的实施例的实施例中，若产品无同步数据发送的需求时，任一图像传感器在采集完口腔图像数据后，可自行发送数据至图像数据处理单元。
86.(2)基于配置信号的交互
87.为了满足产品需求，实现产品的不同配置，请参阅图6，所述方法还包括：步骤s600，通过每个图像传感器分别接收所述处理器核发送的配置信号；及步骤s602，根据每个配置信号配置对应的图像传感器的输出行起始地址。在本实施例中，通过处理器核执行图像传感器配置程序，并发送的配置信号实现图像传感器a和图像传感器b的行起始地址的配置。图像传感器输出的图像像素数据的时序关系与对应的图像传感器配置的行起始地址相关，在图像传感器所配置的行起始地址以奇数地址开始的情形下，图像传感器输出的图像数据的输出时序如图7-1所示；在图像传感器配置的行起始地址以偶数地址开始的情形下，图像传感器输出的图像数据的输出时序如图7-2所示。请参阅图7-1～图7-2，每个图像传感器均至少包括四路图像数据：第一数据通道(即数据通道1)输出的第一路图像数据、第二数据通道(即数据通道2)输出的第二路图像数据、第三数据通道(即数据通道3)输出的第三路图像数据和第四数据通道(即数据通道4)输出的第四路图像数据。图像传感器a和b输出的图像数据还会根据同步曝光信号，执行图像传感器a和b中的数据同步码通道中的同步代码 (sync code)实现数据代码(data code)的同步。一个行起始地址对应两个数据时隙，时隙0和时隙1。
88.(3)关于时钟电路1
89.时钟电路1为有源时钟电路，两路时钟扇出，分别为图像传感器a和图像传感器b提供时钟信号。
90.三：在图像数据处理单元中：
91.图像数据处理单元主要用于接收口腔图像数据，并将口腔图像数据解析成并行口腔图像数据，实现像素数据对齐、预处理、压缩、存储、发送等操作，并为图像传感器产生配置信号和为光源单元产生光源控制信号。
92.所述图像数据处理单元包括电平转换芯片中的电平转换电路、所述异构可编程逻辑芯片、第二时钟电路(即时钟电路2)、总线互联控制器、usb phy 芯片和ddr存储芯片(一种计算机内存规格的缓存产品)。其中：
93.(1)关于电平转换电路的应用
94.在本发明实施例中，所述异构可编程逻辑芯片不支持基于slvs协议的电平接口，通过电平转换电路将图像传感器的slvs-ec接口发送的基于slvs协议的电平信号转换为异构可编程逻辑芯片支持的基于lvds(low voltagedifferential signaling，低振幅差分)协议的电平信号。其中，slvs-ec接口用于高帧率和高分辨率图像采集和传输。
95.(2)关于异构可编程逻辑芯片的应用
96.所述异构可编程逻辑芯片(fpga，主要用于图像数据的接收和预处理) 包；异构可编程逻辑芯片包括可编程逻辑阵列、处理器核、总线互联控制器、通用串行总线控制器和ddr(double data rate，双倍数据率同步动态随机存取) 内存控制器。
97.可编程逻辑阵列包括时钟延时电路、时钟管理电路、数据延时电路、串行数据解析电路、并行图像数据解析电路、输出缓存电路、双路图像数据对齐电路和图像数据预处理电路。
98.处理器核包括光源单元控制程序、图像传感器配置程序、图像传感器同步曝光产生程序和图像数据压缩程序；所述光源单元控制程序用于控制光源电路输出的光源；图像传感器配置程序用于实现对图像传感器的配置；所述图像传感器同步曝光产生程序用于支持双路图像数据的同步；所述图像传感器压缩程序用于支持将口腔图像数据以图片格式进行压缩，压缩后的数据通过通用串行总线接口传输至外部的服务器(如主机)中。
99.示例性的，可以通过图像压缩算法中的jpeg(joint photographic expertsgroup，联合图像专家组)编码器实现对图像数据的压缩。jpeg编码器至少包括以下部分：二维离散余弦变换(2d-dct)、量化、z型扫描、游程/预测编码、霍夫曼编码等。如图4所示原理框图。输入是图像原始的亮度y数据，最后经过霍夫曼编码器输出码流。
100.对口腔图像数据进行压缩的操作具体如下：将图像数据先按行进行一维 dct变换(离散余弦变换)，然后再对变换结果按列进行第2次一维dct变换，进而可以得到二维dct变换结果；将经过2d-dct变换后的系数值除以量化表中的量化值，得到量化后系数；量化后系数经过z型扫描器转换成一维 zig-zag(锯齿)序列，序列的第1个数值表示直流(dc)分量，其后的63个数值表示交流(ac)分量。对dc分量采用一维差分前值预测编码，即将dc分量减去上一个子块的dc分量。对ac分量采用游程编码，并且用一个字节的高四位来表示ac分量连续0值个数，低四位表示下一个非零系数所需位数，这样能够表示的最大0值个数为15个，如果ac分量中0值个数多于15个，采用(15，0)来表示。(0，0)表示eob，说明后面分量值全为0。这样游程/预测编码对系数0的值进行压缩。通过霍夫曼编码器利用霍夫曼表分别对dc和ac系数进行霍夫曼编码，输出jpeg图像码流；即可完成图像以jpeg格式压缩。
101.为了提高数据处理的效率，在示例性的实施例中，所述多个口腔图像数据为串行口腔图像数据；所述并行口腔图像数据为满足预设的并行格式的像素数据；请参阅图7-3，所述通过所述异构可编程逻辑芯片接收所述多个口腔图像数据，解析所述多个口腔图像数据，得到多个并行口腔图像数据的步骤s102 还可以进一步包括以下步骤s700～s708，其中：步骤s700，通过所述串行数据解析电路将所述串行口腔图像数据转换为多个并行数据；步骤s702，通过所述并行数据解析电路将所述多个并行数据按照所述预设的并行格式进行排列组合，并得到多个原始并行口腔图像数据；步骤s704，通过所述输出缓存电路将所述多个原始并行口腔图像数据进行缓存；步骤s706，通过所述对齐电路检测已缓存的所述多个原始并行口腔图像数据之间的超前滞后关系，根据所述超前滞后关系将最滞后的原始并行口腔图像数据的场信号、行信号和像素数据确定为对齐参考信号；及步骤s708，通过所述对齐电路将其余的原始并行口腔图像数据的场信号、行信号和像素数据与所述对齐参考信号进行对齐处理，并输出所述多个并行口腔图像数据。
102.①
关于时钟延时电路的应用
103.为时钟提供延时功能，以此消除延时对信号时序的影响。通过时钟延时电路为异构可编程逻辑芯片接收到的lvds_clk(lvds时钟)信号提供延时功能。
104.②
关于数据延时电路的应用
105.为数据提供延时功能，以此消除延时对信号时序的影响。通过数据延时电路为异
构可编程逻辑芯片接收到的lvds_data数据提供延时功能。
106.③
关于时钟管理电路的应用
107.为串行数据解析电路、并行图像数据解析电路和系统其他功能电路提供时钟信号。示例性的，为串行数据解析电路提供高速时钟信号，为并行图像数据解析电路提供低速时钟信号。
108.④
关于串行数据解析电路的应用
109.如步骤s700所述将所述串行口腔图像数据转换为多个并行数据。图像传感器输出的图像数据为1：4的双倍速率串行数据，使用fpga的iddr器件资源可实现串行数据转并行数据的功能。串行数据解析电路输入的图像数据的时序图如图7-4所示，串行数据解析电路输出的图像数据的时序图如图7-5所示，其中，ch0表示数据通道1；ch1表示数据通道2；ch2表示数据通道3；ch3 表示数据通道4；sync表示数据同步码通道。串行图像数据的时钟clk_s是并行图像数据clk_p的4倍，串行图像数据的d0-d7是1bit(位)宽数据，并行数据的pd0-pdm是8bit位宽的数据，pd＝{d7，d6，d5，d4，d3，d2， d1，d0}。
110.⑤
关于并行图像数据解析电路的应用
111.所述并行图像数据解析电路用于将串行数据解析电路输出的多个并行数据进行解析、组合、排列成符合预设的并行格式的图像像素数据。其中，图像传感器输出的图像像素数据的时序关系与对应的图像传感器所配置的行起始地址相关。在图像传感器所配置的行起始地址以奇数地址开始的情形下，图像传感器输出的图像数据的输出时序如图7-1所示；在图像传感器配置的行起始地址以偶数地址开始的情形下，图像传感器输出的图像数据的输出时序如图7-2所示。图像传感器输出的图像数据是根据奇偶数行起始地址交替进行的，并以16 个数据为一个交替周期。在本实施例中，无论图像传感器的行起始地址配置为以奇数地址开始还是配置为以偶数地址开始，图像传感器输出的口腔图像数据经并行图像数据解析电路处理后，可以得到正确的并行口腔图像数据，并行口腔图像数据的时序如图7-6所示，其中，clk_p表示并行口腔图像数据的时序信号；hs表示并行口腔图像数据的行信号，vs表示并行口腔图像数据的场信号；pixel(0,0)～pixel(m，n)表示并行口腔图像数据的像素点，其中，pixel 表示像素；并行口腔图像数据的像素分辨率是m行n列。
112.举例而言，并行图像数据解析电路的工作原理如下：
113.结合图7-7，采样输出控制器根据图像传感器的行起始地址的奇偶配置信息以及图像数据的场信号和行信号，针对每个数据通道(如ch0、ch1、ch2 和ch3)对并行数据进行流水线缓存2个周期处理，在行有效期间进行4拍循环计数，并通过输出缓存电路并行输出图像数据。若图像传感器配置输出行起始地址以偶数地址开始，在计数器值为0和1的情形下，采样缓存ch0的第一个周期和第二个周期数据作为并行口腔图像数据的pixel(0,0)和pixel(0,1)，采样 ch1的第一个周期和第二个周期数据作为pixel(0,2)和pixel(0,3)，采样缓存ch2 的第一个周期和第二个周期数据作为并行口腔图像数据的pixel(0,4)和 pixel(0,5)，采样ch3的第一个周期和第二个周期数据作为pixel(0,6)和 pixel(0,7)；在计数器值为2和3的情形下，采样缓存ch3的第二个周期和第一个周期数据作为并行口腔图像数据的pixel(0,8)和pixel(0,9)，采样ch2的第二个周期和第一个周期数据作为pixel(0,10)和pixel(0,11)，采样缓存ch1的第二个周期和第一个周期数据作为并行口腔图像数据的pixel(0,12)和pixel(0,13)，采样ch0的第二个周期和第一个周期数据作为pixel(0,
14)和pixel(0,15)；以16个 pixel(像素)为一个周期，以此重复处理；直至将并行口腔数据作为观测图像进行可视化显示。
114.若图像传感器配置输出行起始地址以奇数地址开始，在计数器值为0和1 的情形下，采样缓存ch3的第二个周期和第一个周期数据作为并行口腔图像数据的pixel(0,0)和pixel(0,1)，采样ch2的第二个周期和第一个周期数据作为 pixel(0,2)和pixel(0,3)，采样缓存ch1的第二个周期和第一个周期数据作为并行口腔图像数据的pixel(0,4)和pixel(0,5)，采样ch0的第二个周期和第一个周期数据作为pixel(0,6)和pixel(0,7)；在计数器值为2和3的情形下，采样缓存ch0 的第一个周期和第二个周期数据作为并行口腔图像数据的pixel(0,8)和 pixel(0,9)，采样ch1的第一个周期和第二个周期数据作为pixel(0,10)和 pixel(0,11)，采样缓存ch2的第一个周期和第二个周期数据作为并行口腔图像数据的pixel(0,12)和pixel(0,13)，采样ch3的第一个周期和第二个周期数据作为pixel(0,14)和pixel(0,15)；以16个pixel(像素)为一个周期，以此重复处理；直至将并行口腔数据作为观测图像进行可视化显示。
115.当计数器计数值0和1期间为采样时，输出缓存电路输出计数值2和3采样图像数据；当计数器计数值2和3期间为采样时，输出缓存电路输出计数值 0和1采样图像数据。
116.示例性的，在16个pixel组成的一个周期内，在计数器的计数器值为0和 1期间采样的情形下，通过对ch0、ch1、ch2和ch3中的图像数据进行采样，输出缓存电路输出上一次计数值为2和3时ch0和ch2采样缓存的图像数据以及本次采样ch0和ch2采样的图像数据。
117.示例性的，在16个pixel组成的一个周期内，在计数器的计数器值为2和 3期间采样的情形下，通过对ch0、ch1、ch2和ch3中的图像数据进行采样，输出缓存电路输出上一次计数值为0和1时ch1和ch3采样缓存的图像数据以及本次采样ch1和ch3采样的图像数据。
118.⑥
关于双路图像数据对齐电路的应用
119.对齐电路包括双路图像对齐电路；其中，双路图像对齐电路可实现自动将两路图像传感器的并行口腔图像数据的行信号、场信号、像素数据进行对齐的功能。在本发明实施例中，即使两路图像传感器是同步触发并同步输出口腔图像数据，但在实际应用的过程中，数据仍然存在不同步的情形。因此，为了后续数据处理更加方便，方便提高数据处理效率，所述方法还可以通过双路图像对齐电路对两路数据进行对齐处理。
120.示例性的，请参阅图7-8-1～图7-8-2，图像传感器a和b数据之间的超前滞后关系为：图像传感器a数据超前，图像传感器b数据滞后；以滞后的图像传感器b的场信号(vs)和行信号(hs)作为对齐参考信号；经过双路图像对齐电路将图像传感器a的数据与对齐参考信号进行对齐处理，并输出多个并行口腔图像数据。
121.示例性的，请参阅图7-9-1～图7-9-2，图像传感器a和b数据之间的超前滞后关系为：图像传感器b数据超前，图像传感器a数据滞后；以滞后的图像传感器a的场信号(vs)和行信号(hs)作为对齐参考信号；经过双路图像对齐电路将图像传感器b的数据与对齐参考信号进行对齐处理，并输出多个并行口腔图像数据。
122.为了更加容易理解对齐电路的应用，请参阅图7-10，具体如下：
123.缓存电路将图像传感器a的vs和hs信号进行缓存以及将图像传感器b 的vs和hs信号进行缓存；同时，超前滞后电路检测两路图像数据之间的超前滞后关系，当检测出超前滞后关系后，读出数据控制电路根据超前滞后关系产生读信号，并根据读信号读取缓存电路
中的缓存数据，再通过双路图像对齐电路共用vs和hs输出两路并行口腔图像数据。
124.⑦
关于图像数据预处理电路的应用
125.在本发明实施例中，图像数据预处理电路主要实现黑电平校正、阴影校正、图像数据降噪、白平衡、双线性插值畸变校正、rgb插值等功能。
126.示例性的，关于黑电平(black level correction，blc)校正：通过在图像传感器中集成blc模块实现黑电平校正；若并行口腔图像数据平面趋于平整，则选择使用全局均值计算的方法实现黑电平校正；若并行口腔图像数据存在峰值，则选择使用中值计算的方法实现黑电平校正；若并行口腔图像数据存在某个角的值较高，则选择使用局部均值计算的方法实现黑电平校正。
127.示例性的，关于阴影校正(lens shading correction)：用于解决光学镜头对于光学折射不均匀导致的镜头周围出现阴影的情况。通过对并行口腔数据图像的四个通道进行相互独立的校正。
128.示例性的，关于图像数据降噪：为图像处理逆问题。图像数据降噪至少包括以下方法：滤波类方法、稀疏表达类方法、外部先验方法、聚类低秩方法、深度学习方法等。
129.示例性的，关于白平衡：用于解决色彩还原和色调处理相关的问题。白平衡至少包括以下方法：预置白平衡方法、自动跟踪白平衡调整方法等。
130.示例性的，关于双线性插值畸变校正：利用待求像素的四个相邻像素的灰度在两个方向上做线性内插，并通过光流法求取该待求像素位置的灰度值，其中，光流法也采用二维线性插值。
131.示例性的，关于rgb插值：rgb插值算法至少包括双线新插值算法、边缘导向插值算法、适应性颜色层插值算法、中值滤波插值算法、色彩平滑插值算法等。
132.⑧
关于总线互联控制器和通用串行总线控制器的应用
133.总线互联控制器连接可编程逻辑阵列、处理器核、通用串行控制器以及 ddr(双倍速率同步动态随机存储器)内存控制器。其中，总线互联控制器用于管理各个设备总线的读写。
134.通用串行总线控制器可实现基于usb2.0和usb3.0协议控制usb设备。即在通用串行总线控制器的接口外接一颗相应的usb phy芯片，usb phy芯片外接usb接口，通过usb phy芯片与usb接口实现与usb设备的连接以及数据传输。在本发明实施例中，口腔扫描仪输出的图像数据通过usb接口传送至主机端，同时也接收主机端发送来的指令数据。在本发明实施例中，由于传输的数据量较大，采用usb3.0协议。
135.⑨
关于ddr内存控制器的应用
136.所述ddr内存控制器用于管理与规划各个设备与dram(dynamicrandom access memory，动态随机存取存储器)之间的数据传输。ddr内存控制外接ddr芯片。在本发明实施例中，由于传输速率要求较快，外接ddr4 存储芯片。
137.⑩
电源模块：包括系统电源电路，为口腔扫描仪的整个硬件电路提供所需电压和电流的电源。
138.本发明实施例至少具有以下有益效果：
139.(1)在本发明实施例中，所述口腔扫描仪上集成图像数据采集单元、图像数据处理单元、光源单元和镜头单元等多个硬件模块，且异构可编程逻辑芯片上集成有图像数据发
送模块以及对光源单元进行控制的光源控制模块；集成化程度高；有效简化了硬件设计，降低了产品物料成本，口腔扫描仪手持部的尺寸也可以设计得更小，更符合操作者使用需求。
140.(2)基于异构可编程逻辑芯片对图像数据以图片格式进行压缩处理，提高图像数据传输效率。
141.(3)基于异构可编程逻辑芯片上集成的多种功能硬件模块实现对于图像处理操作；并且通过异构可编程逻辑芯片能够快速处理口腔图像数据并发送，有效提高数据处理和传输的效率。有效优化了产品结构，多种功能硬件模块的应用，有效提高用户使用体验感。
142.实施例二
143.请继续参阅图8，示意性示出了本发明图像数据处理系统的框图。在本实施例中，图像数据处理系统可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述图像数据处理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述图像数据处理系统在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能。该图像数据处理系统用于口腔扫描仪中；所述口腔扫描仪内置有图像数据采集单元和异构可编程逻辑芯片，所述异构可编程逻辑芯片用于处理图像数据。
144.如图8所示，该图像数据处理系统可以包括采集模块800、解析模块802、处理模块804以及发送模块806，其中：
145.采集模块800，用于通过所述图像数据采集单元采集多个口腔图像数据，并发送所述多个口腔图像数据；
146.解析模块802，用于通过所述异构可编程逻辑芯片接收所述多个口腔图像数据，解析所述多个口腔图像数据，得到多个并行口腔图像数据；
147.处理模块804，用于通过所述异构可编程逻辑芯片处理所述多个并行口腔图像数据，并得到目标图像数据，其中，所述目标图像数据为预设图片格式的图像数据；及
148.发送模块806，用于通过所述异构可编程逻辑芯片将所述目标图像数据发送至服务器。
149.在示例性的实施例中，所述异构可编程逻辑芯片包括中央处理器；所述口腔扫描仪还包括光源单元。所述采集模块800，还用于：通过所述中央处理器发送光源控制信号至所述光源单元；通过所述光源单元接收所述光源控制信号，并根据所述光源控制信号，生成目标光源，其中，所述目标光源用于照射在目标用户的口腔内以扫描所述目标用户的口腔；通过所述图像数据采集单元采集反射光信息，其中，所述反射光信息为所述目标光源接触到所述目标用户的口腔内的组织后被反射的光信息；及通过所述图像数据采集单元将所述反射光信息转换为所述多个口腔图像数据。
150.在示例性的实施例中，所述图像数据采集单元包括至少两个图像传感器。所述发送模块806，还用于：通过所述至少两个图像传感器接收所述异构可编程逻辑芯片发送的同步曝光信号；及根据所述同步曝光信号将所述多个口腔图像数据同步发送至所述异构可编程逻辑芯片。
151.在示例性的实施例中，所述异构可编程逻辑芯片还包括可编程逻辑阵列；所述可
编程逻辑阵列包括串行数据解析电路、并行数据解析电路、输出缓存电路和对齐电路；所述多个口腔图像数据为串行口腔图像数据；所述并行口腔图像数据为满足预设的并行格式的像素数据。所述解析模块802，还用于：通过所述串行数据解析电路将所述串行口腔图像数据转换为多个并行数据；通过所述并行数据解析电路将所述多个并行数据按照所述预设的并行格式进行排列组合，并得到多个原始并行口腔图像数据；通过所述输出缓存电路将所述多个原始并行口腔图像数据进行缓存；通过所述对齐电路检测已缓存的所述多个原始并行口腔图像数据之间的超前滞后关系，根据所述超前滞后关系将最滞后的原始并行口腔图像数据的场信号、行信号和像素数据确定为对齐参考信号；及通过所述对齐电路将其余的原始并行口腔图像数据的场信号、行信号和像素数据与所述对齐参考信号进行对齐处理，并输出所述多个并行口腔图像数据。
152.在示例性的实施例中，所述图像数据处理系统还包括配置模块(未标识)，所述配置模块，用于：通过每个图像传感器分别接收所述中央处理器发送的配置信号；及根据每个配置信号配置对应的图像传感器的输出行起始地址。
153.实施例三
154.参阅图2，示意性示出了本发明实施例之一种口腔扫描仪的硬件结构示意图。请参阅图3，示意性示出了本发明实施例之一种口腔扫描仪的硬件电路框图。
155.如图2和图3所示，所述口腔扫描仪，包括：图像数据采集单元、异构可编程逻辑芯片和光源单元，其中：
156.所述图像数据采集单元用于采集用户的口腔图像数据；
157.所述图像数据采集单元和所述异构可编程逻辑芯片电连接；所述异构可编程逻辑芯片用于处理所述图像数据采集单元发送的口腔图像数据；
158.所述异构可编程逻辑芯片电连接并控制所述光源单元，以使所述光源单元生成并输出目标光源。
159.请参阅图3，所述异构可编程逻辑芯片包括中央处理器、可编程逻辑阵列、总线互联控制器、串行总线控制器和内存控制器；所述总线互联控制器分别与所述中央处理器、所述可编程逻辑阵列、所述串行总线控制器和所述内存控制器电连接。
160.实施例四
161.参阅图9，是本发明实施例四之适于实现图像数据处理方法的计算机设备 10000的硬件架构示意图。本实施例中，所述计算机设备10000是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备10000可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)、网关等。如图9所示，所述计算机设备 10000至少包括，但不限于，可通过系统总线相互通信连接存储器10010、处理器10020、网络接口10030。其中：
162.本实施例中，存储器10010至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器10010 可以是计算机设备10000的内部存储单元，例如该计算机设备10000的硬盘或内存。
在另一些实施例中，存储器10010也可以是计算机设备10000的外部存储设备，例如该计算机设备10000上配备的插接式硬盘，智能存储卡(smartmedia card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card) 等。当然，存储器10010还可以既包括计算机设备10000的内部存储单元也包括其外部存储设备。本实施例中，存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件，例如上述实施例的图像数据处理系统的程序代码等。此外，存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。
163.处理器10020在一些实施例中可以是中央处理器(central processing unit，简称为cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器10020通常用于控制计算机设备10000的总体操作，例如执行与计算机设备 10000进行数据交互或者通信相关的控制和处理等。本实施例中，处理器10020 用于运行存储器10010中存储的程序代码或者处理数据，例如运行图像数据处理系统，以实现上述实施例的图像数据处理方法。
164.所述网络接口10030可包括无线网络接口或有线网络接口，该网络接口 10030通常用于在所述计算机设备10000与其他电子装置之间建立通信连接。例如，所述网络接口10030用于通过网络将所述计算机设备10000与外部终端相连，在所述计算机设备10000与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(global system of mobile communication，简称为gsm)、宽带码分多址(wideband code division multiple access，简称为wcdma)、4g网络、 5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。
165.需要指出的是，图9仅示出了具有部件10010-10030的计算机设备10000，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
166.在本实施例中，存储于存储器10010中的所述图像数据处理系统还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器 10010中，并由一个或多个处理器(本实施例为处理器10020)所执行，以完成本发明。
167.例如，图8示出了所述实现图像数据处理系统实施例二的程序模块示意图，该实施例中，所述基于图像数据处理系统可以被划分为采集模块800、解析模块802、处理模块804以及发送模块806。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述图像数据处理系统在所述计算机设备10000中的执行过程。所述程序模块800-806的具体功能在实施例二中已有详细描述，在此不再赘述。
168.实施例五
169.本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被至少一个处理器执行时实现实施例中的图像数据处理方法的步骤。
170.在本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存
卡(flash card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中卡顿检测方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
171.显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
172.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
173.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。