基于多源数据识别入袋台球标识的方法和装置与流程

本发明涉及高端装备制造中的智能检测装备及智能传感器，具体涉及一种基于多源数据识别入袋台球标识的方法和装置。

背景技术：

1、台球入袋后自动识别的技术中，已有通过图像识别能够识别台球目标和球型特征的方案，该类方案的优点在于非接触、可获取较多视觉信息，但其识别通常依赖图像采集、目标检测、图像分割、模型推理或模板识别等计算过程，在入袋后高速通过通道的场景中，容易受到运动模糊、遮挡、反光、旋转姿态变化和计算延迟的影响，不利于在球体“一扫而过”的过程中快速输出可靠标识。另一类方案是采用色标传感器或单一颜色传感器对台球颜色进行识别，例如cn108096820b公开了一种基于单个颜色传感器的台球花色识别装置及方法，其通过遮光罩、传感器、发光件和处理器采集台球采集区域的颜色分布特征，并可通过运动机构使台球滚动以获得不同采集区域的颜色数据。该方案侧重颜色分布识别，未针对台球入袋后在通道内高速通过的情形设置基于速度的采样时间参数，也未将编号图像特征、条纹边界特征和色标颜色强度特征进行加权融合，单点色标传感器难以在极短时间内同时获得颜色、条纹和编号信息。还有一种方案，其采用rfid或其他预埋标签方式识别台球，需要改造台球本体并布置读写设备，增加球体制造成本和系统部署成本，不适合普通无标签台球。上述方案在台球入袋后高速通过通道的场景中都无法实现对台球快速精准识别，亟需一种不改变球体结构、能够在有限通过时间内快速输出目标球标识的方法。

技术实现思路

1、鉴于所述问题，提出了本技术以便提供克服所述问题或者至少部分地解决所述问题的一种基于多源数据识别入袋台球标识的方法和装置，包括：

2、一种基于多源数据识别入袋台球标识的方法，包括：

3、获取目标球依次经过至少第一触发传感器和第二触发传感器的检测信号，依据所述检测信号确定目标球进入高速检测腔前的运动速度；

4、依据所述运动速度和高速检测腔沿目标球运动方向的检测长度确定目标球在高速检测腔内的停留时间，并依据所述停留时间确定光源的脉冲持续时间，以及图像采集装置和色标传感器阵列的采样持续时间，其中，所述脉冲持续时间和所述采样持续时间均小于所述停留时间；

5、在脉冲持续时间内通过光源照射目标球，在采样持续时间内通过图像采集装置采集目标球表面的多帧图像数据、以及通过色标传感器阵列采集目标球表面的多帧颜色强度数据，并从每帧图像数据中提取条纹特征数据和编号特征数据，以及从每帧颜色强度数据中提取颜色特征数据；

6、分别从多帧的颜色特征数据、条纹特征数据和编号特征数据中得到目标颜色特征向量、目标条纹特征向量和目标编号特征向量，并将由目标颜色特征向量、目标条纹特征向量和目标编号特征向量组成的目标特征向量集合与每一候选球标识对应的预设标准特征向量集合进行匹配，将分别匹配后匹配分值最大的候选球标识确定为目标球标识。

7、优选的，所述依据所述检测信号确定目标球进入高速检测腔前的运动速度，包括：

8、依据检测信号的记录，确定目标球分别经过第一触发传感器的第一时间节点和经过第二触发传感器的第二时间节点；

9、依据第一时间节点、第二时间节点及第一触发传感器与第二触发传感器之间的距离确定目标球进入高速检测腔前的运动速度。

10、优选的，所述依据所述停留时间确定光源的脉冲持续时间，以及图像采集装置和色标传感器阵列的采样持续时间，包括：

11、依据停留时间确定持续时间系数，其中，持续时间系数均大于0且小于1，依据持续时间系数和停留时间确定光源的脉冲持续时间，以及图像采集装置和色标传感器阵列的采样持续时间。

12、优选的，从每帧颜色强度数据中提取颜色特征数据，包括：

13、将色标传感器阵列在多个采样点获得的颜色强度数据转换为hsv色彩空间数据，并根据hsv色彩空间数据中的色相、饱和度和亮度对各采样点进行颜色分类；统计各颜色类别在所述多个采样点中的占比，得到每帧颜色特征数据。

14、优选的，从每帧图像数据中提取条纹特征数据和编号特征数据，包括：

15、对每帧图像数据进行边缘检测，提取目标球图像轮廓内的边缘线段；

16、当边缘线段的数量至少为两条时，构建以目标球图像轮廓中心为原点的局部图像坐标系，确定各边缘线段在所述局部图像坐标系中的倾斜角度；对各边缘线段进行两两组合，筛选倾斜角度差值小于或等于预设角度阈值的边缘线段组作为平行边界线候选组；

17、计算各平行边界线候选组中两条边缘线段之间的边缘间距，将边缘间距位于预设间距范围内的平行边界线候选组确定为条纹特征数据。

18、优选的，从每帧图像数据中提取条纹特征数据和编号特征数据，还包括：

19、对每帧图像数据按预设数字背景颜色进行颜色阈值分割，得到多个连通区域；

20、计算每一连通区域的区域面积，并将区域面积满足预设面积阈值的连通区域确定为数字候选区域；

21、依据所述数字候选区域在当前帧图像数据中的位置，基于预先标定的图像视场与色标传感器阵列采样点之间的空间映射关系，，确定色标传感器阵列中与所述数字候选区域对应的目标采样点；

22、依据所述目标采样点与所述当前帧图像数据对应的颜色强度数据确定所述数字候选区域的背景颜色校验结果，当所述背景颜色校验结果满足预设背景颜色条件时，从所述图像数据中截取所述数字候选区域对应的候选区域图像；

23、将所述候选区域图像与预设数字模板库进行相关性比对，将相关性最高的数字模板对应的数字符号及相关性分值确定为编号特征数据。

24、优选的，分别从多帧的颜色特征数据、条纹特征数据和编号特征数据中得到目标颜色特征向量、目标条纹特征向量和目标编号特征向量，并将由目标颜色特征向量、目标条纹特征向量和目标编号特征向量组成的目标特征向量集合与每一候选球标识对应的预设标准特征向量集合进行匹配，将分别匹配后匹配分值最大的候选球标识确定为目标球标识，包括：

25、对多帧颜色特征数据中各颜色类别的占比进行统计，得到目标颜色特征向量；

26、对多帧条纹特征数据中的条纹存在标志进行统计，并对条纹边界间距进行平均，得到目标条纹特征向量；

27、对多帧编号特征数据按照数字符号分别累计相关性分值，将累计相关性分值最大的数字符号及其累计相关性分值确定为目标编号特征向量；

28、将所述目标颜色特征向量、所述目标条纹特征向量和所述目标编号特征向量组成目标特征向量集合；

29、将所述目标特征向量集合分别与每一候选球标识对应的预设标准特征向量集合进行匹配，得到每一候选球标识对应的颜色匹配分值、条纹匹配分值和编号匹配分值；

30、按照预设权重对所述颜色匹配分值、条纹匹配分值和编号匹配分值进行加权融合，得到每一候选球标识对应的综合匹配分值，并将综合匹配分值最大的候选球标识确定为目标球标识。

31、一种基于多源数据识别入袋台球标识的装置，包括：

32、获取模块，用于获取目标球在进入高速检测腔之前依次经过至少第一触发传感器和第二触发传感器的检测信号，依据所述检测信号确定目标球进入高速检测腔前的运动速度；

33、计算模块，用于依据所述运动速度和高速检测腔沿目标球运动方向的检测长度确定目标球在高速检测腔内的停留时间，并依据所述停留时间确定光源的脉冲持续时间，以及图像采集装置和色标传感器阵列的采样持续时间，其中，所述脉冲持续时间和所述采样持续时间均小于所述停留时间；

34、提取模块，用于在脉冲持续时间内通过光源照射目标球，在采样持续时间内通过图像采集装置采集目标球表面的多帧图像数据、以及通过色标传感器阵列采集目标球表面的多帧颜色强度数据，并从每帧图像数据中提取条纹特征数据和编号特征数据，从每帧颜色强度数据中提取颜色特征数据；

35、融合模块，用于分别从多帧的颜色特征数据、条纹特征数据和编号特征数据中得到目标颜色特征向量、目标条纹特征向量和目标编号特征向量，并将由目标颜色特征向量、目标条纹特征向量和目标编号特征向量组成的目标特征向量集合与每一候选球标识对应的预设标准特征向量集合进行匹配，将分别匹配后匹配分值最大的候选球标识确定为目标球标识。

36、一种计算机电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于多源数据识别入袋台球标识的方法的步骤。

37、一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于多源数据识别入袋台球标识的方法的步骤。

38、本技术具有以下优点：

39、在本技术的实施例中，通过获取目标球在进入高速检测腔之前依次经过至少第一触发传感器和第二触发传感器的检测信号，依据所述检测信号确定目标球进入高速检测腔前的运动速度；依据所述运动速度和高速检测腔沿目标球运动方向的检测长度确定目标球在高速检测腔内的停留时间，并依据所述停留时间确定光源的脉冲持续时间，以及图像采集装置和色标传感器阵列的采样持续时间，其中，所述脉冲持续时间和所述采样持续时间均小于所述停留时间；在脉冲持续时间内通过光源照射目标球，在采样持续时间内通过图像采集装置采集目标球表面的多帧图像数据、以及通过色标传感器阵列采集目标球表面的多帧颜色强度数据，并从每帧图像数据中提取条纹特征数据和编号特征数据，从每帧颜色强度数据中提取颜色特征数据；分别从多帧的颜色特征数据、条纹特征数据和编号特征数据中得到目标颜色特征向量、目标条纹特征向量和目标编号特征向量，并将由目标颜色特征向量、目标条纹特征向量和目标编号特征向量组成的目标特征向量集合与每一候选球标识对应的预设标准特征向量集合进行匹配，将分别匹配后匹配分值最大的候选球标识确定为目标球标识。上述通过前置触发传感器获取目标球运动速度，并依据停留时间设定光源脉冲和采样持续时间，在高速检测腔内同步采集多帧图像数据和颜色强度数据，从图像数据和颜色强度数据中提取条纹、编号和颜色特征，并按多帧统计融合，与候选球标识的标准特征匹配后输出综合匹配分值，从而在目标球高速通过时实现快速、稳定、准确的标识判定，有效克服单一图像或单一颜色传感器在运动模糊、反光、遮挡及编号识别置信度不足时的误判问题，并无需改造球体或截停球体，能对入袋后的台球标识实现快速识别，并为后续计分、分拣、球路记录或其他控制动作提供可靠输入。