一种训练目标检测模型的方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种训练目标检测模型的方法、装置、设备及存储介质。


背景技术：

2.随着科技的不断发展，越来越多的设备可以通过已训练的目标检测模型，来提供目标检测服务，目标检测服务可以用于确定图像中目标的所在位置。
3.例如，设备可以通过已训练的目标检测模型，对胸部x光(chest x-ray，cxr)图像进行异常定位，以帮助临床对各种胸廓疾病的诊断。
4.相关技术中，由于样本图像的细粒度的样本标注需要由经验丰富的专业人员手动进行标注获得，因此获得已训练的目标检测模型的方法，通常是基于少量关联有细粒度的样本标注的样本图像，以及大量未关联样本标注的样本图像，对目标检测模型进行半监督训练获得的。
5.然而，由于相关技术中关联有细粒度的样本标注的样本图像的数量较少，而未关联样本标注的样本图像的数量较多，因此基于未关联样本标注的样本图像的训练，通常仅依据基于关联有细粒度的样本标注的样本图像的训练过程来进行，使得训练过程中可以参考的可靠信息较少，从而使得训练得到的目标检测模型的检测准确性较低。
6.可见，相关技术下采用的训练方式，无法保证训练得到的目标检测模型的检测准确性和检测可靠性。


技术实现要素：

7.本技术实施例提供了一种训练目标检测模型的方法、装置、计算机设备及存储介质，用于解决训练得到的目标检测模型的检测准确性和检测可靠性较低的问题。
8.第一方面，提供一种训练目标检测模型的方法，包括：
9.获取第一样本图像集和第二样本图像集，其中，每个第一样本图像关联有细粒度类型的第一样本标注，每个第二样本图像关联有粗粒度类型的第二样本标注，其中，所述细粒度类型的标注精度高于所述粗粒度类型；
10.基于所述第一样本图像集和所述第二样本图像集，进行多轮迭代训练，输出已训练的目标检测模型，其中，每轮迭代包括：
11.对第一样本图像的第一样本标注进行采样处理，获得符合所述粗粒度类型的多个采样标注，并采用辅助检测模型，分别预测所述多个采样标注各自对应的符合所述细粒度类型的第一伪标注；
12.采用所述辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第二样本标注，分别预测所述多种变换图像各自对应的符合所述细粒度类型的第二伪标注；
13.基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练。
14.第二方面，提供一种目标检测方法，目标检测模型是基于第一方面所述的训练目
标检测模型的方法获得的包括：
15.获取待检测图像；
16.采用所述目标检测模型，对所述待检测图像进行特征提取，获得图像特征；
17.采用所述目标检测模型，基于所述图像特征，确定所述待检测图像中包含指定目标时，获得所述已训练的目标检测模型输出的细粒度类型的预测标注，其中，所述细粒度类型表征所述预测标注的标注精度达到预设阈值，所述预测标注用于标记所述指定目标在所述待检测图像中的位置。
18.第三方面，提供一种训练目标检测模型的装置，包括：
19.获取模块：用于获取第一样本图像集和第二样本图像集，其中，每个第一样本图像关联有细粒度类型的第一样本标注，每个第二样本图像关联有粗粒度类型的第二样本标注，其中，所述细粒度类型的标注精度高于所述粗粒度类型；
20.处理模块：用于基于所述第一样本图像集和所述第二样本图像集，进行多轮迭代训练，输出已训练的目标检测模型，其中，每轮迭代包括：
21.所述处理模块具体用于：对第一样本图像的第一样本标注进行采样处理，获得符合所述粗粒度类型的多个采样标注，并采用辅助检测模型，分别预测所述多个采样标注各自对应的符合所述细粒度类型的第一伪标注；
22.所述处理模块还用于：采用所述辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第二样本标注，分别预测所述多种变换图像各自对应的符合所述细粒度类型的第二伪标注；
23.所述处理模块还用于：基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练。
24.可选的，所述处理模块具体用于：
25.基于获得的多个第一伪标注，确定所述辅助检测模型的采样一致性损失，其中，所述采样一致性损失表征：基于多个采样标注进行预测的一致性；
26.基于获得的多个第二伪标注，确定所述辅助检测模型的变换一致性损失，其中，所述变换一致性损失表征：基于多种变换图像进行预测的一致性；
27.基于所述多个第一伪标注，以及所述第一样本标注，确定所述辅助检测模型的预测损失，其中，所述预测损失表征：预测伪标注的准确性；
28.基于获得的采样一致性损失、变换一致性损失和预测损失，对目标检测模型进行训练。
29.可选的，所述处理模块具体用于：
30.基于获得的采样一致性损失、变换一致性损失和预测损失，调整所述辅助检测模型的模型参数；
31.采用所述辅助检测模型，预测所述第二样本图像符合所述细粒度类型的第三伪标注；
32.采用所述目标检测模型，预测所述第一样本图像的第一预测标注，以及预测所述第二样本图像的第二预测标注；
33.基于获得的第一预测标注与所述第一样本标注之间的误差，以及所述第二预测标注与所述第三伪标注之间的误差，调整所述目标检测模型的模型参数。
34.可选的，所述处理模块具体用于：
35.分别确定所述多个第一伪标注中每两个第一伪标注之间的误差，获得各采样一致性误差；
36.基于获得的各采样一致性误差的加权平均值，确定所述辅助检测模型的采样一致性损失。
37.可选的，所述第二伪标注为与相应的变换图像具有相同图像尺寸的图像形式；则所述处理模块具体用于：
38.按照一个第二伪标注对应的变换图像的图像变换策略，分别对其他第二伪标注进行图像变换，获得相应的变换标注；
39.分别确定包含所述一个第二伪标注和获得的各变换标注的各个标注中，每两个标注之间的误差，获得各变换一致性误差；
40.基于获得的各变换一致性误差的加权平均值，确定所述辅助检测模型的变换一致性损失。
41.可选的，所述处理模块具体用于：
42.分别确定所述多个第一伪标注与所述第一样本标注之间的预测误差；
43.基于获得的多个预测误差的加权平均值，确定所述辅助检测模型的预测损失。
44.可选的，所述处理模块具体用于：
45.基于图像翻转策略，对所述第二样本图像进行图像翻转，获得第一变换图像；
46.基于图像遮掩策略，采用至少一个指定覆盖图形，对所述第二样本图像进行图像遮掩，获得第二变换图像；
47.采用所述辅助检测模型，基于所述第一变换图像、所述第二变换图像，以及所述第二样本标注，分别预测所述第一变换图像和所述第二变换图像符合所述细粒度类型的第二伪标注。
48.可选的，所述处理模块还用于：
49.在基于所述第一样本图像集和所述第二样本图像集，进行多轮迭代训练，输出已训练的目标检测模型之后，获取待检测图像；
50.采用所述目标检测模型，对所述待检测图像进行特征提取，获得图像特征；
51.采用所述目标检测模型，基于所述图像特征，确定所述待检测图像中包含指定目标时，获得所述已训练的目标检测模型输出的细粒度类型的预测标注，其中，所述预测标注用于标记所述指定目标在所述待检测图像中的位置。
52.第四方面，提供一种目标检测装置，目标检测模型是基于第一方面所述的训练目标检测模型的方法获得的，包括：
53.获取模块：用于获取待检测图像；
54.处理模块：用于采用所述目标检测模型，对所述待检测图像进行特征提取，获得图像特征；
55.所述处理模块还用于采用所述目标检测模型，基于所述图像特征，确定所述待检测图像中包含指定目标时，获得所述已训练的目标检测模型输出的细粒度类型的预测标注，其中，所述细粒度类型表征所述预测标注的标注精度达到预设阈值，所述预测标注用于标记所述指定目标在所述待检测图像中的位置。
56.第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面或如第二方面所述的方法。
57.第六方面，提供一种计算机设备，包括：
58.存储器，用于存储程序指令；
59.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如第一方面或如第二方面所述的方法。
60.第七方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面或如第二方面所述的方法。
61.本技术实施例中，获取第一样本图像集和第二样本图像集两种样本图像集，第一样本图像关联有细粒度类型的第一样本标注，第二样本图像关联有粗粒度类型的第二样本标注，细粒度类型的标注精度高于粗粒度类型，那么在基于第一样本图像集和第二样本图像集，对目标检测模型进行训练时，不会由于关联有细粒度类型的第一样本标注的第一样本图像的图像数量太少，造成训练目标检测模型时可依据的训练数据的数据量太少，而导致训练准确性较低的问题；也不会由于关联有粗粒度类型的第二样本标注的标注精度较低，造成训练目标检测模型时的训练误差较大，而导致训练准确性较低的问题，在一定程度上，提高了训练得到的目标检测模型的检测准确性和检测可靠性。
62.进一步的，在一轮迭代中，采用辅助检测模型，分别预测对第一样本标注进行采样处理获得的多个采样标注各自对应的符合细粒度类型的第一伪标注，从而，通过保证多个第一伪标注的一致性，在基于获得的第一伪标注对目标检测模型进行训练时，可以准确地将标注在不同位置的粗粒度类型的多个标注，确定属于同一个位置的细粒度类型的标注，而不会出现针对不同位置的粗粒度类型的多个标注，分别确定出一个细粒度类型的标注，以对目标检测模型的训练过程造成误导的情况，从而训练得到的目标检测模型可以准确地确定出细粒度类型的标注，在一定程度上，提高了训练得到的目标检测模型的检测准确性和检测可靠性。
63.进一步的，在一轮迭代中，采用辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第二样本标注，分别预测多种变换图像各自对应的符合细粒度类型的第二伪标注，从而，通过保证多个第二伪标注的一致性，在基于获得的第二伪标注对目标检测模型进行训练时，可以准确地将位于细粒度类型的标注的边界处的粗粒度类型的标注，确定为属于该细粒度类型的标注，而不会出现将位于细粒度类型的标注的边界处的粗粒度类型的标注，误识别为属于其他细粒度类型的标注，以对目标检测模型的训练过程造成误导的情况，从而训练得到的目标检测模型可以准确地确定出细粒度类型的标注，在一定程度上，提高了训练得到的目标检测模型的检测准确性和检测可靠性。
64.从多个第一伪标注和多个第二伪标注多种角度出发，对目标检测模型进行训练，进一步提高了训练得到的目标检测模型的检测准确性和检测可靠性。
附图说明
65.图1a为本技术实施例提供的目标检测模型的应用领域示意图；
66.图1b为本技术实施例提供的训练目标检测模型的方法的一种应用场景；
67.图2为本技术实施例提供的训练目标检测模型的方法的一种流程示意图一；
68.图3a为本技术实施例提供的训练目标检测模型的方法的一种原理示意图一；
69.图3b为本技术实施例提供的训练目标检测模型的方法的一种原理示意图二；
70.图4a为本技术实施例提供的训练目标检测模型的方法的一种原理示意图三；
71.图4b为本技术实施例提供的训练目标检测模型的方法的一种原理示意图四；
72.图4c为本技术实施例提供的训练目标检测模型的方法的一种原理示意图五；
73.图5a为本技术实施例提供的训练目标检测模型的方法的一种原理示意图六；
74.图5b为本技术实施例提供的训练目标检测模型的方法的一种原理示意图七；
75.图5c为本技术实施例提供的训练目标检测模型的方法的一种原理示意图八；
76.图5d为本技术实施例提供的训练目标检测模型的方法的一种原理示意图九；
77.图5e为本技术实施例提供的训练目标检测模型的方法的一种原理示意图十；
78.图6为本技术实施例提供的训练目标检测模型的方法的一种原理示意图十一；
79.图7为本技术实施例提供的训练目标检测模型的方法的一种流程示意图二；
80.图8为本技术实施例提供的训练目标检测模型的装置的一种结构示意图；
81.图9为本技术实施例提供的目标检测装置的一种结构示意图；
82.图10为本技术实施例提供的训练目标检测模型的装置或目标检测装置的一种结构示意图。
具体实施方式
83.为了使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
84.下面对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
85.(1)半监督训练：
86.半监督训练是机器学习的一种训练方法，给定一部分完整标注的数据和大量无标注的数据，完成模型的训练。
87.本技术实施例涉及人工智能(artificial intelligence，ai)领域，是基于计算机视觉(computer vision，cv)技术和机器学习(machine learning，ml)技术设计的，可以应用与云计算、智慧交通、智能农业、智慧医疗或地图等领域。
88.人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它研究各种机器的设计原理与实现方法，企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，使机器具有感知、推理和决策的功能。
89.人工智能是一门综合学科，涉及的领域广泛，既有硬件层面的技术，也有软件层面的技术。人工智能的基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作交互系统、机电一体化等技术。人工智能的软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术、机器学习/深度学习、自动驾驶、智慧交通等几大方向。随着人工智能的发展与进步，人工智能得以在多个领域中展开研究和应用，例如，常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、智能穿戴设备、无人驾驶、自动
驾驶、无人机、机器人、智能医疗、车联网、自动驾驶、智慧交通等领域，相信随着未来技术的进一步发展，人工智能将在更多的领域中得到应用，发挥出越来越重要的价值。本技术实施例提供的方案，涉及人工智能的深度学习、增强现实等技术，具体通过如下实施例进一步说明。
90.计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
91.机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机通过模拟人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使计算机不断改善自身的性能。
92.机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域；而机器学习的核心则是深度学习，是实现机器学习的一种技术。机器学习通常包括深度学习、强化学习、迁移学习、归纳学习、人工神经网络、式教学习等技术，深度学习则包括卷积神经网络(convolutional neural networks，cnn)、深度置信网络、递归神经网络、自动编码器、生成对抗网络等技术。
93.应当说明的是，本技术实施例中，涉及到第一样本图像集、第二样本图像集或待检测图像等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
94.下面对本技术实施例提供的训练目标检测模型的方法的应用领域进行简单介绍。
95.随着科技的不断发展，越来越多的设备可以通过已训练的目标检测模型，来提供目标检测服务，目标检测服务可以用于确定图像中目标的所在位置。
96.例如，设备可以通过已训练的目标检测模型，对胸部x光(chest x-ray，cxr)图像进行异常定位，以帮助临床对各种胸廓疾病的诊断。
97.由于样本图像的细粒度的样本标注需要由经验丰富的专业人员手动进行标注获得，例如，请参考图1a，为一种胸部x光图像，可以通过矩形框来标注图像中的异常区域，达到异常定位的目的。这种矩形框形式的样本标注，由于涉及到矩形的长宽，以及矩形的位置等，相对于点形式的样本标注等来说，是一种细粒度的样本标注，需要由经验丰富的专业人员手动进行标注获得。
98.因此相关技术中，获得已训练的目标检测模型的方法，通常是基于少量关联有细粒度的样本标注的样本图像，以及大量未关联样本标注的样本图像，对目标检测模型进行半监督训练获得的。
99.然而，由于相关技术中关联有细粒度的样本标注的样本图像的数量较少，而未关联样本标注的样本图像的数量较多，因此基于未关联样本标注的样本图像的训练，通常仅依据基于关联有细粒度的样本标注的样本图像的训练过程来进行，使得训练过程中可以参
考的可靠信息较少，从而使得训练得到的目标检测模型的检测准确性较低。
100.可见，相关技术下采用的训练方式，无法保证训练得到的目标检测模型的检测准确性和检测可靠性。
101.为了解决训练得到的目标检测模型的检测准确性和检测可靠性较低的问题，本技术提出一种训练目标检测模型的方法。该方法中，在获取第一样本图像集和第二样本图像集之后，基于第一样本图像集和第二样本图像集，进行多轮迭代训练，输出已训练的目标检测模型。其中，每个第一样本图像关联有细粒度类型的第一样本标注，每个第二样本图像关联有粗粒度类型的第二样本标注，细粒度类型的标注精度高于粗粒度类型。其中，每轮迭代包括：
102.对第一样本图像的第一样本标注进行采样处理，获得符合粗粒度类型的多个采样标注，并采用辅助检测模型，分别预测多个采样标注各自对应的符合细粒度类型的第一伪标注。采用辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第二样本标注，分别预测多种变换图像各自对应的符合细粒度类型的第二伪标注。基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练。
103.本技术实施例中，获取第一样本图像集和第二样本图像集两种样本图像集，第一样本图像关联有细粒度类型的第一样本标注，第二样本图像关联有粗粒度类型的第二样本标注，细粒度类型的标注精度高于粗粒度类型，那么在基于第一样本图像集和第二样本图像集，对目标检测模型进行训练时，不会由于关联有细粒度类型的第一样本标注的第一样本图像的图像数量太少，造成训练目标检测模型时可依据的训练数据的数据量太少，而导致训练准确性较低的问题；也不会由于关联有粗粒度类型的第二样本标注的标注精度较低，造成训练目标检测模型时的训练误差较大，而导致训练准确性较低的问题，在一定程度上，提高了训练得到的目标检测模型的检测准确性和检测可靠性。
104.进一步的，在一轮迭代中，采用辅助检测模型，分别预测对第一样本标注进行采样处理获得的多个采样标注各自对应的符合细粒度类型的第一伪标注，从而，通过保证多个第一伪标注的一致性，在基于获得的第一伪标注对目标检测模型进行训练时，可以准确地将标注在不同位置的粗粒度类型的多个标注，确定属于同一个位置的细粒度类型的标注，而不会出现针对不同位置的粗粒度类型的多个标注，分别确定出一个细粒度类型的标注，以对目标检测模型的训练过程造成误导的情况，从而训练得到的目标检测模型可以准确地确定出细粒度类型的标注，在一定程度上，提高了训练得到的目标检测模型的检测准确性和检测可靠性。
105.进一步的，在一轮迭代中，采用辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第二样本标注，分别预测多种变换图像各自对应的符合细粒度类型的第二伪标注，从而，通过保证多个第二伪标注的一致性，在基于获得的第二伪标注对目标检测模型进行训练时，可以准确地将位于细粒度类型的标注的边界处的粗粒度类型的标注，确定为属于该细粒度类型的标注，而不会出现将位于细粒度类型的标注的边界处的粗粒度类型的标注，误识别为属于其他细粒度类型的标注，以对目标检测模型的训练过程造成误导的情况，从而训练得到的目标检测模型可以准确地确定出细粒度类型的标注，在一定程度上，提高了训练得到的目标检测模型的检测准确性和检测可靠性。
106.从多个第一伪标注和多个第二伪标注多种角度出发，对目标检测模型进行训练，
进一步提高了训练得到的目标检测模型的检测准确性和检测可靠性。
107.下面对本技术提供的训练目标检测模型的方法的应用场景进行说明。
108.请参考图1b，为本技术提供的训练目标检测模型的方法的一种应用场景示意图。该应用场景中包括客户端101和服务端102。客户端101和服务端102之间可以通信。通信方式可以是采用有线通信技术进行通信，例如，通过连接网线或串口线进行通信；也可以是采用无线通信技术进行通信，例如，通过蓝牙或无线保真(wireless fidelity，wifi)等技术进行通信，具体不做限制。
109.客户端101泛指可以向服务端102提供第一样本图像集、第二样本图像集或可以使用已训练的目标检测模型等的设备，例如，终端设备、终端设备可以访问的第三方应用程序或终端设备可以访问的网页等。终端设备包括但不限于手机、电脑、智能医疗设备、智能家电、车载终端或飞行器等。服务端102泛指可以训练或使用目标检测模型的设备，例如，终端设备或服务器等。服务器包括但不限于云服务器、本地服务器或关联的第三方服务器等。客户端101和服务端102均可以采用云计算，以减少本地计算资源的占用；同样也可以采用云存储，以减少本地存储资源的占用。
110.作为一种实施例，客户端101和服务端102可以是同一个设备，具体不做限制。本技术实施例中，以客户端101和服务端102分别为不同的设备为例进行介绍。
111.下面基于图1b，以服务端102为服务器，以服务器为主体，对本技术实施例提供的训练目标检测模型的方法进行具体介绍。请参考图2，为本技术实施例提供的训练目标检测模型的方法的一种流程示意图。
112.s201，获取第一样本图像集和第二样本图像集。
113.服务器可以接收客户端发送的第一样本图像集和第二样本图像集，也可以从其他设备中读取第一样本图像集和第二样本图像集，也可以通过从网络资源中下载数据，来获得第一样本图像集和第二样本图像集等，具体不做限制。
114.例如，网络资源中包含两个cxr数据集，rsna数据集和vindr-cxr数据集，rsna数据集包含26684张胸部x光片图像，vindr-cxr数据集包含15000张胸部x光片图像。服务器可以将两个cxr数据集中的图像数据按比例划分为训练数据集和测试数据集，训练数据集用于训练目标检测模型，测试数据集用于对已训练的目标检测模型进行测试。对于划分出的训练数据集，可以按比例，将其中的一部分作为第一样本图像集，另一部分作为第二样本图像集，例如第一样本图像集占训练数据集的5％、10％、20％、30％、40％或50％等，具体不做限制。
115.每个第一样本图像关联有细粒度类型的第一样本标注，每个第二样本图像关联有粗粒度类型的第二样本标注，细粒度类型的标注精度高于粗粒度类型。例如，细粒度类型的第一样本标注为矩形框形式的样本标注，粗粒度类型的第二样本标注为点形式、涂鸦形式或划线形式等的样本标注，对于cxr图像来说，矩形框形式的样本标注能够标注出整个病变发生的区域，而点形式的样本标注仅能够标注出局部病变的某个位置，因此，矩形框形式的样本标注，相较于点形式的样本标注来说，标注精度更高。
116.第一样本标注可以是通过人工标注获得，第二样本标注可以是通过人工标注获得，也可以是通过设备标注获得等，具体不做限制。
117.s202，基于第一样本图像集和第二样本图像集，进行多轮迭代训练，输出已训练的
目标检测模型。
118.在获得第一样本图像集和第二样本图像集之后，服务器可以基于第一样本图像集和第二样本图像集，对待训练的目标检测模型进行多轮迭代训练，输出已训练的目标检测模型。训练目标检测模型的过程中，可以结合辅助检测模型一同进行训练，以帮助目标检测模型更快的学习到目标检测能力。
119.下面以一轮迭代训练的过程为例，每轮迭代训练的过程类似，在此不再赘述，请参考s203～s205。
120.s203，对第一样本图像的第一样本标注进行采样处理，获得符合粗粒度类型的多个采样标注，并采用辅助检测模型，分别预测多个采样标注各自对应的符合细粒度类型的第一伪标注。
121.在基于一个第一样本图像和一个第二样本图像进行一轮迭代训练时，由于第一样本图像的第一样本标注是符合细粒度类型的样本标注，为了保证辅助检测模型的预测一致性，因此，可以先对第一样本图像的第一样本标注进行采样处理，获得符合粗粒度类型的多个采样标注，再采用辅助检测模型，基于第一样本图像和多个采样标注，分别预测多个采样标注各自对应的符合细粒度类型的第一伪标注，获得的多个第一伪标注之间应该具有一致性，因此通过多个第一伪标注，对辅助检测模型进行训练，可以提高辅助检测模型的预测准确性。
122.例如，细粒度类型是矩形框形式，粗粒度类型是点形式，那么对矩形框形式的第一样本标注进行采样处理，可以随机的获得位于矩形框内的多个点形式的采样标注。在采用辅助检测模型预测多个采样标注各自对应的矩形框形式的第一伪标注时，预测出的各个第一伪标注的矩形框应该是具有相似长宽，且位于相似位置上。
123.请参考图3a，第一样本图像中包含矩形框形式的第一样本标注，对矩形框形式的第一样本标注进行采样处理，获得三个点形式的采样标注，包括第一采样标注、第二采样标注和第三采样标注。第一采样标注位于矩形框形式的第一样本标注的上边缘附近，第二采样标注位于矩形框形式的第一样本标注的中心附近，第三采样标注位于矩形框形式的第一样本标注的左边缘附近。
124.请参考图3b，在对矩形框形式的第一样本标注进行采样处理后，获得三个点形式的采样标注，包括第一采样标注、第二采样标注和第三采样标注。在采用辅助检测模型，基于第一样本图像和三个采样标注，预测三个采样标注各自对应的矩形框形式的第一伪标注之后，分别获得第一伪标注a、第一伪标注b和第一伪标注c。第一伪标注a、第一伪标注b和第一伪标注c的矩形框具有相似的长宽，以及位于相似的位置。
125.作为一种实施例，辅助检测模型的预测过程可以通过公式进行表示，请参考公式(1)，可以看出辅助检测模型是用于基于样本图像和相应的符合粗粒度类型的样本标注，预测相应的符合细粒度类型的样本标注的模型。
[0126][0127]
其中，x
p
表征位置在(x，y)，符合粗粒度类型的样本标注c，表征xi第i个第二样本图像，表征预测的符合细粒度类型的样本标注。
[0128]
s204，采用辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第
二样本标注，分别预测多种变换图像各自对应的符合细粒度类型的第二伪标注。
[0129]
为了进一步充分利用关联有粗粒度类型的第二样本标注的第二样本图像，服务器可以基于多种图像变换策略，对第二样本图像进行图像变换，获得多种变换图像。采用辅助检测模型，基于获得的多种变换图像，以及第二样本标注，预测出的多种变换图像各自对应的符合细粒度类型的第二伪标注之间，应该具有一致性，因此通过多个第二伪标注，对辅助检测模型进行训练，可以提高辅助检测模型的预测准确性。
[0130]
作为一种实施例，图像变换策略包含图像翻转策略和图像遮掩策略时，服务器可以基于图像翻转策略，对第二样本图像进行图像翻转，获得第一变换图像。基于图像遮掩策略，采用至少一个指定覆盖图形，对第二样本图像进行图像遮掩，获得第二变换图像。采用辅助检测模型，基于第一变换图像、第二变换图像，以及第二样本标注，分别预测第一变换图像和第二变换图像符合细粒度类型的第二伪标注。
[0131]
图像翻转策略用于将第二样本图像进行左右翻转、上下翻转或按照图像中心点进行90
°
、180
°
或270
°
等角度的旋转等，具体不做限制。请参考图4a(1)，为一个第二样本图像，在经过左右翻转后，请参考图4a(2)，为一个第一变换图像。
[0132]
图像遮掩策略用于采用至少一个指定覆盖图形，覆盖在第二样本图像之上，实现图像遮掩，以使获得的第二变换图像中，被指定覆盖图形覆盖的位置，无法显示原第二样本图像中该位置所显示的内容。请参考图4b(1)，为一个第二样本图像，在经过三个矩形图形覆盖后，请参考图4b(2)，为一个第二变换图像。
[0133]
请参考图4c，在按照左右翻转，对第二样本图像进行图像翻转之后，获得的第一变换图像，与第二样本图像之间形成镜像关系。
[0134]
在采用三个矩形图形，随机对第二样本图像进行图像遮掩之后，获得的第二变换图像中包含三个点矩形空白区域。
[0135]
在采用辅助检测模型，基于第二样本标注、第一变换图像和第二变换图像，预测第一变换图像和第二变换图像各自对应的矩形框形式的第二伪标注之后，分别获得第二伪标注a和第二伪标注b。第二伪标注a与第二伪标注b之间形成镜像关系。其中，在基于第二样本标注和第一变换图像预测第一变换图像对应的矩形框形式的第二伪标注时，第二样本标注为左右翻转后的第二样本标注。
[0136]
s205，基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练。
[0137]
在获得多个第一伪标注和多个第二伪标注之后，服务器可以基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练。由于对目标检测模型进行训练的过程，是结合了辅助检测模型进行的，因此，可以先基于获得的多个第一伪标注和多个第二伪标注，对辅助检测模型进行一轮训练，再基于一轮训练后的辅助检测模型，对目标检测模型进行一轮训练等，具体不做限制。
[0138]
作为一种实施例，基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练时，可以是基于获得的多个第一伪标注，确定辅助检测模型的采样一致性损失，其中，采样一致性损失表征：基于多个采样标注进行预测的一致性。基于获得的多个第二伪标注，确定辅助检测模型的变换一致性损失，其中，变换一致性损失表征：基于多种变换图像进行预测的一致性。基于多个第一伪标注，以及第一样本标注，确定辅助检测模型的预测损失，其中，预测损失表征：预测伪标注的准确性。基于获得的采样一致性损失、变换一致性
损失和预测损失，对目标检测模型进行训练。
[0139]
下面以一种获得采样一致性损失、变换一致性损失和预测损失的过程进行具体介绍。
[0140]
采样一致性损失：
[0141]
分别确定多个第一伪标注中每两个第一伪标注之间的误差，获得各采样一致性误差。基于获得的各采样一致性误差的加权平均值，确定辅助检测模型的采样一致性损失。
[0142]
以多个第一伪标注包含两个第一伪标注为例，其中一个第一伪标注是基于第一样本图像和第一采样标注预测得到的，另一个第一伪标注是基于第一样本图像和第二采样标注预测得到的，那么采样一致性损失lm，请参考公式(2)。
[0143][0144]
其中，表征基于第一样本图像xi和第一采样标注预测得到的第一伪标注，表征基于第一样本图像xi和第二采样标注预测得到的第一伪标注，‖
·
‖2表征计算l2范数。lm缩小了两个第一伪标注之间的差距。
[0145]
变换一致性损失：
[0146]
在第二伪标注为与相应的变换图像具有相同图像尺寸的图像形式时，按照一个第二伪标注对应的变换图像的图像变换策略，分别对其他第二伪标注进行图像变换，获得相应的变换标注。分别确定包含一个第二伪标注和获得的各变换标注的各个标注中，每两个标注之间的误差，获得各变换一致性误差。基于获得的各变换一致性误差的加权平均值，确定辅助检测模型的变换一致性损失。
[0147]
以多个第二伪标注为两个第二伪标注为例，其中，一个第二伪标注是基于通过对第二样本图像进行左右翻转获得的第一变换图像，以及第二样本标注预测得到的；另一个第二伪标注时基于通过采用三个矩形图像对第二样本图像进行随机覆盖获得的第二变换图像，以及第二样本标注预测得到的。那么变换一致性损失lc，请参考公式(3)。
[0148][0149]
其中，表征对第二样本图像xi进行左右翻转获得的第一变换图像，表征第二样本标注x
p
进行左右翻转后，表征基于第一变换图像和左右翻转后的第二样本标注，预测得到的第二伪标注，m(xi)表征对第二样本图像xi进行随机覆盖获得的第二变换图像，x
p
σ表征第二样本标注与附加噪声项之和，附加噪声项可以在[-0.05，0.05]图像比例范围内均匀分布，附加噪声项用于防止过拟合，fd(x
p
σ，m(xi))表征基于第二变换图像和第二样本标注，预测得到的第二伪标注，t(
·
)表征左右翻转变换。lc的机制是辅助检测模型在不同的图像变换下应该能够预测出一致的细粒度类型的标注。
[0150]
预测损失：
[0151]
分别确定多个第一伪标注与第一样本标注之间的预测误差。基于获得的多个预测误差的加权平均值，确定辅助检测模型的预测损失。
[0152]
以多个第一伪标注为两个第一伪标注为例，服务器先确定第一伪标注a与第一样
本标注之间的预测误差，再确定第一伪标注b与第一样本标注之间的预测误差。可以将获得的两个预测误差的加权平均值，作为辅助检测模型的预测损失l
box
等，具体不做限制。
[0153]
作为一种实施例，在获得采样一致性损失、变换一致性损失和预测损失之后，可以基于获得的采样一致性损失、变换一致性损失和预测损失，调整辅助检测模型的模型参数。例如，对采样一致性损失、变换一致性损失和预测损失进行加权求和，获得辅助检测模型的训练损失，在确定辅助检测模型的训练损失达到训练目标时，不对辅助检测模型的模型参数进行调整，直接基于辅助检测模型来训练目标检测模型。在确定辅助检测模型的训练损失不满足训练目标时，对辅助检测模型的模型参数进行调整，并基于调整模型参数后的辅助检测模型来训练目标检测模型等，具体不做限制。
[0154]
在基于辅助检测模型对目标检测模型进行训练时，可以采用辅助检测模型，预测第二样本图像符合细粒度类型的第三伪标注。采用目标检测模型，预测第一样本图像的第一预测标注，以及预测第二样本图像的第二预测标注。基于获得的第一预测标注与第一样本标注之间的误差，以及第二预测标注与第三伪标注之间的误差，调整目标检测模型的模型参数。例如，对获得的第一预测标注与第一样本标注之间的误差，以及第二预测标注与第三伪标注之间的误差进行加权求和，获得目标检测模型的训练损失，在确定目标检测模型的训练损失达到训练目标时，输出已训练的目标检测模型，在确定目标检测模型的训练损失不满足训练目标时，对目标检测模型的模型参数进行调整，并进入下一轮迭代训练等，具体不做限制。
[0155]
请参考公式(4)。
[0156][0157]
其中，表征目标检测模型fs基于第二样本图像预测的第二预测标注，表征目标检测模型fs基于第一样本图像预测的第一预测标注，fd(x
p
，xi)表征辅助检测模型预测的第三伪标注，y表征第一样本标注，lo表征一种损失函数。
[0158]
下面以cxr图像为例，对本技术实施例提供的训练目标检测模型的方法进行示例介绍，以一轮迭代训练为例。
[0159]
请参考图5a(1)，为一种可能的第一样本图像，请参考图5a(2)，为一种可能的第二样本图像。第一样本图像的第一样本标注为矩形框形式，第二样本图像的第二样本标注为点形式。
[0160]
辅助检测模型包括标注特征提取网络、图像特征提取网络和预测网络，标注特征提取网络用于提取如样本标注等标注的特征，图像特征提取网络用于提取如样本图像等图像的特征，预测网络用于基于获得的特征，预测矩形框形式的伪标注。
[0161]
请参考图5b，在对第一样本图像的第一样本标注进行采样处理之后，获得点形式的两个采样标注。以一个采样标注为例，采用辅助检测模型中的图像特征提取网络，对第一样本图像进行图像特征提取，获得第一图像特征，并采用辅助检测模型中的标注特征提取网络，对采样标注进行标注特征提取，获得第一标注特征。采用辅助检测模型中的预测网络，基于第一图像特征和第一标注特征，预测采样标注对应的矩形框形式的第一伪标注。
[0162]
在获得两个采样标注各自对应的第一伪标注之后，基于两个第一伪标注之间的误
差，以及两个第一伪标注各自与第一样本标注之间的误差，确定辅助检测模型的采样一致性损失。
[0163]
请参考图5c，在对第二样本图像进行左右翻转之后，获得第一变换图像，相应的第二样本标注也进行左右翻转。对第二样本图像进行图像遮掩之后，获得第二变换图像。
[0164]
采用辅助检测模型中的图像特征提取网络，分别对第一变换图像和第二变换图像进行图像特征提取，分别获得第二图像特征和第三图像特征。采用辅助检测模型中的标注特征提取网络，分别对左右翻转后的第二样本标注和第二样本标注进行标注特征提取，分别获得第二标注特征和第三标注特征。
[0165]
采用辅助检测模型中的预测网络，基于第二图像特征和第二标注特征，预测第一变换图像的第二伪标注，并基于第三图像特征和第三标注特征，预测第二变换图像的第二伪标注。
[0166]
由于第一变换图像是通过左右翻转获得的，那么第一变换图像的第二伪标注，与第二变换图像的第二伪标注之间是镜像关系，因此，可以将第一变换图像的第二伪标注进行左右翻转，从而，可以基于第一变换图像的左右翻转后的第二伪标注，与第二变换图像的第二伪标注之间的误差，确定辅助检测模型的变换一致性损失。
[0167]
从而可以基于采样一致性损失和变换一致性损失，对辅助检测模型进行一轮训练，获得一轮训练后的辅助检测模型。请参考图5d，将第二样本图像输入一轮训练后的辅助检测模型，采用一轮训练后的辅助检测模型中的图像特征提取网络，对第二样本图像进行图像特征提取，获得第四图像特征，并采用用一轮训练后的辅助检测模型中的标注特征提取网络，对第二样本标注进行标注特征提取，获得第四标注特征。一轮训练后的辅助检测模型中的预测网络可以基于获得的第四图像特征和第四标注特征，预测出第二样本图像的矩形框形式的第三伪标注。
[0168]
请参考图5e，在获得第二样本图像的矩形框形式的第三伪标注之后，可以分别将第一样本图像和第二样本图像输入目标检测模型，分别预测第一样本图像的第一预测标注和第二样本图像的第二预测标注。基于第一预测标注于第一样本标注之间的误差，以及第二预测标注与第三伪标注之间的误差，确定目标检测模型的训练损失，基于目标检测模型的训练损失对目标检测模型进行一轮训练。
[0169]
请参考图6，为已训练的辅助检测模型在基于多个点形式的样本标注，预测矩形框形式的样本标注的一种可视化结果，以及其他相关技术中的模型在基于多个点形式的样本标注，预测矩形框形式的样本标注的一种可视化结果。
[0170]
请参考图6(1)，其中左半部分包含三个点形式的标注，在采用相关技术中的模型基于点形式的样本标注，预测矩形框形式的样本标注时，获得的矩形框形式的样本标注，仅能够关注到相应的点形式的样本标注，而无法关注到附近其他的点形式的样本标注，使得获得的三个矩形框形式的样本标注的位置差距较大，即线条最粗矩形框形式的样本标注、线条最细的矩形框形式的样本标注，以及线条粗细适中的矩形框形式的样本标注的位置差距较大，同时，与手动标注的位置差距也较大，即矩形框形式的样本标注的位置与虚线框标注的位置差距较大。对于右半部分来说，也是一样的。
[0171]
请参考图6(2)，在采用本技术实施例的方法获得的已训练的辅助检测模型基于点形式的样本标注，预测矩形框形式的样本标注时，获得的各矩形框形式的样本标注的位置
差距较小，几乎重合，同时，与手动标注的位置差距也较小，甚至各矩形框形式的样本标注相较于手动标注的矩形范围更小，更加精确。
[0172]
请参考图6(3)，包含三个距离更近的点形式的标注，在采用相关技术中的模型基于点形式的样本标注，预测矩形框形式的样本标注时，获得的各矩形框形式的样本标注仍然是位置差距较大，与虚线框标注之间的位置差距也较大。
[0173]
请参考图6(4)，在采用本技术实施例的方法获得的已训练的辅助检测模型基于点形式的样本标注，预测矩形框形式的样本标注时，获得的各矩形框形式的样本标注的位置差距较小，几乎重合，同时，与手动标注的位置差距也较小。
[0174]
本技术实施例中，鲁棒的基于点形式的标注生成矩形框形式的伪标注的准确性更高，使得基于伪标注训练出的目标检测模型的检测准确性和检测可靠性更高。充分利用了大量粗粒度类型的标注数据，在大幅度缓解标注数据少的难题的前提下，取得与全监督算法性能相媲美的训练效果，提高了训练出的目标检测模型的检测准确性和检测可靠性。
[0175]
基于同一发明构思，本技术实施例提供一种目标检测方法，采用前述的训练目标检测模型的方法训练得到的目标检测模型进行目标检测，请参考图7，为目标检测方法的一种流程示意图。
[0176]
s701，获取待检测图像。
[0177]
s702，采用目标检测模型，对待检测图像进行特征提取，获得图像特征。
[0178]
s703，采用目标检测模型，基于图像特征，确定待检测图像中包含指定目标时，获得已训练的目标检测模型输出的细粒度类型的预测标注，其中，细粒度类型表征预测标注的标注精度达到预设阈值，预测标注用于标记指定目标在待检测图像中的位置。
[0179]
基于同一发明构思，本技术实施例提供一种训练目标检测模型的装置，能够实现前述的训练目标检测模型的方法对应的功能。请参考图8，该装置包括获取模块801和处理模块802，其中：
[0180]
获取模块801：用于获取第一样本图像集和第二样本图像集，其中，每个第一样本图像关联有细粒度类型的第一样本标注，每个第二样本图像关联有粗粒度类型的第二样本标注，其中，细粒度类型的标注精度高于粗粒度类型；
[0181]
处理模块802：用于基于第一样本图像集和第二样本图像集，进行多轮迭代训练，输出已训练的目标检测模型，其中，每轮迭代包括：
[0182]
处理模块802具体用于：对第一样本图像的第一样本标注进行采样处理，获得符合粗粒度类型的多个采样标注，并采用辅助检测模型，分别预测多个采样标注各自对应的符合细粒度类型的第一伪标注；
[0183]
处理模块802还用于：采用辅助检测模型，基于第二样本图像对应的多种变换图像，以及相应的第二样本标注，分别预测多种变换图像各自对应的符合细粒度类型的第二伪标注；
[0184]
处理模块802还用于：基于获得的多个第一伪标注和多个第二伪标注，对目标检测模型进行训练。
[0185]
在一种可能的实施例中，处理模块802具体用于：
[0186]
基于获得的多个第一伪标注，确定辅助检测模型的采样一致性损失，其中，采样一致性损失表征：基于多个采样标注进行预测的一致性；
[0187]
基于获得的多个第二伪标注，确定辅助检测模型的变换一致性损失，其中，变换一致性损失表征：基于多种变换图像进行预测的一致性；
[0188]
基于多个第一伪标注，以及第一样本标注，确定辅助检测模型的预测损失，其中，预测损失表征：预测伪标注的准确性；
[0189]
基于获得的采样一致性损失、变换一致性损失和预测损失，对目标检测模型进行训练。
[0190]
在一种可能的实施例中，处理模块802具体用于：
[0191]
基于获得的采样一致性损失、变换一致性损失和预测损失，调整辅助检测模型的模型参数；
[0192]
采用辅助检测模型，预测第二样本图像符合细粒度类型的第三伪标注；
[0193]
采用目标检测模型，预测第一样本图像的第一预测标注，以及预测第二样本图像的第二预测标注；
[0194]
基于获得的第一预测标注与第一样本标注之间的误差，以及第二预测标注与第三伪标注之间的误差，调整目标检测模型的模型参数。
[0195]
在一种可能的实施例中，处理模块802具体用于：
[0196]
分别确定多个第一伪标注中每两个第一伪标注之间的误差，获得各采样一致性误差；
[0197]
基于获得的各采样一致性误差的加权平均值，确定辅助检测模型的采样一致性损失。
[0198]
在一种可能的实施例中，第二伪标注为与相应的变换图像具有相同图像尺寸的图像形式；则处理模块802具体用于：
[0199]
按照一个第二伪标注对应的变换图像的图像变换策略，分别对其他第二伪标注进行图像变换，获得相应的变换标注；
[0200]
分别确定包含一个第二伪标注和获得的各变换标注的各个标注中，每两个标注之间的误差，获得各变换一致性误差；
[0201]
基于获得的各变换一致性误差的加权平均值，确定辅助检测模型的变换一致性损失。
[0202]
在一种可能的实施例中，处理模块802具体用于：
[0203]
分别确定多个第一伪标注与第一样本标注之间的预测误差；
[0204]
基于获得的多个预测误差的加权平均值，确定辅助检测模型的预测损失。
[0205]
在一种可能的实施例中，处理模块802具体用于：
[0206]
基于图像翻转策略，对第二样本图像进行图像翻转，获得第一变换图像；
[0207]
基于图像遮掩策略，采用至少一个指定覆盖图形，对第二样本图像进行图像遮掩，获得第二变换图像；
[0208]
采用辅助检测模型，基于第一变换图像、第二变换图像，以及第二样本标注，分别预测第一变换图像和第二变换图像符合细粒度类型的第二伪标注。
[0209]
在一种可能的实施例中，处理模块802还用于：
[0210]
在基于第一样本图像集和第二样本图像集，进行多轮迭代训练，输出已训练的目标检测模型之后，获取待检测图像；
[0211]
采用目标检测模型，对待检测图像进行特征提取，获得图像特征；
[0212]
采用目标检测模型，基于图像特征，确定待检测图像中包含指定目标时，获得已训练的目标检测模型输出的细粒度类型的预测标注，其中，预测标注用于标记指定目标在待检测图像中的位置。
[0213]
基于同一发明构思，本技术实施例提供一种目标检测装置，能够实现前述的目标检测方法对应的功能。请参考图9，该装置包括获取模块901和处理模块902，其中：
[0214]
获取模块901：用于获取待检测图像；
[0215]
处理模块902：用于采用目标检测模型，对待检测图像进行特征提取，获得图像特征；
[0216]
处理模块902还用于采用目标检测模型，基于图像特征，确定待检测图像中包含指定目标时，获得已训练的目标检测模型输出的细粒度类型的预测标注，其中，细粒度类型表征预测标注的标注精度达到预设阈值，预测标注用于标记指定目标在待检测图像中的位置。
[0217]
请参照图10，上述训练目标检测模型的装置可以运行在计算机设备1000上，数据存储程序的当前版本和历史版本以及数据存储程序对应的应用软件可以安装在计算机设备1000上，该计算机设备1000包括处理器1080以及存储器1020。在一些实施例中，该计算机设备1000可以包括显示单元1040，显示单元1040包括显示面板1041，用于显示由用户交互操作界面等。
[0218]
在一种可能的实施例中，可以采用液晶显示器(liquid crystal display，lcd)或有机发光二极管oled(organic light-emitting diode)等形式来配置显示面板1041。
[0219]
处理器1080用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器1080读取数据存储程序或文件等，从而在该计算机设备1000上运行数据存储程序，在显示单元1040上显示对应的界面。处理器1080可以包括一个或多个通用处理器，还可包括一个或多个dsp(digital signal processor，数字信号处理器)，用于执行相关操作，以实现本技术实施例所提供的技术方案。
[0220]
存储器1020一般包括内存和外存，内存可以为随机存储器(ram)，只读存储器(rom)，以及高速缓存(cache)等。外存可以为硬盘、光盘、usb盘、软盘或磁带机等。存储器1020用于存储计算机程序和其他数据，该计算机程序包括各客户端对应的应用程序等，其他数据可包括操作系统或应用程序被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据。本技术实施例中程序指令存储在存储器1020中，处理器1080执行存储器1020中的程序指令，实现前文图论述的任意的一种方法。
[0221]
上述显示单元1040用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与计算机设备1000的用户设置以及功能控制有关的信号输入等。具体地，本技术实施例中，该显示单元1040可以包括显示面板1041。显示面板1041例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板1041上或在显示面板1041的操作)，并根据预先设定的程式驱动相应的连接装置。
[0222]
在一种可能的实施例中，显示面板1041可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测玩家的触摸方位，并检测触摸操作带来的信号，将信号传送给
触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。
[0223]
其中，显示面板1041可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元1040，在一些实施例中，计算机设备1000还可以包括输入单元1030，输入单元1030可以包括图像输入设备1031和其他输入设备1032，其中其他输入设备可以但不限于包括物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0224]
除以上之外，计算机设备1000还可以包括用于给其他模块供电的电源1090、音频电路1060、近场通信模块1070和rf电路1010。计算机设备1000还可以包括一个或多个传感器1050，例如加速度传感器、光传感器、压力传感器等。音频电路1060具体包括扬声器1061和麦克风1062等，例如计算机设备1000可以通过麦克风1062采集用户的声音，进行相应的操作等。
[0225]
作为一种实施例，处理器1080的数量可以是一个或多个，处理器1080和存储器1020可以是耦合设置，也可以是相对独立设置。
[0226]
作为一种实施例，图10中的处理器1080可以用于实现如图8中的获取模块801和处理模块802的功能，也可以用于实现如图9中的获取模块901和处理模块902的功能。
[0227]
作为一种实施例，图10中的处理器1080可以用于实现前文论述的服务器或终端设备对应的功能。
[0228]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0229]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，例如，通过计算机程序产品体现，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0230]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
[0231]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。