订单截图的检测方法、装置、检测模型的训练方法和物流请求的处理方法与流程

本发明涉及计算机，尤其涉及一种订单截图的检测方法、装置、检测模型的训练方法和物流请求的处理方法。

背景技术：

1、当前物流电商平台在向散单用户提供“退货寄件优惠”等基于订单截图的服务时，存在用户使用编辑型伪造或ai伪造的订单截图骗取优惠的现象。现有物流电商平台的订单截图检测方法，存在以下问题：基于cnn/vit（convolutional neural network/visiontransformer，卷积神经网络/视觉变换器）的单一图像真伪二分类方案，忽略了截图中的文字信息、版面布局细节等核心特征，难以识别编辑型伪造截图；基于ocr （opticalcharacter recognition，光学字符识别）关键字段比对及模板一致性校验的方案，存在强模板依赖性缺陷，难以识别ai伪造订单截图；现有方案难以兼顾精度与识别效率，数据标注成本高、泛化能力弱。

技术实现思路

1、有鉴于此，本发明实施例提供一种订单截图的检测方法、装置、检测模型的训练方法和物流请求的处理方法，能够降低检测成本和数据、模板依赖，提高检测效率和检测精度。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种订单截图的检测方法，包括：

3、识别订单截图中的文本内容和文本内容的位置信息；

4、根据订单截图、文本内容和位置信息，确定订单截图的综合判定结果；

5、根据位置信息，确定订单截图的版式判定结果；

6、根据综合判定结果和版式判定结果，判断订单截图的真伪。

7、可选地，根据订单截图、文本内容和位置信息，确定订单截图的综合判定结果，包括：

8、提取订单截图的图像特征，得到图像特征编码；

9、将文本内容切分为多个词元，并将词元映射为文本词元编码；

10、将文本内容的位置信息映射为空间位置编码；

11、融合图像特征编码、文本词元编码和空间位置编码，得到融合特征表示；

12、根据融合特征表示，确定订单截图的综合判定结果。

13、可选地，根据融合特征表示，确定订单截图的综合判定结果，包括：

14、从融合特征表示中，提取全局特征向量和局部特征向量；

15、根据全局特征向量，得到订单截图被篡改的全局概率；

16、根据局部特征向量，得到订单截图中的文本内容的每个词元被篡改的独立概率；

17、根据全局概率和独立概率，确定订单截图的综合判定结果。

18、可选地，根据位置信息，确定订单截图的版式判定结果，包括：

19、根据位置信息，计算多个文本内容的位置之间的几何关系参数；

20、对几何关系参数进行编码，得到版式特征向量；

21、根据版式特征向量，确定订单截图的版式判定结果。

22、第二方面，本发明实施例提供了一种订单截图的检测模型的训练方法，订单截图的检测模型包括第一分支神经网络、第二分支神经网络，训练方法包括：

23、识别标注数据集中每个订单截图中的文本内容和文本内容的位置信息；

24、将订单截图、文本内容和位置信息输入第一分支神经网络，得到综合判定向量；

25、将位置信息输入第二分支神经网络，得到版式判定向量；

26、根据综合判定向量、版式判定向量和标注数据集，通过反向传播确定第一分支神经网络、第二分支神经网络的参数，并将确定参数的第一分支神经网络、第二分支神经网络作为教师模型；

27、对教师模型进行蒸馏，得到检测模型。

28、可选地，对教师模型进行蒸馏，得到检测模型，包括：

29、将标注数据集输入教师模型，获得标注数据集的中间特征，作为软标签；

30、将软标签与标注数据集中的标签进行融合，得到混合标注数据集；

31、将混合标注数据集输入学生模型进行训练，得到检测模型。

32、第三方面，本发明实施例提供了一种物流请求的处理方法，包括：

33、从接收的物流请求中解析出对应的订单截图；

34、采用第一方面中任一的方法确定订单截图的检测结果；或者调用第二方面中任一的训练方法得到的检测模型确定订单截图的检测结果；

35、响应于检测结果指示订单截图为真，向用户提供与物流请求对应的物流服务；

36、响应于检测结果指示订单截图为假，拦截物流请求。

37、第四方面，本发明实施例提供了一种订单截图的检测装置，包括：

38、视觉识别模块，用于识别订单截图中的文本内容和文本内容的位置信息；

39、综合判定模块，用于根据订单截图、文本内容和位置信息，确定订单截图的综合判定结果；

40、版式判定模块，用于根据位置信息，确定订单截图的版式判定结果；

41、融合校准模块，用于根据综合判定结果和版式判定结果，判断订单截图的真伪。

42、第五方面，本发明实施例提供了一种电子设备，包括：

43、一个或多个处理器；

44、存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一实施例的方法。

45、第六方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任一实施例的方法。

46、第七方面，本发明实施例提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一实施例的方法。

47、上述发明中的一个实施例具有如下优点或有益效果：通过识别订单截图中的文本内容和文本内容的位置信息，获得截图中关键文字细节特征；根据订单截图的整体图像特征以及文本内容和位置信息的细节特征，确定订单截图的综合判定结果；对于几何版式，通过位置信息确定的版式判定结果，避免对不同电商平台界面模板的依赖。结合上述综合判定结果和版式判定结果，获得订单截图的真伪判定结果，以兼顾精度与检测效率。因此，通过上述实施例的订单截图的检测方法、装置、检测模型的训练方法和物流请求的处理方法，可以降低检测成本和数据、模板依赖，提高检测效率和检测精度。

48、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

1.一种订单截图的检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述订单截图、文本内容和位置信息，确定所述订单截图的综合判定结果，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述融合特征表示，确定所述订单截图的综合判定结果，包括：

4.根据权利要求1所述的方法，其特征在于，根据所述位置信息，确定所述订单截图的版式判定结果，包括：

5.一种订单截图的检测模型的训练方法，其特征在于，订单截图的检测模型包括第一分支神经网络、第二分支神经网络，所述训练方法包括：

6.根据权利要求5所述的方法，其特征在于，对所述教师模型进行蒸馏，得到检测模型，包括：

7.一种物流请求的处理方法，其特征在于，包括：

8.一种订单截图的检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。