发票查验方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种发票查验方法及系统。


背景技术：

2.目前在财务报销时，针对发票例如增值税发票常常需要将发票上每个要素手工填写到报销系统或者电子制表中，然后将票据通过线下传递进行归档，在此填写的过程中不仅耗费大量时间而且常常会出现某个字符或者数字出现错误，后续复核人员也需要针对发票和经办人员填写的信息进行一一核对，传递归档的过程中也常常出现票据丢失情况，经常给双方人员带来各种困扰和大量工作。
3.通过手工录入发票中每个要素信息，并将真实票据手工粘贴，线下进行传递审核。不但工作量大、效率低，更容易出现录入错误及纸质件丢失，给客户一种不好的体验感。


技术实现要素：

4.本发明提供的发票查验方法及系统，用于解决现有技术中存在的上述问题，基于图像识别技术来针对发票图像进行识别，将得到的发票识别结果中的发票要素，通过调用发票验真接口，对发票识别结果进行验真查询，解决了手工录入的工作量同时又能够实现票据的数字化管理，增加客户的体验度。
5.本发明提供的一种发票查验方法，包括：
6.基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
7.在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息。
8.根据本发明提供的一种发票查验方法，所述在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息，包括：
9.将所述发票识别结果中的发票要素作为查询数据，调用所述发票验真接口，并启动发票验真服务对所述发票识别结果中的发票要素进行真伪查验，以获取查验结果；
10.若所述查验结果为真，则获取所述发票信息。
11.根据本发明提供的一种发票查验方法，所述若所述查验结果为真，则获取所述发票信息，包括：
12.若所述查验结果为真，则将所述发票验真服务返回的第一发票信息与所述发票识别结果中的第二发票信息进行比对，获取比对结果；
13.若所述第一发票信息与所述第二发票信息不一致，则根据所述第一发票信息获取所述发票信息；
14.若所述第一发票信息与所述第二发票信息一致，则根据所述第一发票信息或者所述第二发票信息获取所述发票信息。
15.根据本发明提供的一种发票查验方法，所述方法，还包括：
16.统计所述第一发票信息与所述第二发票信息不一致的次数，并在所述次数达到预设阈值时，更新所述预置图像识别模型；
17.其中，所述预置图像识别模型是通过将多个历史发票图像输入至预设光学字符识别ocr模型进行训练后得到的。
18.根据本发明提供的一种发票查验方法，所述发票信息至少包括：
19.所述发票要素、发票类型、销售方名称、销售方纳税人识别号、销售方联系方式、销售方开户行、购方名称、购方纳税人识别号、购方联系方式、购方开户行、发票校验码、发票机器码、是否作废、税额合计、价格合计、价税合计、数量合计、更新时间、税局查验次数以及备注信息；
20.所述发票要素至少包括：校验码、发票代码、发票号码、开票日期以及不含税金额。
21.根据本发明提供的一种发票查验方法，所述发票识别结果为json格式的结构化信息数据。
22.根据本发明提供的一种发票查验方法，所述方法，还包括：
23.存储查验结果为真的发票图像。
24.本发明还提供一种发票查验系统，包括：数据获取模块以及真伪查验模块；
25.所述数据获取模块，用于基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
26.所述真伪查验模块，用于在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息。
27.本发明还提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现如上述任一种所述发票查验方法。
28.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述发票查验方法。
29.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述发票查验方法。
30.本发明提供的发票查验方法及系统，基于图像识别技术来针对发票图像进行识别，将得到的发票识别结果中的发票要素，通过调用发票验真接口，对发票识别结果进行验真查询，解决了手工录入的工作量同时又能够实现票据的数字化管理，增加客户的体验度。
附图说明
31.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是本发明提供的发票查验方法的流程示意图；
33.图2是本发明提供的发票查验系统的结构示意图；
34.图3是本发明提供的电子设备的实体结构示意图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.图1是本发明提供的发票查验方法的流程示意图，如图1所示，方法包括：
37.步骤100、基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
38.步骤200、在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对发票识别结果中的发票要素进行真伪查验，以获取发票信息。
39.需要说明的是，上述方法的执行主体可以是计算机设备。
40.可选地，本发明提供的发票查验方法，可以适用于对增值税发票的真伪查验，通过用户的终端app应用对增值税发票进行拍照，利用光学字符识别(optical character recognition，ocr)技术来针对增值税发票图像进行识别，将识别出来的发票识别结果，通过调用发票验真api接口，对识别出来的发票识别结果进行验真查询，验真主要有两方面的用途：一、针对识别出来的发票内容的准确度进行校验，二、针对增值税发票的真实性进行校验，以上校验通过后，终端app应用将增值税发票图像进行保存，便于后续审核使用。
41.ocr技术是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。
42.在一实施例中，用户的终端可以为移动终端，如手机、平板电脑、车载终端以及手表等；或者也可以为非移动终端，如电脑等。
43.在步骤100中，可以通过用户终端app应用(例如手机app财务报销应用)对增值税发票进行拍照，得到发票图像，并将发票图像传递后台应用程序，后台应用程序通过调用预置图像识别模型对发票图像进行识别，得到发票识别结果。
44.在一实施例中，从终端获取到的原始发票图像，可能存在模糊、损坏等各种影响识别的问题。鉴于此，本发明在通过预置图像识别模型进行发票图像识别获取发票识别结果之前，先通过对原始发票图像进行初步分析。
45.例如，对原始发票图像的清晰度、倾斜角度进行分析，以便筛选出清晰的图像进行后续的发票图像识别。其中，清晰度是指图像层次对景物质点的分辨率或细微层次质感的精细程度；倾斜角度是指可以从不同方向观察终端app应用页面上所有内容的角度。当且仅当所述原始发票图像的清晰度、倾斜角度均满足对应的预设条件时，对所述发票图像进行预处理，获取待识别的发票图像，以提高所获取的待识别的发票图像的质量。
46.在一实施例中，若原始发票图像的清晰度大于或等于第一预设阈值且倾斜角度小于或等于第二预设阈值，判定原始发票图像满足预设条件，对原始发票图像进行预处理。
47.在一实施例中，预先创建数据库表结果，用于保存得到的发票识别结果以及后续对发票识别结果的真伪查验后的查验结果。
48.在一实施例中，发票识别结果可以具体包括发票信息，发票信息中包括发票要素、发票类型、销售方名称、销售方纳税人识别号、销售方联系方式、销售方开户行、购方名称、
购方纳税人识别号、购方联系方式、购方开户行、发票校验码、发票机器码、是否作废、税额合计、价格合计、价税合计、数量合计、更新时间、税局查验次数以及备注信息。
49.在步骤200中，当确定发票识别结果中的发票要素均准确无误的情况下，调用发票验证接口对发票识别结果进行真伪查验。
50.在一个实施例中，将发票识别结果中的发票要素存储在预先创建的数据库表中，同时将发票识别结果中的发票要素返回app应用页面。
51.在一个实施例中，发票要素至少包括校验码、发票代码、发票号码、开票日期以及不含税金额。
52.在一个实施例中，校验码可以只输出后6位。
53.在一个实施例中，在确认校验码后6位、发票代码、发票号码、开票日期以及不含税金额与所述发票图像中的发票要素一致，通过点击终端app应用页面设置的“验真”按钮控件，将上述发票要素发送到系统后台服务，系统后台服务调用发票验真接口(如发票验真应用程序接口(application programming interface，api))，对上述发票识别结果进行真伪查验。
54.本发明提供的发票查验方法，基于图像识别技术来针对发票图像进行识别，将得到的发票识别结果中的发票要素，通过调用发票验真接口，对发票识别结果进行验真查询，解决了手工录入的工作量同时又能够实现票据的数字化管理，增加客户的体验度。
55.进一步地，在一个实施例中，步骤200可以具体包括：
56.步骤2001、将所述发票识别结果中的发票要素作为查询数据，调用所述发票验真接口，并启动发票验真服务对所述发票识别结果中的发票要素进行真伪查验，以获取查验结果；
57.步骤2002、若所述查验结果为真，则获取所述发票信息。
58.进一步地，在一个实施例中，所述发票信息至少包括：
59.所述发票要素、发票类型、销售方名称、销售方纳税人识别号、销售方联系方式、销售方开户行、购方名称、购方纳税人识别号、购方联系方式、购方开户行、发票校验码、发票机器码、是否作废、税额合计、价格合计、价税合计、数量合计、更新时间、税局查验次数以及备注信息；
60.所述发票要素至少包括：校验码、发票代码、发票号码、开票日期以及不含税金额。
61.可选地，将发票识别结果中的发票要素作为查询数据，向发票验证接口(如发票验真api)传递参数(包括校验码后6位、发票代码、发票号码、开票日期以及不含税金额)。
62.在一个实施例中，通过向发票验真api的服务端地址发送https、get或post请求，并按照发票验真api接口说明在请求中加入相应请求参数(即上述发票要素)来调用发票验证api。
63.启动发票验真服务对发票识别结果进行真伪查验，若查验结果为真，则返回发票信息(第一发票信息)，发票信息为json格式的结构化信息数据。
64.返回的发票信息至少包括：发票要素、发票类型、销售方名称、销售方纳税人识别号、销售方联系方式、销售方开户行、购方名称、购方纳税人识别号、购方联系方式、购方开户行、发票校验码、发票机器码、是否作废、税额合计、价格合计、价税合计、数量合计、更新时间、税局查验次数以及备注信息。
65.进一步地，在一个实施例中，发票识别结果为json格式的结构化信息数据。
66.本发明提供的发票查验方法，针对发票识别结果中的发票要素调用发票验真api进行发票识别结果验真查验，以保证预置图像识别模型发票识别结果的准确性。
67.进一步地，在一个实施例中，步骤2002，可以具体包括：
68.步骤20021、若所述查验结果为真，则将所述发票验真服务返回的第一发票信息与所述发票识别结果中的第二发票信息进行比对，获取比对结果；
69.步骤20022、若所述第一发票信息与所述第二发票信息不一致，则根据所述第一发票信息获取所述发票信息；
70.步骤20023、若所述第一发票信息与所述第二发票信息一致，则根据所述第一发票信息或者所述第二发票信息获取所述发票信息。
71.可选地，当对发票识别结果进行真伪查验的查验结果为真时，将发票验真服务返回的第一发票信息与发票识别结果中的第二发票信息进行比对，并得到比对结果。
72.若比对结果表明第一发票信息与第二发票信息不一致，则确定预置图像识别模型识别出来的发票识别结果中的发票信息有误，此时，应以发票验真服务返回的第一发票信息为准，将第一发票信息作为最终的发票信息。
73.若比对结果表明第一发票信息与第二发票信息一致，则确定预置图像识别模型识别出来的发票识别结果中的发票信息准确无误，此时，可以以发票验真服务返回的第一发票信息为准，也可以以预置图像识别模型识别出来的第二发票信息为准，将第一发票信息或者第二发票信息作为最终的发票信息。
74.本发明提供的发票查验方法，将纸质发票进行拍照后，通过预置图像识别模型将发票中的发票要素进行识别后，验证发票识别结果的真实性和业务发生的真实性，实现票据的线上化管理。
75.进一步地，在一个实施例中，所述方法，还可以具体包括：
76.统计所述第一发票信息与所述第二发票信息不一致的次数，并在所述次数达到预设阈值时，更新所述预置图像识别模型；
77.其中，所述预置图像识别模型是通过将多个历史发票图像输入至预设光学字符识别ocr模型进行训练，以获取所述预置图像识别模型后得到的。
78.可选地，通过统计第一发票信息与第二发票信息不一致的次数，并在第一发票信息与第二发票信息不一致的次数达到预设阈值时，更新预置图像识别模型。
79.在一个实施例中，可以通过将第一发票信息与第二发票信息不一致的数据记录下来，用于后续更新调整预置图像识别模型。
80.在一个实施例中，获取所述预置图像识别模型，可以具体包括：
81.将多个历史发票图像输入至预设光学字符识别ocr模型进行训练，以获取所述预置图像识别模型。
82.ocr模型为将目标检测模型yolo4和文本识别模型crnn结合得到的，yolo4模型用于对发票图像进行文本检测，crnn模型由于对yolo4模型的文本检测结果进行文本识别。
83.在一个实施例中，在获取发票图像之后，还可以判断其尺寸是否为目标尺寸(例如是320
×
416)，若获取的纸质发票图像的尺寸不为目标尺寸，则将发票图像的尺寸调整为目标尺寸，得到第一图像，然后通过霍夫直线检测方法对第一图像进行直线检测，得到第一图
像的倾斜角度，根据该倾斜角度对第一图像进行矫正，得到第二图像，通过ocr模型对第二图像进行全票面文本识别。
84.具体的，通过yolo4模型对第二图像进行文本检测，将文本检测结果输入crnn模型，通过crnn模型基于该文本检测结果进行文本识别，得到文本识别结果。
85.通过yolo4模型进行对第二图像进行文本检测时，首先对第二图像进行通道分离，得到320
×
416
×
3的第三图像，将第三图像首先经过dbl(代表卷积层、标准化层、激活函数层的组合)、残差连接单元res1、res2、res3模块，得到第一输出数据，将第一输出数据经过res4、dbl5、dbl、卷积层conv得到第一特征图；将第一输出数据和第二输出数据(第一输出数据经过res4、dbl5得到的输出数据)经过dbl、上采样之后输出的数据进行拼接，得到第一拼接数据，将第一拼接数据经过dbl5、dbl、conv得到第二特征图；以及将第二图像数据与第一拼接数据经过dbl5、dbl、上采样进行拼接，得到第二拼接数据，将第二拼接数据经过dbl5、dbl、conv得到第三特征图，从第一特征图、第二特征图和第三特征图中筛选出最佳的物体预选框，得到每个字体在图像中的位置，得到图像上各个字体的预选框后，将处于一行的预选框合并得到文本行，实现对第二图像的文本检测。将文本检测结果输入crnn模型进行文本识别，得到文本识别结果。
86.可以直接将通过ocr模型输出的文本识别结果对应的文本信息直接导出，实现对纸质发票的信息提取，从而得到发票识别结果。
87.在一个实施例中，还可以根据发票识别结果判断发票图像中的票面信息是否完整，具体的，确定发票识别结果中是否包含所有发票信息，例如是否包含校验码、发票代码、发票号码、开票日期、不含税金额、发票类型、销售方名称、销售方纳税人识别号、销售方联系方式、销售方开户行、购方名称、购方纳税人识别号、购方联系方式、购方开户行、发票校验码、发票机器码、是否作废、税额合计、价格合计、价税合计、数量合计、更新时间、税局查验次数以及备注信息等票面上存在的字段。若包含上述所有字段对应的文本信息，则表明发票图像中的票面信息完整(此时，纸质发票不存在破损，或者说纸质发票破损的地方为空白区域，不影响发票信息的提取)，直接导出发票识别结果。
88.本发明提供的发票查验方法，基于图像识别技术，更具体的基于ocr识别技术来针对发票图像进行识别，将得到的发票识别结果中的发票要素，通过调用发票验真接口，对发票识别结果进行验真查询，解决了手工录入的工作量同时又能够实现票据的数字化管理，增加客户的体验度。
89.进一步地，在一个实施例中，所述方法，还可以具体包括：
90.存储查验结果为真的发票图像。
91.可选地，将查验结果为真的发票图像进行存储。
92.在一个实施例中，针对查验结果为真的发票图像，为了事后审计，将发票图像上传到文件服务器上，永久保存，进行统一管理，便于后续核查及调阅使用。
93.需要说明的是，本发明提供的发票查验方法，可以应用于客户终端，也可以应用于业务终端。
94.当应用于客户终端时，客户能够简单便捷的通过手机app应用实现整个报销流程，无需线下见面，即可实现资金到账，同时减少大量数据录入和纸张传递工作，节约时间。
95.当应用于业务终端时，由于针对发票信息进行了识别和校验，业务审核人员无需
在花费更多的时间审核各个数据项，加快了业务流程的审批和传递。
96.本发明提供的发票查验方法，将发票图像内容进行存储(例如存储在文件服务器上)，业务和审计人员可以随时调取发票图像，无需花更多的时间和人力去翻阅原始纸质。
97.下面对本发明提供的发票查验系统进行描述，下文描述的发票查验系统与上文描述的发票查验方法可相互对应参照。
98.图2是本发明提供的发票查验系统的结构示意图，如图2所示，包括：
99.数据获取模块210以及真伪查验模块211；
100.所述数据获取模块210，用于基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
101.所述真伪查验模块211，用于在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息。
102.本发明提供的发票查验系统，基于图像识别技术来针对发票图像进行识别，将得到的发票识别结果中的发票要素，通过调用发票验真接口，对发票识别结果进行验真查询，解决了手工录入的工作量同时又能够实现票据的数字化管理，增加客户的体验度。
103.图3是本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communication interface)311、存储器(memory)312和总线(bus)313，其中，处理器310，通信接口311，存储器312通过总线313完成相互间的通信。处理器310可以调用存储器312中的逻辑指令，以执行如下方法：
104.基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
105.在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息。
106.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
107.进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的发票查验方法，例如包括：
108.基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
109.在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息。
110.另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的发票查验方法，例如包括：
111.基于预置图像识别模型对发票图像进行识别，获取发票识别结果；
112.在确定发票识别结果中的发票要素与发票图像中的发票要素一致的情况下，调用发票验真接口对所述发票识别结果中的发票要素进行真伪查验，以获取发票信息。
113.以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
114.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。
115.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。