文档生成方法、装置以及电子设备与流程

1.本技术涉及电子设备技术领域，更具体地，涉及一种文档生成方法、装置以及电子设备。


背景技术：

2.随着图像识别技术的发展，电子设备可以对所获取的图像中的内容进行识别，然后对所识别的结果进行存储。但是，相关的识别过程还存在不够灵活，且用户体验有待提升的问题。


技术实现要素：

3.鉴于上述问题，本技术提出了一种文档生成方法、装置以及电子设备，以改善上述问题。
4.第一方面，本技术提供了一种文档生成方法，应用于电子设备，所述方法包括：开始获取所述电子设备采集的实时图像；响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容；获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像；基于所述多个关键帧图像得到完整文档图像；根据所述完整文档图像中的文档内容生成对应的可编辑文档。
5.第二方面，本技术提供了一种文档生成装置，运行于电子设备，所述装置包括：图像获取单元，用于开始获取所述电子设备采集的实时图像；图像识别单元，用于响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容；关键帧获取单元，用于获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像；文档图像生成单元，用于基于所述多个关键帧图像得到完整文档图像；文档生成单元，用于根据所述完整文档图像中的文档内容生成对应的可编辑文档。
6.第三方面，本技术提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
7.第四方面，本技术提供的一种存储有处理器可执行的程序代码的计算机可读存储介质，所述计算机可读存储介质包括存储的程序代码，其中，在所述程序代码运行时执行上述的方法。
8.本技术提供的一种文档生成方法、装置以及电子设备，在开始获取电子设备采集的实时图像后，在基于实时图像识别到有未完整采集文档的情况下，可以响应于从获取的
实时图像中识别到未完整采集文档，触发与未完整采集文档的缺失位置对应的移动提示信息，以便提示用户对电子设备进行移动以采集缺失位置对应的文本内容。进而将电子设备在移动起始位置所采集的实时图像，以及从电子设备在移动过程中采集的实时图像中选择的至少一个图像，作为多个关键帧图像，再基于多个关键帧图像得到完整文档图像，根据所述完整文档图像中的文档内容生成对应的可编辑文档。
9.从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。
附图说明
10.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1示出了本技术实施例提出的一种文档生成方法的一种应用场景示意图；
12.图2示出了本技术实施例提出的一种文档生成方法的另一种应用场景示意图；
13.图3示出了本技术实施例提出的一种文档生成方法的流程图；
14.图4示出了本技术实施例提出的一种采集到完整文档的示意图；
15.图5示出了本技术实施例提出的一种未完整采集文档的示意图；
16.图6示出了本技术实施例提出的另一种未完整采集文档的示意图；
17.图7示出了本技术提实施例出的另一种移动提示信息的示意图；
18.图8示出了本技术另一实施例提出的一种文档生成方法的流程图；
19.图9示出了本技术再一实施例提出的一种文档生成方法的流程图；
20.图10示出了本技术再一实施例提出的一种文档生成方法的流程图；
21.图11示出了本技术实施例中多个关键帧图像的示意图；
22.图12示出了本技术实施例中一种拼接得到的完整文档图像的示意图；
23.图13示出了本技术提出的另一种文档生成装置的结构框图；
24.图14示出了本技术的用于执行根据本技术实施例的文档生成方法的电子设备的结构框图；
25.图15是本技术实施例的用于保存或者携带实现根据本技术实施例的文档生成方法的程序代码的存储单元。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.随着图像识别技术的发展，电子设备可以对所获取的图像中的内容进行识别，然
后对所识别的结果进行存储。但是，相关的识别过程还存在不够灵活，且用户体验有待提升的问题。例如，在一些情况下，用户期望操作电子设备进行图像识别的方式生成可编辑文档，但是，电子设备所采集的图像内容中的实物文档可能并不完整，因此，无法较好的进行可编辑文档的生成。
28.因此，发明人提出了本技术中的一种文档生成方法、装置以及电子设备，在开始获取电子设备采集的实时图像后，在基于实时图像识别到有未完整采集文档的情况下，可以响应于从获取的实时图像中识别到未完整采集文档，触发与未完整采集文档的缺失位置对应的移动提示信息，以便提示用户对电子设备进行移动以采集缺失位置对应的文本内容。进而将电子设备在移动起始位置所采集的实时图像，以及从电子设备在移动过程中采集的实时图像中选择的至少一个图像，作为多个关键帧图像，再基于多个关键帧图像得到完整文档图像，根据所述完整文档图像中的文档内容生成对应的可编辑文档。
29.从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。
30.下面先对本技术实施例所涉及的应用场景进行介绍。
31.在本技术实施例中，所提供的文档生成方法可以由电子设备执行。在由电子设备执行的这种方式中，本技术实施例提供的文档生成方法中所有步骤可以均由电子设备的处理器执行。例如，如图1所示，通过电子设备100的图像采集装置(摄像头)可以采集实时图像，并将采集到的实时图像传输给处理器，使得处理器可以执行本技术实施例提供的文档生成方法。
32.再者，本技术实施例提供的文档生成方法也可以由电子设备和服务器协同执行。在由电子设备和服务器协同执行的这种方式中，本技术实施例提供的文档生成方法中的部分步骤由电子设备执行，而另外部分的步骤则由服务器来执行。
33.示例性的，如图2所示，电子设备100可以执行文档生成方法包括的：开始获取所述电子设备采集的实时图像。然后，由服务器200来执行响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容；获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像；基于所述多个关键帧图像得到完整文档图像；根据所述完整文档图像中的文档内容生成对应的可编辑文档。然后服务器200再将所生成的可编辑文档返回给电子设备100。
34.需要说明的是，在由电子设备和服务器协同执行的这种方式中，电子设备和服务器分别执行的步骤不限于上述示例中所介绍的方式，在实际应用中，可以根据实际情况动态的调整电子设备和服务器分别执行的步骤。
35.下面将结合附图具体描述本技术的各实施例。
36.请参阅图3，本技术提供的一种文档生成方法，应用于电子设备，所述方法包括：
37.s110：开始获取所述电子设备采集的实时图像。
38.在本技术实施例中，实时图像为电子设备的摄像头启动后所实时采集到的图像。
可选的，也可以将电子设备采集的实时图像理解为电子设备实时采集的视频内容。其中，在本技术实施例所提供的文档生成方法可以由电子设备中的相机程序执行，也可以由电子设备中所安装的专门用于生成文档的程序执行。在由电子设备中的相机程序执行本技术实施例提供的文档生成方法的情况下，相机程序可以在被切换到文档生成模式后，开始获取所述电子设备采集的实时图像。另外，在由电子设备中所安装的专门用于生成文档的程序执行本技术实施例提供的文档生成方法的情况下，专门用于生成文档的程序可以在启动后调用电子设备的摄像头开始进行图像采集，并开始获取所述电子设备采集的实时图像。
39.s120：响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容。
40.在获取得到电子设备采集的实时图像后，可以对实时图像中的内容进行识别，以识别实时图像中是否有未完整采集文档。其中，未完整采集文档可以理解为所包括的内容并未全部被电子设备一次全部采集到的文档。如图4所示，在实时图像显示区域10中，显示有文档11，其中文档11的全部内容均被电子设备采集到，那么则文档11可以理解为一种完整采集文档。再例如，如图5所示，在图5中的实时图像显示区域10中显示有文档12，但是文档12并未被电子设备完全采集，那么电子设备则会确定识别到未完整采集文档。
41.其中，在本技术实施例中，可以通过预先训练完成的图像分类器来对获取到的实时图像进行识别，以识别是否包括未完整采集文档。其中，图像分类器可以是采用cnn(如resnet、mobilenet等)网络实现，也可采用vit，rnn等网络实现，在本技术实施例中不做限定。其中，训练完成的图像分类器可以识别多种缺失位置的未完整采集文档。其中，缺失位置可以包括缺失文档的左上部分、缺失文档的上侧、缺失文档的右上部分、缺失文档的右侧、缺失文档的右下部分、缺失文档的下侧、缺失文档的左下部分、缺失文档的左侧等。例如，图5中所示的未完整采集文档所缺失的位置则为文档的右侧。再例如，如图6所示，在图6中所示的未完整采集文档13所缺失的位置则为文档的坐侧。
42.在训练图像分类器的过程中，所获取的训练数据中可以包括有对应有9个标签的文档图像。其中，该9个标签包括上述的8中缺失位置的标签以及完整采集文档的标签，在基于该训练数据对初始的分类器进行训练后，所得到的图像分类器可以从图像(例如，前述的实时图像)中识别出是否包括完整采集文档以及未完整采集文档，并且对于识别出的未完整采集文档还可以对应识别出缺失位置。
43.其中，移动提示信息可以为根据所识别出的未完整采集文档的缺失位置生成。例如，若缺失位置为文档的右侧，那么所生成的移动提示信息则为提示用户使电子设备向右侧移动。再例如，若缺失位置为文档的左下部分，那么所生成的移动提示信息则为提示用户使电子设备向左下部分的方向移动。示例性的，如图7所示，在识别到缺失位置为文档右侧的情况下，可以显示图7中所示的内容为“请向右侧移动设备”的移动提示信息。
44.s130：获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像。
45.在本技术实施例中，关键帧图像为用于生成完整文档图像的图像。作为一种示例，电子设备在移动起始位置所采集的实时图像为图像a，电子设备在移动过程中采集的实时
图像包括有图像b、图像c、图像d、图像e以及图像f。可选的，可以将移动过程中采集的图像c、图像d以及图像f作为关键帧图像，那么最后所获取得到的多个关键帧图像包括有图像a、图像c、图像d以及图像f。
46.需要说明的是，电子设备在进行图像采集的过程中，电子设备与目标物之间的距离会影响目标物在电子设备所采集图像中的大小。该大小可以理解为目标物在图像中所占的比例。例如，若目标物与电子设备之间的距离越大，那么该目标物在电子设备所采集的图像中的大小越小，对应的，目标物在所采集图像中占的比例也就越小。基于上述情况，电子设备在识别到采集到未完整采集文档时，若电子设备与该未完整采集文档对应的实物文档之间的距离足够大，那么电子设备通过进行平移，那么则可以直接采集到完整的实物文档。其中，直接采集到完整的实物文档可以理解为实物文档的全部内容可以直接全部显示在电子设备所采集的一帧图像中，例如，如图4所示的文档11的全部内容则是直接全部显示在电子设备所采集的一帧图像中。但是，在电子设备与该未完整采集文档对应的实物文档之间的距离较小的情况下，无论电子设备怎么平移都只能采集文档的某个部分，进而使得电子设备无法一次性完全采集到文档的所有部分。
47.那么作为一种方式，电子设备可以在检测通过平移电子设备也无法使得该未完整采集文档对应的全部内容，直接全部显示在电子设备的图像显示区域中的情况下，获取多个关键帧图像。若检测到检测通过平移电子设备使得该未完整采集文档对应的全部内容，可以直接全部显示在电子设备的图像显示区域中的情况下，则可以直接从电子设备在移动过程中采集的实时图像中获取出完整文档图像。在这种方式下，则可以将获取的包括有完整文档的实时图像作为完整文档图像。从而通过这种方式使得因为需要进行内容采集的实物文档本身版面较大而无法被电子设备一次性采集的情况下，依然能够获取得到包括该实物文档中所有内容的图像，进而解决了待扫描文档(实物文档)的页面较大，电子设备用于显示实时图像的预览界面无法完全覆盖的问题。
48.s140：基于所述多个关键帧图像得到完整文档图像。
49.需要说明的是，在本技术实施例中完整文档图像可以理解为包括未完整采集文档对应的实物文档中全部内容的图像。虽然单个关键帧图像并未包括未完整采集文档对应的实物文档中全部内容，但是，多个关键帧图像中每个关键帧图像则可以包括该实物文档中的部分内容，且每个关键帧所包括的实物文档中的部分内容不同，从而使得多个关键帧图像各自所包括的实物文档中的部分内容综合起来，就可以包括有未完整采集文档对应的实物文档中全部内容。示例性的，若通过实时图像所识别到的未完整采集文档对应的实物文档中全部内容包括文档内容a、文档内容b、文档内容c以及文档内容d。对应的，多个关键帧图像可以包括有关键帧图像p1、关键帧图像p2以及关键帧图像p3。其中，关键帧图像p1可以包括有文档内容a、关键帧图像p2可以包括有文档内容b以及文档内容c，关键帧图像p3可以包括有文档内容d，从该示例可以看出，虽然关键帧图像p1、关键帧图像p2以及关键帧图像p3各自均不包括实物文档中的所有文档内容，然后综合关键帧图像p1、关键帧图像p2以及关键帧图像p3来看则可以包括实物文档中的所有文档内容，因此，基于该关键帧图像p1、关键帧图像p2以及关键帧图像p3则可以得到完整文档图像。
50.s150：根据所述完整文档图像中的文档内容生成对应的可编辑文档。
51.其中，在本技术实施例中，可编辑文档可以理解为可以进行内容编辑的文档。例
如，本技术实施例中的可编辑文档包括doc、xls、ppt等格式的文档。作为一种方式，所述根据所述完整文档图像中的文档内容生成对应的可编辑文档，包括：获取所述完整文档图像中的所包括的文档内容的类型；基于所述所包括的文档内容的类型生成可编辑文档，其中，在所述可编辑文档中，每种文档内容的可编辑类型与所述文档内容的类型对应。例如，电子设备可以通过ocr(optical character recognition)方式对完整文档图像中所包括的内容进行识别，以识别出完整文档图像中的文本、表格或者图片等类型的文档内容，从而使得该类型的文档内容在所生成的可编辑文档中依然为原来在实物文档中的类型。
52.本实施例提供的一种文档生成方法，在开始获取电子设备采集的实时图像后，在基于实时图像识别到有未完整采集文档的情况下，可以响应于从获取的实时图像中识别到未完整采集文档，触发与未完整采集文档的缺失位置对应的移动提示信息，以便提示用户对电子设备进行移动以采集缺失位置对应的文本内容。进而将电子设备在移动起始位置所采集的实时图像，以及从电子设备在移动过程中采集的实时图像中选择的至少一个图像，作为多个关键帧图像，再基于多个关键帧图像得到完整文档图像，根据所述完整文档图像中的文档内容生成对应的可编辑文档。从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。
53.请参阅图8，本技术提供的一种文档生成方法，应用于电子设备，所述方法包括：
54.s210：开始获取所述电子设备采集的实时图像。
55.s220：响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容。
56.s230：将电子设备在移动起始位置所采集的实时图像，作为第一关键帧图像。
57.s240：若电子设备开始移动，每当所述电子设备的移动满足指定条件将当前采集的实时图像作为第二关键帧图像，直到结束采集关键帧图像。作为一种方式，所述指定条件包括：电子设备的移动时长满足指定时长；或者电子设备的移动距离满足指定长度。其中，在本技术实施例中，电子设备可以通过光流法来计算电子设备的移动距离。
58.作为一种方式，所述获取多个关键帧图像之前还包括：将所述未完整采集文档的缺失位置作为第一缺失位置；所述将电子设备在移动起始位置所采集的实时图像，作为第一关键帧图像之后还包括：若从采集的实时图像中识别到未完整采集文档且未完整采集文档的缺失位置为第二缺失位置，则确定结束采集关键帧图像；其中，所述第二缺失位置为与所述第一确实位置相对。
59.如前述实施例介绍，在本技术实施例中文档内容的缺失位置可以为前述所示的8种位置。其中，在电子设备进行平移的过程中，若电子设备所采集的未完整采集文档的缺失位置由某一种缺失位置转变为了相对的缺失位置，那么则说明了电子设备已经对未完整采集文档对应的实物文档中的所有文档内容进行过图像采集。
60.s250：将所述第一关键帧图像和所述第二关键帧图像作为多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在
移动过程中采集的实时图像中选择的至少一个图像。
61.s260：基于所述多个关键帧图像得到完整文档图像。
62.s270：根据所述完整文档图像中的文档内容生成对应的可编辑文档。
63.本实施例提供的一种文档生成方法，从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。并且，在本实施例中，在触发进行移动的提示信息后可以将电子设备在移动开始位置和移动过程中采集的多帧图像作为关键帧，进而使得可以更为准确的拼接得到完整文档图像。再者，在本实施例中，可以基于相对的缺失位置作为移动的终点，进而使得电子设备能够较为准确的确定移动的终点。
64.请参阅图9，本技术提供的一种文档生成方法，应用于电子设备，所述方法包括：
65.s310：开始获取所述电子设备采集的实时图像。
66.s320：响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容。
67.s330：获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像。
68.s340：基于所述多个关键帧图像的采集顺序，对所述多个关键帧图像依次进行拼接，得到完整文档图像。
69.作为一种方式，所述基于所述多个关键帧图像的采集顺序，对所述多个关键帧图像依次进行拼接，得到完整文档图像，包括：获取多个关键帧图像各自对应的特征点。其中，关键帧图像的特征点可以采用surf、sift、orb等特征描述子进行描述。
70.将每两个相邻采集的关键帧图像的特征点进行特征匹配，得到每两个相邻采集的关键帧图像对应的匹配特征点集合。基于每两个相邻采集的关键帧图像对应的匹配特征点集合进行图像配准，以得到每两个相邻采集的关键帧图像对应的变换矩阵。其中，变换矩阵可以用于将对应的两个关键帧图像中的相同特征点转换到同一个坐标系下，进而可以基于每两个相邻采集的关键帧图像对应的变换矩阵，对所述多个关键帧图像依次进行拼接，得到完整文档图像。
71.可选的，在本技术实施例中，基于每两个相邻采集的关键帧图像对应的变换矩阵，对所述多个关键帧图像依次进行拼接，得到完整文档图像，可以包括：从采集顺序第二的关键帧图像开始，依次将每个关键帧图像作为待拼接图像进行当次图像拼接，其中，在当次图像拼接过程中，基于当次图像拼接过程的待拼接图像与基准图像之间的变换矩阵，将待拼接图像拼接到基准图像中，得到当次图像拼接输出的拼接图像，将当次图像拼接输出的拼接图像作为下一次图像拼接的基准图像，以将多个关键帧图像进行拼接得到完整文档图像；其中，首次图像拼接对应的基准图像为采集顺序第一的关键帧图像，每次拼接过程对应的待拼接图像为当次拼接过程进行拼接的关键帧图像，且当次图像拼接过程的待拼接图像与基准图像之间的变换矩阵，为当次图像拼接过程的待拼接图像与采集顺序相邻在前的关
键帧图之间的变换矩阵。
72.示例性的，用于获取完整文档图像的关键帧图像包括有关键帧图像p1、关键帧图像p2以及关键帧图像p3。且其中关键帧图像p1的采集顺序为第一，关键帧图像p1采集顺序为第二，关键帧图像p3的采集顺序为第三。那么在首次图像拼接过程中，可以将关键帧图像p1作为基准图像，将关键帧图像p2作为待拼接图像，并基于关键帧图像p1与关键帧图像p2之间的变换矩阵，将关键帧图像p2拼接到关键帧图像p1中，得到首次图像拼接对应的拼接图像。
73.在第二次图像拼接的过程中，则可以将首次图像拼接对应的拼接图像作为基准图像，将关键帧图像p3作为待拼接图像。对于关键帧图像p3而言，采集顺序相邻在前的关键帧图为关键帧图像p2，那么在第二次图像拼接过程中，则可以基于关键帧图像p2以及关键帧图像p3之间的变换矩阵，将关键帧图像p2拼接到首次图像拼接对应的拼接图像，进而得到完整文档图像。
74.可选的，所述将当次图像拼接输出的拼接图像作为下一次图像拼接的基准图像，包括：获取所述当次图像拼接输出的拼接图像中的目标区域，所述目标区域为当次图像拼接过程的待拼接图像与基准图像均包括的区域；基于所述当次图像拼接过程的待拼接图像对应于所述目标区域的像素，以及当次图像拼接过程的基准图像对应于所述目标区域的像素进行加权平均，得到所述目标区域对应的替换内容；将所述当次图像拼接输出的拼接图像对应于所述目标区域的内容替换为所述替换内容，得到新输出的拼接图像，并将所述新输出的拼接图像作为下一次图像拼接的基准图像。
75.s350：根据所述完整文档图像中的文档内容生成对应的可编辑文档。
76.本实施例提供的一种文档生成方法，从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。并且，在本实施例中，在对多个关键帧图像进行拼接的过程中，可以通过获取关键帧图像的特征点，然后基于图像的特征点来进行特征点匹配的方式，获取得到每两个相邻采集的关键帧图像之间的变换矩阵，从而可以基于每两个相邻采集的关键帧图像之间的变换矩阵来实现关键帧图像之间的拼接，以提升了确定拼接点的准确性，也更大概率的使得最终拼接得到的完整文档图像所表征的文档内容与实物文档的内容是一致的。
77.请参阅图10，本技术提供的一种文档生成方法，应用于电子设备，所述方法包括：
78.s410：开始获取所述电子设备采集的实时图像。
79.s420：响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容。
80.s430：获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像。
81.s440：基于所述多个关键帧图像得到完整文档图像。
82.s450：对所述完整文档图像进行指定格式处理，得到处理后的完整文档图像。
83.s460：根据所述处理后的完整文档图像中的文档内容生成对应的可编辑文档。
84.其中，指定格式处理包括以下处理方式中的至少一项：裁剪文档内容与文档边缘之间的空白区域以及对完整文档图像进行矫正。
85.其中，空白区域为未显示有任何内容的区域。例如，未显示有文本、表格以及者图片等内容的区域。
86.本实施例提供的一种文档生成方法，从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。并且，在本实施例中，在得到完整文档图像后，可以先对所述完整文档图像进行指定格式处理，有利于得到更容易进行识别的完整文档图像。
87.下面再通过一个示例来对本技术实施例涉及的文档生成方法进行说明。示例性的，如图11所示，在采集顺序第一的关键帧图像中包括未完整采集文档，该未完整采集文档包括完整文档中的文档内容a。可以理解的是，在识别到采集顺序第一的关键帧图像所示的未完整采集文档的情况下，电子设备可以触发其中箭头所示方向的移动提示信息，电子设备在移动过程中可以采集到图11中所示的采集顺序第二的关键帧图像，在该采集顺序第二的关键帧图像中，由于电子设备已经沿箭头所示方向移动一定距离，那么则文档内容a则有一部分(a1部分)已经无法被电子设备采集到，进而在采集顺序第二的关键帧图像中所包括的完整文档中的文档内容为文档内容a2和文档内容b。类似的，在采集顺序第三的关键帧图像中所包括的完整文档中的文档内容为文档内容b和文档内容c。那么基于图11中所示的三个关键帧图像进行图像拼接后，所得到的完整文档图像则可以如图12所示。
88.请参阅图13，本技术提供的一种文档生成装置500，运行于电子设备，所述装置500包括：
89.图像获取单元510，用于开始获取所述电子设备采集的实时图像。
90.图像识别单元520，用于响应于从获取的实时图像中识别到未完整采集文档，触发与所述未完整采集文档的缺失位置对应的移动提示信息，所述移动提示信息用于提示用户对所述电子设备进行移动以采集所述缺失位置对应的文本内容。
91.关键帧获取单元530，用于获取多个关键帧图像，所述多个关键帧图像包括电子设备在移动起始位置所采集的实时图像，以及从所述电子设备在移动过程中采集的实时图像中选择的至少一个图像。
92.文档图像生成单元540，用于基于所述多个关键帧图像得到完整文档图像；
93.文档生成单元550，用于根据所述完整文档图像中的文档内容生成对应的可编辑文档。
94.作为一种方式，关键帧获取单元530，具体用于将电子设备在移动起始位置所采集的实时图像，作为第一关键帧图像；若电子设备开始移动，每当所述电子设备的移动满足指定条件将当前采集的实时图像作为第二关键帧图像，直到结束采集关键帧图像；将所述第一关键帧图像和所述第二关键帧图像作为多个关键帧图像。可选的，所述指定条件包括：电子设备的移动时长满足指定时长；或者电子设备的移动距离满足指定长度。
95.作为一种方式，关键帧获取单元530，还用于将所述未完整采集文档的缺失位置作为第一缺失位置。若从采集的实时图像中识别到未完整采集文档且未完整采集文档的缺失位置为第二缺失位置，则确定结束采集关键帧图像；其中，所述第二缺失位置为与所述第一确实位置相对。
96.文档图像生成单元540，具体用于基于所述多个关键帧图像的采集顺序，对所述多个关键帧图像依次进行拼接，得到完整文档图像。可选的，文档图像生成单元540，具体用于获取多个关键帧图像各自对应的特征点；将每两个相邻采集的关键帧图像的特征点进行特征匹配，得到每两个相邻采集的关键帧图像对应的匹配特征点集合；基于每两个相邻采集的关键帧图像对应的匹配特征点集合进行图像配准，以得到每两个相邻采集的关键帧图像对应的变换矩阵；基于每两个相邻采集的关键帧图像对应的变换矩阵，对所述多个关键帧图像依次进行拼接，得到完整文档图像。
97.可选的，文档图像生成单元540，具体用于从采集顺序第二的关键帧图像开始，依次将每个关键帧图像作为待拼接图像进行当次图像拼接，其中，在所述当次图像拼接过程中，基于当次图像拼接过程的待拼接图像与基准图像之间的变换矩阵，将待拼接图像拼接到所述基准图像中，得到当次图像拼接输出的拼接图像，将当次图像拼接输出的拼接图像作为下一次图像拼接的基准图像，以将多个关键帧图像进行拼接得到完整文档图像；其中，首次图像拼接对应的基准图像为采集顺序第一的关键帧图像，每次拼接过程对应的待拼接图像为当次拼接过程进行拼接的关键帧图像，且当次图像拼接过程的待拼接图像与基准图像之间的变换矩阵，为当次图像拼接过程的待拼接图像与采集顺序相邻在前的关键帧图之间的变换矩阵。
98.可选的，文档图像生成单元540，具体用于获取所述当次图像拼接输出的拼接图像中的目标区域，所述目标区域为当次图像拼接过程的待拼接图像与基准图像均包括的区域；基于所述当次图像拼接过程的待拼接图像对应于所述目标区域的像素，以及当次图像拼接过程的基准图像对应于所述目标区域的像素进行加权平均，得到所述目标区域对应的替换内容；将所述当次图像拼接输出的拼接图像对应于所述目标区域的内容替换为所述替换内容，得到新输出的拼接图像，并将所述新输出的拼接图像作为下一次图像拼接的基准图像。
99.文档生成单元550，具体用于对所述完整文档图像进行指定格式处理，得到处理后的完整文档图像；根据所述处理后的完整文档图像中的文档内容生成对应的可编辑文档；其中，指定格式处理包括以下处理方式中的至少一项：裁剪文档内容与文档边缘之间的空白区域以及对完整文档图像进行矫正。
100.文档生成单元550，具体用于获取所述完整文档图像中的所包括的文档内容的类型；基于所述所包括的文档内容的类型生成可编辑文档，其中，在所述可编辑文档中，每种文档内容的可编辑类型与所述文档内容的类型对应。
101.需要说明的是，本技术中装置实施例与前述方法实施例是相互对应的，装置实施例中各个单元的具体实施原理与前述方法实施例中的原理是相似的，装置实施例中的具体内容可以参见方法实施例，而在装置实施例中不再赘述。
102.下面将结合图14对本技术提供的一种电子设备进行说明。
103.请参阅图14，基于上述的文本处理方法、装置，本技术实施例还提供的另一种可以
执行前述文本处理方法的电子设备200。电子设备200包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104以及网络模块106。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
104.其中，处理器102可以包括一个或者多个用于处理数据的核。处理器102利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器102可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
105.存储器104可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
106.所述网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。
107.请参考图15，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
108.计算机可读存储介质1100可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
109.综上所述，本技术提供的一种文档生成方法、装置以及电子设备，在开始获取电子设备采集的实时图像后，在基于实时图像识别到有未完整采集文档的情况下，可以响应于从获取的实时图像中识别到未完整采集文档，触发与未完整采集文档的缺失位置对应的移
动提示信息，以便提示用户对电子设备进行移动以采集缺失位置对应的文本内容。进而将电子设备在移动起始位置所采集的实时图像，以及从电子设备在移动过程中采集的实时图像中选择的至少一个图像，作为多个关键帧图像，再基于多个关键帧图像得到完整文档图像，根据所述完整文档图像中的文档内容生成对应的可编辑文档。
110.从而通过上述方式使得在需要生成可编辑文档的过程中，若电子设备采集的文档为未完整采集文档(例如，文档内容有缺失)的情况下，可以触发对应的提示信息使得电子设备可以对所缺失的部分的文档内容进行采集，进而能够生成完整文档图像，从而提升了基于图像识别的方式生成文档过程中的灵活性和智能化程度，进而也提升了用户体验。
111.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
112.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
113.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
114.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
115.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
116.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征图进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神
和范围。