用于提供增强现实翻译界面的经机器学习文本对齐预测的制作方法

摘要: 本公开总体上涉及文本对齐预测。更特别地,本公开涉及用于确定文本定位以生成经增强图像的文本对齐预测。背景技术:1、遍历具有用户的非母语的文本的环境可能是困难的。翻...
用于提供增强现实翻译界面的经机器学习文本对齐预测的制作方法

本公开总体上涉及文本对齐预测。更特别地,本公开涉及用于确定文本定位以生成经增强图像的文本对齐预测。

背景技术:

1、遍历具有用户的非母语的文本的环境可能是困难的。翻译可以通过用用户可理解的语言提供文本来弥合一定差距。然而,仅凭翻译可能无法提供全貌,因为如何提供信息可以提供进一步见解。文本的制表、定位和对齐可以提供关于文本的不同部分如何彼此相关的详细信息。

技术实现思路

1、本公开的实施例的方面和优点将部分地在以下描述中阐述,或者可以从描述中了解,或者可以通过实施例的实践来了解。

2、本公开的一个示例方面涉及一种用于文本对齐分类的计算系统。所述系统可以包括:一个或多个处理器,以及一个或多个非暂时性计算机可读介质,所述一个或多个非暂时性计算机可读介质共同存储指令,所述指令在由一个或多个处理器执行时使计算系统进行操作。所述操作可以包括获得包括文本的图像。文本可以是用第一语言的。所述操作可以包括获得与从第一语言到第二语言的翻译相关联的文本翻译请求。所述操作可以包括处理图像以生成图像表示,以及利用段落检测模型来处理图像以生成一个或多个段落边界框。一个或多个段落边界框可以描述一个或多个段落在图像内的定位。所述操作可以包括利用经机器学习对齐分类模型来处理图像表示和一个或多个段落边界框以生成与一个或多个段落相关联的一个或多个对齐分类。一个或多个对齐分类可以描述一个或多个段落的经预测文本对齐。所述操作可以包括获得经翻译文本。在一些实现方式中,经翻译文本可以描述用第二语言的文本。所述操作可以包括基于图像、一个或多个对齐分类和经翻译文本来生成经增强图像。经增强图像可以包括所述图像,而文本被替换为具有基于一个或多个对齐分类确定的文本对齐的经翻译文本。

3、在一些实现方式中,利用段落检测模型来处理图像以生成一个或多个段落边界框可以包括通过利用段落检测模型来处理图像表示而生成多个段落边界框。多个经预测段落定位可以与图像内的多个不同段落相关联。利用经机器学习对齐分类模型来处理图像表示和一个或多个段落边界框可以包括通过利用经机器学习对齐分类模型来处理图像表示和多个段落边界框而生成与多个不同段落相关联的多个对齐分类。在一些实现方式中,基于图像、一个或多个对齐分类和经翻译文本来生成经增强图像可以包括基于多个段落边界框和多个对齐分类来确定多个特征锚点,以及基于多个特征锚点和多个对齐分类来渲染经翻译文本。多个特征锚点可以描述图像内要与用于渲染特定段落的定位相关联的图像特征。所述操作可以包括获得第二图像,确定第二图像包括图像特征,以及基于多个特征锚点、经翻译文本和多个对齐分类来生成第二经增强图像。第二经增强图像可以包括第二图像,而第一语言的文本被替换为第二语言的经翻译文本。

4、在一些实现方式中,利用经机器学习对齐分类模型来处理图像表示和一个或多个段落边界框以生成与一个或多个段落相关联的一个或多个对齐分类可以包括基于一个或多个段落边界框来对图像表示的视觉特征进行感兴趣区域池化以生成一个或多个经池化视觉嵌入,利用卷积块来处理一个或多个经池化视觉嵌入以预测一个或多个段落的形状特征,基于一个或多个段落边界框和形状特征来生成一个或多个框定位嵌入,以及处理一个或多个经池化视觉嵌入和一个或多个框定位嵌入以生成一个或多个对齐分类。一个或多个对齐分类可以包括右对齐、左对齐、两端对齐、顶部对齐、底部对齐或居中对齐中的至少一个。

5、在一些实现方式中,经机器学习对齐分类模型可能已经在包括多个样例图像表示、多个基准真实边界框和多个基准真实对齐标签的训练数据集上训练。多个样例图像表示可以与多个训练图像相关联。多个训练图像中的每一个可以包括相应文本。多个训练图像可以包括多种不同语言的文本。在一些实现方式中,多个样例图像表示可以与多个训练图像相关联。多个训练图像中的每一个可以包括相应文本。多个训练图像可以包括多种不同对齐的文本。在一些实现方式中,多种不同对齐可以包括左对齐、右对齐和两端对齐。

6、本公开的另一个示例方面涉及一种用于增强现实翻译界面的计算机实现的方法。所述方法可以包括由包括一个或多个处理器的计算系统从用户计算装置的一个或多个图像传感器获得描述图像的图像数据。图像可以包括用第一语言的文本。所述方法可以包括由计算系统获得与从第一语言到第二语言的翻译相关联的文本翻译请求。所述方法可以包括由计算系统利用段落检测模型来处理图像以生成一个或多个段落边界框。一个或多个段落边界框可以描述一个或多个段落在图像内的定位。所述方法可以包括由计算系统利用经机器学习对齐分类模型来处理图像数据和一个或多个段落边界框以生成与一个或多个段落相关联的一个或多个段落定位预测和一个或多个对齐分类。一个或多个对齐分类可以描述一个或多个段落的经预测文本对齐。所述方法可以包括由计算系统获得经翻译文本。经翻译文本可以描述用第二语言的文本。所述方法可以包括由计算系统基于图像、一个或多个段落位置预测、一个或多个对齐分类和经翻译文本来生成经增强图像。经增强图像可以包括所述图像,而文本被替换为具有基于一个或多个对齐分类确定的文本对齐和基于一个或多个段落定位预测的特定文本定位的经翻译文本。

7、在一些实现方式中,所述方法可以包括由计算系统基于一个或多个段落位置预测和一个或多个对齐分类来确定一个或多个特征锚点。图像数据可以包括图像的经压缩版本。在一些实现方式中,由计算系统获得经翻译文本可以包括由计算系统利用光学字符辨识模型来处理图像以生成描述用第一语言的文本的文本数据,以及由计算系统利用翻译模型来处理文本数据以生成经翻译文本。由计算系统利用翻译模型来处理文本数据以生成经翻译文本可以包括由计算系统处理文本数据以确定文本是用第一语言的,以及响应于确定文本是用第一语言的,由计算系统获得翻译模型。在一些实现方式中,由计算系统获得翻译模型可以包括由计算系统确定特定用户的语言偏好,以及由计算系统基于从第一语言到第二语言的翻译请求来从翻译模型数据库获得翻译模型。语言偏好可以包括第二语言。

8、本公开的另一个示例方面涉及一个或多个非暂时性计算机可读介质,所述一个或多个非暂时性计算机可读介质共同存储指令,所述指令在由一个或多个计算装置执行时使所述一个或多个计算装置进行操作。所述操作可以包括获得训练数据。训练数据可以包括样例图像表示、基准真实边界框和基准真实对齐标签。样例图像表示可以描述特定图像。基准真实边界框可以描述段落在特定图像内的基准真实定位。在一些实现方式中,基准真实对齐标签可以描述段落在特定图像内的基准真实文本对齐。所述操作可以包括利用对齐分类模型来处理样例图像表示和基准真实边界框以生成经预测对齐分类。在一些实现方式中,经预测对齐分类可以描述段落的经预测对齐。所述操作可以包括评估损失函数,所述损失函数评估经预测对齐分类与基准真实对齐标签之间的差异,以及至少部分地基于损失函数来调整对齐分类模型的一个或多个参数。

9、在一些实现方式中,所述操作可以包括利用段落检测模型来处理图像表示以生成经预测段落边界框。经预测段落边界框可以描述段落的经预测定位。所述操作可以包括评估第二损失函数,所述第二损失函数评估经预测段落边界框与基准真实边界框之间的差异,以及至少部分地基于第二损失函数来调整对齐分类模型的一个或多个第二参数。基准真实边界框和基准真实对齐标签可能已经基于与特定图像相关联的用户输入来生成。在一些实现方式中,损失函数可以包括交叉熵损失。

10、本公开的其他方面涉及各种系统、设备、非暂时性计算机可读介质、用户界面和电子装置。

11、参考以下描述和所附权利要求将更好地理解本公开的各种实施例的这些及其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出本公开的示例实施例,并且连同描述一起用于解释相关原理。