生成和应用针对图像的对象级关系索引的制作方法

技术特征：
1.一种用于生成和应用关系索引的计算机实现的方法，包括：对于多个图像中的每个图像：从图像源检索图像；使用机器训练模型，来标识在所述图像中描绘的对象集合；使用机器训练模型将与所述对象集合中的每个对象相关联的图像内容映射到至少一个潜在语义向量，每个潜在语义向量对应于与所述对象相关联的属性；标识与每个对象相关联的一个或多个附加属性；以及提供关系索引中的与每个对象相关联的索引条目，所述索引条目包括与所述对象相关联的属性集合，所述属性集合包括至少一个潜在语义向量和与所述对象相关联的一个或多个附加属性，所述关系索引整体包括多个索引条目，所述多个索引条目经由与所述多个索引条目相关联的属性被链接，在与对象检索系统相关联的数据存储库中安装所述关系索引；以及从用户接收指定查询对象的搜索查询，所述用户使用由用户计算设备提供的输入设备提交所述搜索查询；使用所述关系索引，以基于将所述查询对象链接到与所述查询对象相关的至少一个其他对象的至少一个属性来标识所述至少一个其他对象；以及向所述用户计算设备提供搜索结果，所述搜索结果向所述用户通知所述至少一个其他对象。2.一种或多种用于生成关系索引的计算设备，包括：硬件逻辑电路系统，包括：(a)一个或多个硬件处理器，通过执行存储在存储器中的机器可读指令来执行操作，和/或(b)一个或多个其他硬件逻辑单元，使用特定于任务的一组逻辑门来执行操作，所述操作包括：对于多个图像中的每个图像，从图像源检索图像；使用机器训练模型，来标识在所述图像中描绘的对象集合；使用机器训练模型，将与所述对象集合中的每个对象相关联的图像内容映射到至少一个潜在语义向量，每个潜在语义向量对应于与所述对象相关联的属性；标识与每个对象相关联的一个或多个附加属性；以及提供在关系索引中的与每个对象相关联的索引条目，所述索引条目包括与所述对象相关联的属性集合，所述属性集合包括至少一个潜在语义向量和与所述对象相关联的一个或多个附加属性，所述关系索引整体包括多个索引条目，所述多个索引条目经由与所述多个索引条目相关联的属性被链接。3.根据权利要求2所述的一种或多种计算设备，其中所述操作还包括：对于给定图像中的每个给定对象，使用机器训练模型来确定与所述给定对象相关联的品质是否满足规定品质测试。4.根据权利要求2所述的一种或多种计算设备，其中所述操作还包括：过滤所述关系索引以提取与特定环境相关联的对象和关系，以产生特定于环境的关系索引。5.一种计算机可读存储介质，用于存储计算机可读指令，所述计算机可读指令在由一个或多个硬件处理器执行时执行如下方法，所述方法包括：
从用户接收指定查询对象的搜索查询，所述用户使用由用户计算设备提供的输入设备提交所述搜索查询；使用所述关系索引，以基于将所述查询对象链接到与所述查询对象相关的至少一个其他对象的至少一个来标识所述至少一个其他对象，所述关系索引具有多个索引条目，每个索引条目与在图像中出现的对象相关联，以及与对象相关联的每个索引条目包括与所述对象相关联的多个属性，所述多个属性包括提供与所述对象相关联的至少一个潜在语义向量的属性；以及向所述用户计算设备提供搜索结果，所述搜索结果向所述用户通知所述至少一个其他对象。6.根据权利要求5所述的计算机可读存储介质，其中接收所述搜索查询包括：接收用户对图像内的查询对象的选择。7.根据权利要求5所述的计算机可读存储介质，其中所述方法还包括从所述用户接收描述感兴趣关系的输入，并且其中所述使用通过以下方式来查找所述至少一个其他对象：查找相对于所述感兴趣关系与所述查询对象相关的一个或多个对象。8.根据权利要求7所述的计算机可读存储介质，其中所述感兴趣关系是互补性，并且其中作为结果，所述查询对象与所述至少一个其他对象具有互补关系，所述互补关系基于所述查询对象和所述至少一个其他对象中的每个其他对象共同出现在一个或多个图像中的确定。9.根据权利要求5所述的计算机可读存储介质，其中所述方法还包括过滤所述搜索结果以提供与多个类别相关联的多个对象。10.根据权利要求5所述的计算机可读存储介质，其中所述提供包括提供与所述至少一个对象相关联的至少一个图像，所述至少一个图像取自与特定环境相关联的特定于环境的图像的数据存储库，图像提取系统基于比所述特定于环境的图像更全面的图像语料库来生成所述关系索引。11.根据权利要求2所述的一种或多种计算设备，其中标识一个或多个附加属性包括：对于与给定图像相关联的给定对象，标识其中所述给定对象出现的所述给定图像；以及标识其中所述给定图像出现的页面。12.根据权利要求2所述的一种或多种计算设备，其中标识一个或多个附加属性包括：对于与给定图像相关联的给定对象，标识所述给定对象是否与所述给定图像中的一个或多个其他对象相关。13.根据权利要求12所述的一种或多种计算设备，其中标识所述给定对象是否相关包括：确定所述给定对象和另一对象是否与所述给定图像中的相同父对象相关联。14.根据权利要求2所述的一种或多种计算设备，其中标识一个或多个附加属性包括：对于与给定图像相关联的给定对象，标识与所述给定对象相关联的创建时间；以及标识所述给定对象被创建的位置。15.根据权利要求2所述的一种或多种计算设备，其中标识一个或多个附加属性包括：
对于与给定图像相关联的给定对象，标识与所述给定对象相关联的实体。

技术总结
本文描述了一种计算机实现的技术，用于使用机器训练模型来标识图像内的个体对象。该技术然后针对所标识的对象创建关系索引。即，关系索引中的每个索引条目与给定对象相关联，并且每个索引条目包括与给定对象有关的属性集合。一个这样的属性标识与给定对象相关联的至少一个潜在语义向量。每个属性提供一种将给定对象链接到关系索引中的一个或多个其他对象的方法。在该技术的一个应用中，用户可以提交指定查询对象的查询。该技术查阅关系索引以查找与查询对象相关的一个或多个对象。在某些情况下，查询对象和每个其他对象具有互补关系。查询对象和每个其他对象具有互补关系。查询对象和每个其他对象具有互补关系。


技术研发人员：吴琨 沈逸然 胡厚东 S
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2020.03.27
技术公布日：2022/1/13