相关素材获取方法、装置及存储介质与流程

1.本技术涉及素材推荐技术领域，具体而言，涉及一种相关素材获取方法、装置及存储介质。


背景技术：

2.现有的内容推荐技术，是通过识别出素材中的图案、文字，将其转化成数字向量，从而进行相似度计算推荐。但其推荐算法主要是基于user-base和item-base的协同过滤，user-base的协同过滤是发掘用户之间的相似性，item-base的协同过滤是挖掘素材之间的相似性，而无论是item-base还是user-base的推荐都需要使用到大量用户的历史数据，同时在冷启动阶段，协同过滤算法会在用户历史行为的基础上引入知识图谱，从而增加被推荐物品的相关性。
3.上述传统内容推荐技术中存在依赖大量用户的历史数据，无法适用于人员数量有限，并且同一人每次会根据不同的工作内容进行不同检索的场景的问题；以及由于常规图像模型的理解准确率有限，导致其准确率在不同租户数据上并不能很好泛化的问题；以及仅根据模型训练生成的标签来召回而导致召回结果不准确的问题。
4.因此，亟需一种可以为不同租户提供符合其运用场景的相关素材获取方法。


技术实现要素：

5.本发明实施例提供一种相关素材获取方法、装置及存储介质，用以解决传统内容推荐技术中存在依赖大量租户的历史数据，无法适用于人员数量有限，并且同一人每次会根据不同的工作内容进行不同检索的场景的问题；以及由于常规图像模型的理解准确率有限，导致其准确率在不同租户数据上并不能很好泛化的问题；以及仅根据模型训练生成的标签来召回而导致召回结果不准确的问题。
6.本发明实施例的第一方面，提供一种相关素材获取方法，包括：
7.为上传的素材配置第一标签，并根据所述第一标签构建第一特征矩阵；
8.为所述素材配置第二标签，并根据所述第二标签构建第二特征矩阵；
9.分别基于第一特征矩阵和第二特征矩阵计算素材之间的相似度，得到第一计算结果和第二计算结果，对所述第一计算结果和第二计算结果进行加权求和得到最终计算结果；
10.在租户选择素材后，根据租户的id和租户所选择素材的id匹配出对应的相关素材结果。
11.可选地，在第一方面的一种可能实现方式中，所述为所述素材配置第二标签，包括：
12.所述第二标签包括：场景标签、ocr标签、logo标签、内容物体标签；
13.所述场景标签是通过efficientnet生成的；
14.所述ocr标签和logo标签是通过vgg模型进行目标检测，和resnet网络进行目标识
别得到的；
15.所述内容物体标签是通过fastr-cnn模型输出的。
16.可选地，在第一方面的一种可能实现方式中，所述根据所述第二标签构建第二特征矩阵，包括：
17.所述第二特征矩阵的矩阵行数为所有素材的总数，矩阵列数为所有素材产生的所有标签去重后的数量；
18.将素材对应不同标签的置信度分别输入至所述第二特征矩阵中，如果该素材没有对应标签，则该素材在该对应标签下的置信度为零。
19.可选地，在第一方面的一种可能实现方式中，所述分别基于第一特征矩阵和第二特征矩阵计算所述素材之间的相似度，得到第一计算结果和第二计算结果，包括：
20.通过第一特征矩阵计算第一素材和第二素材的相似度，得到第一计算结果，并存储至云端；采用如下公式：
[0021][0022]
其中，分子代表第一素材、第二素材出现在同一标签的次数；分母代表第一惩罚因子，表示第一素材包含的标签总数与第二标签包含的标签总数的乘积开根号。
[0023]
可选地，在第一方面的一种可能实现方式中，所述基于第一特征矩阵和第二特征矩阵分别计算素材之间的相似度，得到第一计算结果和第二计算结果，包括：
[0024]
通过第二特征矩阵计算第一素材和第二素材的相似度，得到第二计算结果，并存储至云端；采用如下公式：
[0025][0026]
其中，分子代表第一素材、第二素材出现在同一标签的相似度分数的乘积，分母代表第二惩罚因子，所述第二惩罚因子用于对置信度低于第一预设阈值的标签进行惩罚。
[0027]
可选地，在第一方面的一种可能实现方式中，所述方法还包括：
[0028]
基于第二预设阈值对所述相关素材结果进行筛选，所述第二预设阈值的大小是根据租户的租户信息决定的。
[0029]
本发明实施例的第二方面，提供一种相关素材获取装置，包括：
[0030]
第一构建模块，用于为上传的素材配置第一标签，并根据所述第一标签构建第一特征矩阵；
[0031]
第二构建模块，用于为所述素材配置第二标签，并根据所述第二标签构建第二特征矩阵；
[0032]
相似度计算模块，用于分别基于第一特征矩阵和第二特征矩阵计算素材之间的相似度，得到第一计算结果和第二计算结果，对所述第一计算结果和第二计算结果进行加权求和得到最终计算结果；
[0033]
匹配模块，用于在租户选择素材后，根据租户的id和租户所选择素材的id匹配出
对应的相关素材结果。
[0034]
可选地，在第二方面的一种可能实现方式中，所述第二构建模块包括：
[0035]
所述第二标签包括：场景标签、ocr标签、logo标签、内容物体标签；
[0036]
所述场景标签是通过efficientnet生成的；
[0037]
所述ocr标签和logo标签是通过vgg模型进行目标检测，和resnet网络进行目标识别得到的；
[0038]
所述内容物体标签是通过fastr-cnn模型输出的。
[0039]
可选地，在第二方面的一种可能实现方式中，所述第二构建模块还包括：
[0040]
所述第二特征矩阵的矩阵行数为所有素材的总数，矩阵列数为所有素材产生的所有标签去重后的数量；
[0041]
将素材对应不同标签的置信度分别输入至所述第二特征矩阵中，如果该素材没有对应标签，则该素材在该对应标签下的置信度为零。
[0042]
本发明实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
[0043]
本发明提供的相关素材获取方法、装置及存储介质，通过为上传的素材配置第一标签，并根据所述第一标签构建第一特征矩阵；为所述素材配置第二标签，并根据所述第二标签构建第二特征矩阵；分别基于第一特征矩阵和第二特征矩阵计算素材之间的相似度，得到第一计算结果和第二计算结果，对所述第一计算结果和第二计算结果进行加权求和得到最终计算结果；在租户选择素材后，根据租户的id和租户所选择素材的id匹配出对应的相关素材结果。实现了为不同租户提供符合其运用场景的相关素材获取方法，从而解决了传统内容推荐技术中存在依赖大量租户的历史数据，无法适用于人员数量有限，并且同一人每次会根据不同的工作内容进行不同检索的场景的问题；以及由于常规图像模型的理解准确率有限，导致其准确率在不同租户数据上并不能很好泛化的问题；以及仅根据模型训练生成的标签来召回而产生召回结果不准确的问题。
附图说明
[0044]
图1为相关素材获取方法的第一种实施方式的流程图；
[0045]
图2为相关素材获取方法的第一种实施方式的框架示意图；
[0046]
图3为离线标签生成框架的示意图；
[0047]
图4为标签相似度计算框架的示意图；
[0048]
图5为相关素材获取装置的第一种实施方式的结构图。
具体实施方式
[0049]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第
四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0051]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0052]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0053]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0054]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b
[0055]
相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0056]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0057]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0058]
本发明提供一种相关素材获取方法，如图1所示其流程图和图2所示其框架示意图，包括：
[0059]
步骤s110、为上传的素材配置第一标签，并根据所述第一标签构建第一特征矩阵。在本步骤中，会将租户上传的所有素材均设置第一标签，第一标签包括通用标签、定制化标签、素材组标签。其中通用标签是租户在上传时需要为素材配置的基本字段，例如：素材的品牌、品类信息，以及素材的基本信息，如素材格式:jpeg、png、pdf等,素材类型：文本、图片、声音、视频、动画等；定制化标签是租户根据自己的工作内容情况，如营销推广中的“618”、“双11”，材料审核如“质检报告”、“调研报告”等信息来配置适用于自己日常工作的标签体系，该标签体系在素材上传时也是租户自己配置选取的；素材组标签是指租户会将自己在工作中认为相关的素材同时放置在一个素材组内，便于在同一工作内容中查找和管理。在将租户上传的所有素材进行对应标签的标注后，会根据所有素材构建一个素材特征矩阵(第一特征矩阵)，该矩阵行数为所有素材的总数，矩阵列数为所有素材产生的所有通用标签，定制化标签，素材组标签去重后的标签数量。如果素材拥有对应的标签，或者在该标签组内，则记为1，如果素材没有对应标签则记为0，如表1所示，图像3中有“pdf”、“618”对应标签，则该对应标签下标注1，没有“审核”、“答复”则在该对应标签下标注0。
[0060]
表1：
[0061]
ꢀ“
pdf”“618”“审核”“答复”图像10101图像20110图像31100
[0062]
步骤s120、为所述素材配置第二标签，并根据所述第二标签构建第二特征矩阵。
[0063]
在步骤s120中，在为上传的所有素材设置第一标签(通用标签、定制化标签、素材组标签)后，为了提升标签的多样性和准确性，还会通过混合模型对素材完成智能标签(第二标签)的标注，即：分别调用各种预训练模型来生成素材的场景标签，ocr标签，logo标签，内容物体标签。其中场景标签是通过efficientnet生成的；ocr标签和logo标签是通过vgg模型进行目标检测，和resnet网络进行目标识别，输出的文字内容会通过a/c自动机做文本匹配得到的；物体内容标签是通过fastr-cnn模型输出的。例如，由nba球星代言的清扬洗发水的营销海报在上传后，对于场景标签，会输出“室内”，“健身房”的标签；对于物体识别标签，会输出球衣，篮球，人物的标签。在标签标注过程中，会对不同的标签设置不同的置信度，例如“室内”标签的置信度为0.86，“健身房”标签的置信度为0.56。所有素材上传都会基于混合模型来生成其对应的标签和分数，并记录在后台。在通过混合模型对上传的素材完成智能标签(第二标签)的标注后，会基于上传的所有素材构建素材特征矩阵(第二特征矩阵)，该矩阵行数为所有素材总数，列数为所有素材产生的所有智能标签(场景标签、ocr标签，logo标签，内容物体标签)去重后的标签数量。并且将素材对应的不同标签的置信度输入至矩阵内，如果没有对应标签则分数为0，如表2所示，图像1在“nba”标签下的置信度为0.86，在“篮球”和“清扬”的置信度分别为0.96和0.36，没有“健身房”标签，所以在“健身房”标签下的置信度为0。
[0064]
表2：
[0065]
ꢀ“
nba”“健身房”“篮球”“清扬”图像10.8600.960.36
[0066]
在上述步骤s110、s120中，主要涉及离线部分，即：1、基于租户上传素材通过离线标签生成框架生成不同维度的离线标签，具体如附图3所示；2、进行素材特征矩阵的构建；3、相似度矩阵的计算和存储，具体如附图4所示。
[0067]
步骤s130、分别基于第一特征矩阵和第二特征矩阵计算素材之间的相似度，得到第一计算结果和第二计算结果，对所述第一计算结果和第二计算结果进行加权求和得到最终计算结果。
[0068]
在该步骤中，会先通过第一特征矩阵计算第一素材和第二素材的相似度，得到第一计算结果；然后通过第二特征矩阵计算第一素材和第二素材的相似度，得到第二计算结果，并将第一计算结果和第二计算结果都存储至云端；最后再对两个计算结果进行加权求和得到最终计算结果。
[0069]
步骤s140、在租户选择素材后，根据租户的id和租户所选择素材的id匹配出对应的相关素材结果。
[0070]
在步骤s140中，在线部分，租户在选择素材后，会自动匹配出与该素材相关的素材，不同租户在选择素材时，会根据不同租户的id和所选择素材对应的id，在云端调用离线的存储结果。
[0071]
在一个实施例中，所述分别基于第一特征矩阵和第二特征矩阵计算所述素材之间的相似度，得到第一计算结果和第二计算结果，包括：
[0072]
通过第一特征矩阵计算第一素材和第二素材的相似度，得到第一计算结果，并存储至云端；采用如下公式：
[0073][0074]
其中，分子代表第一素材、第二素材出现在同一标签的次数；分母代表第一惩罚因子，表示第一素材包含的标签总数与第二标签包含的标签总数的乘积开根号。
[0075]
在本步骤中，在通过通用标签、定制化标签、素材组标签构建的素材特征矩阵计算两个素材的相似度的过程中为了避免一个素材包含太多标签，而导致该素材与其他素材计算得到分数都很高的问题，会对出现多个标签的素材进行惩罚。惩罚力度与该素材出现的标签数量成正比关系，数量越多，惩罚力度越大。另外，为了加快运算，本发明采用直接通过矩阵运算的方式，每次选取一批次数量参与运算，例如在特征矩阵中一次选取2000条，与全部的矩阵进行运算，得到这2000条素材的运算结果。
[0076]
在一个实施例中，所述基于第一特征矩阵和第二特征矩阵分别计算素材之间的相似度，得到第一计算结果和第二计算结果，包括：
[0077]
通过第二特征矩阵计算第一素材和第二素材的相似度，得到第二计算结果，并存储至云端；采用如下公式：
[0078][0079]
其中，分子代表第一素材、第二素材出现在同一标签的相似度分数的乘积，分母代表第二惩罚因子，所述第二惩罚因子用于对置信度低于第一预设阈值的标签进行惩罚。
[0080]
在本步骤中，在通过智能标签构建的素材特征矩阵计算两个素材的相似度的过程中为了避免一个素材包含太多标签，而导致该素材与其他素材计算得到分数都很高的问题，因此需要对出现多个标签的素材进行惩罚。采取的惩罚措施是对置信度低于第一预设阈值的标签进行惩罚，例如设置的threshold阈值为0.7，对于素材a，拥有“洗发水”标签的置信度为0.3、“nba”标签的置信度为0.86，那么“洗发水”标签就要参与惩罚计算。惩罚力度是和该标签的置信度成反比关系，置信度越大，惩罚力度越大，所以采用1减去该标签的置信度，即1-score(j),作为惩罚力度。另外，为了加快运算，本发明采用直接通过矩阵运算的方式，每次选取一批次数量参与运算，例如在特征矩阵中一次选取2000条，与全部的矩阵进行运算，得到这2000条素材的运算结果。
[0081]
在一个实施例中，所述方法还包括：
[0082]
基于第二预设阈值对所述相关素材结果进行筛选，所述第二预设阈值的大小是根据租户的租户信息决定的。
[0083]
在该步骤中，由于不同租户配置标签的习惯不同，导致有的标签配置信息比较详细，有的标签配置信息则比较简单，由此特征矩阵在计算素材的相似度的过程中，会出现在
计算结果上有的会表现相关，有的则会表现不相关的问题。针对上述问题，本发明会为不同租户配置不同阈值进行筛选，通过阈值来决定选择素材相关的前n个展示结果。其中，阈值大小跟租户的信息相关，比如一家食品类的租户，上传的图像是简单的白底图，那么模型在进行判断的时候，任务就比较简单，模型预测正确结果的置信度都比较高，都在0.8，0.9的置信度，此时需要提升阈值，比如提升到0.7，这样模型就会对小于0.7的预测结果施加惩罚；如果是一家快消类的租户，上传的素材多为营销图，那么在这些复杂背景的影响下，模型的预测正确的置信度比较低，可能在0.6，0.7左右，但是这些结果都是对的，此时我们就需要降低阈值，比如把阈值降低到0.5左右，这样只会对置信度小于0.5的标签进行惩罚。
[0084]
另外，本技术中所涉及的第一预设阈值是上述公式中的threshold阈值，改变threshold阈值，公式的计算结果就会发生变化，第一预设阈值的含义是对预测不准确的标签数量进行惩罚。需要注意这里的第一预设阈值和第二预设阈值是有所区别的，第二预设阈值是对返回的相关素材结果进行筛选时所使用的阈值，该阈值是用于控制分数，如果高于阈值分数的结果进行推荐结果的返回，低于阈值分数的结果则不进行返回。
[0085]
本发明提供的相关素材获取方法、装置及存储介质，通过为上传的素材配置第一标签，并根据所述第一标签构建第一特征矩阵；为所述素材配置第二标签，并根据所述第二标签构建第二特征矩阵；分别基于第一特征矩阵和第二特征矩阵计算素材之间的相似度，得到第一计算结果和第二计算结果，对所述第一计算结果和第二计算结果进行加权求和得到最终计算结果；在租户选择素材后，根据租户的id和租户所选择素材的id匹配出对应的相关素材结果。实现了为不同租户提供符合其运用场景的相关素材获取方法，从而解决了传统内容推荐技术中存在依赖大量租户的历史数据，无法适用于人员数量有限，并且同一人每次会根据不同的工作内容进行不同检索的场景的问题；以及由于常规图像模型的理解准确率有限，导致其准确率在不同租户数据上并不能很好泛化的问题；以及仅根据模型训练生成的标签来召回而产生召回结果不准确的问题。
[0086]
技术效果：
[0087]
(1)本发明采用的不是单一的传统推荐方法，而是将推荐算法中提取特征标签的步骤拆解为利用两部分构建特征矩阵，一部分为融合模型框架生成智能标签，采用并行混合模型，同时生成素材的场景标签，logo标签，ocr标签和物体内容标签，采用多模型结合字典库匹配的方式，进一步提升模型侧输出智能标签的多样性和准确性；另一部分利用平台为租户设计定制了通用标签、定制化标签、素材组标签，三个维度的信息构建更加准确的特征矩阵，并采用更新版向量相似度计算方式，让计算分数能够更加适合已有数据的场景。
[0088]
(2)分别对不同部分，采用不同的相似度计算方式，并采用矩阵并行计算方式提升运算效率。
[0089]
(3)针对不同租户设置不同阈值，返回不同数量的推荐结果以提升最终相似准确性。
[0090]
本发明中，当租户发生点击行为后，基于租户点击的素材推送相关的素材。本发明中的数字化资产管理平台不同于电商领域和自由创作素材平台，是面向企业的数字资产管理平台，素材属性是与不同员工使用该平台的工作内容强绑定的，同时素材所包含的内容本身之间存在一定的关联性，所以我们在考虑设计推荐逻辑的时候，必须同时考虑租户(即企业)对于素材内容标签的管理，以及素材本身之间的内容关联性。
[0091]
本发明中，在内容推荐上使用的是通用模板，对所有的租户公司都是有效的，同时我们会为不同租户公司配置自己的自定义标签，保证在通用化的同时满足不同租户的定制化需求。
[0092]
本发明的实施例还提供一种相关素材获取装置，如图5所示，包括：
[0093]
第一构建模块，用于为上传的素材配置第一标签，并根据所述第一标签构建第一特征矩阵；
[0094]
第二构建模块，用于为所述素材配置第二标签，并根据所述第二标签构建第二特征矩阵；
[0095]
相似度计算模块，用于分别基于第一特征矩阵和第二特征矩阵计算素材之间的相似度，得到第一计算结果和第二计算结果，对所述第一计算结果和第二计算结果进行加权求和得到最终计算结果；
[0096]
匹配模块，用于在租户选择素材后，根据租户的id和租户所选择素材的id匹配出对应的相关素材结果。
[0097]
在一个实施例中，所述第二构建模块包括：
[0098]
所述第二标签包括：场景标签、ocr标签、logo标签、内容物体标签；
[0099]
所述场景标签是通过efficientnet生成的；
[0100]
所述ocr标签和logo标签是通过vgg模型进行目标检测，和resnet网络进行目标识别得到的；
[0101]
所述内容物体标签是通过fastr-cnn模型输出的。
[0102]
在一个实施例中，所述第二构建模块还包括：
[0103]
所述第二特征矩阵的矩阵行数为所有素材的总数，矩阵列数为所有素材产生的所有标签去重后的数量；
[0104]
将素材对应不同标签的置信度分别输入至所述第二特征矩阵中，如果该素材没有对应标签，则该素材在该对应标签下的置信度为零。
[0105]
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，asic)中。另外，该asic可以位于租户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0106]
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
[0107]
在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，dsp)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完
成，或者用处理器中的硬件及软件模块组合执行完成。
[0108]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。