一种电商平台的物品信息管理方法以及装置与流程

1.本发明涉及物联网技术领域，尤其涉及一种电商平台的物品信息管理方法以及装置。


背景技术：

2.电商平台可以为各种物品提供者提供物品展示以及交易的平台，从而加快物品流通，为物品提供者和物品需求者提供充分交互的渠道。通常，物品提供者需要向电商平台录入物品的文本信息、图片信息并且手动为该物品选择所属标签，电商平台根据物品提供者录入的信息对物品进行管理，但是物品提供者手动输入信息存在效率低下和准确度不够的情况，这一方面降低了物品提供者对于电商平台的使用体验，也影响了电商平台中有关物品的信息的准确度。


技术实现要素：

3.为了解决上述至少一个技术问题，本技术实施例提供一种电商平台的物品信息管理方法以及装置。
4.一方面，本技术实施例提供了一种电商平台的物品信息管理方法，应用于电商平台，所述方法包括：获取待录入物品对应的多媒体信息，所述多媒体信息为图片信息或短视频信息；在所述多媒体信息满足自动录入要求的情况下，对所述多媒体信息进行图像特征提取，得到所述多媒体信息所对应的图像特征；根据所述图像特征和文本结构信息进行自适应文本扩展，得到文本描述信息，所述文本描述信息包括所述文本结构信息以及预测出的所述多媒体信息中的对象所对应的目标对象文本信息；根据所述文本描述信息和所述多媒体信息，生成所述物品信息录入记录。
5.在一个实施例中，所述根据所述文本描述信息和所述多媒体信息，生成所述物品信息录入记录，包括：根据所述目标对象文本信息，生成所述多媒体信息对应的标签信息；根据所述标签信息、所述文本描述信息和所述多媒体信息，生成物品信息录入记录。
6.在一个实施例中，所述在所述多媒体信息满足自动录入要求的情况下，对所述多媒体信息进行图像特征提取，得到所述多媒体信息所对应的图像特征之前，包括：在所述多媒体信息为图片信息的情况下，对所述图片信息分别进行清晰度检测、场景检测和主体检测，得到融合检测分数，所述融合检测分数基于清晰度检测结果、场景检测结果和主体检测结果得到，所述融合检测分数用于表征所述图片信息从清晰度、场景完整度和主体完整度三个维度被评定出的综合图片质量；响应于所述融合检测分数达到预设阈值的情况，判定所述多媒体信息满足所述自
动录入要求；或，在所述多媒体信息为短视频信息的情况下，对所述短视频信息进行基于帧间差异的抽帧操作，得到至少两个图像帧；针对每一图像帧，对所述图像帧分别进行清晰度检测、场景检测和主体检测，得到融合检测分数，所述融合检测分数基于清晰度检测结果、场景检测结果和主体检测结果得到，所述融合检测分数用于表征所述图像帧从清晰度、场景完整度和主体完整度三个维度被评定出的综合图片质量；响应于各图像帧的融合检测分数达到预设阈值的情况，判定所述多媒体信息满足所述自动录入要求。
7.在一个实施例中，所述根据所述图像特征和文本结构信息进行自适应文本扩展，得到文本描述信息，包括：获取预设的对象文本信息库，所述预设的对象文本信息库中记录有所述电商平台所支持自动识别的各对象分别对应的对象文本信息；针对每一对象文本信息执行下述操作：根据所述对象文本信息和所述文本结构信息，生成对象文本描述；对所述对象文本描述进行文本特征提取，得到对象文本特征；计算所述对象文本特征与所述图像特征之间的信息距离；将信息距离最小的对象文本特征所对应的对象文本信息，确定为所述目标对象文本信息；将所述目标对象文本信息插入所述文本结构信息，得到所述文本描述信息。
8.在一个实施例中，所述方法还包括训练自动录入模型，所述自动录入模型包括第一编码器、第二编码器、模板库扫描器、融合器、权重控制器和预训练的对象识别网络，所述对象识别网路包括图像特征提取器和对象检测器；其中，所述第一编码器和所述第二编码器构成第一联合网络，所述第一联合网络通过下述方法训练得到：获取多个样本序列，每一所述样本序列包括一个第一样本对和至少两个第二样本对，所述第一样本对中所包括的样本图像和样本文本具备对应关系，所述第二样本对中的样本图像和样本文本不具备对应关系；不同所述样本序列中第一样本对所在的位置可以是不同的；针对每一样本序列，依次提取所述样本序列中每一样本对中的样本图像，并将所述样本图像输入所述第一编码器，得到样本图像特征序列；依次提取所述样本序列中每一样本对中的样本文本，并将所述样本文本输入所述第二编码器，得到样本文本特征序列；基于所述样本文本特征序列和所述样本图像特征序列，得到训练目标，所述训练目标用于最小化所述样本文本特征序列和所述样本图像特征序列中具备对应关系的样本图像特征和样本文本特征之间的信息距离，并最大化所述样本文本特征序列和所述样本图像特征序列中不具备对应关系的样本图像特征和样本文本特征之间的信息距离；基于所述训练目标调节所述第一编码器和所述第二编码器的参数；其中，所述第一编码器、所述权重控制器、所述融合器和所述预训练的对象识别网
络构成第二联合网络，所述第二联合网络通过下述方法训练得到：获取标准样本图像和所述标准样本图像所对应的标注，所述标注表征所述标准样本图像中的对象以及所述对象在所述标准样本图像中的位置；将所述标准样本图像并行输入所述图像特征提取器和所述第一编码器，分别对应得到第一样本图像特征和第二样本图像特征；获取所述权重控制器输出的第一权重和第二权重，所述第一权重跟随训练过程逐步降低，所述第二权重跟随训练过程逐步升高；将所述第一权重、所述第二权重、所述第一样本图像特征、所述第二样本图像特征均输入所述融合器，得到融合特征，所述融合器用于执行下述操作：将所述第一权重和所述第一样本图像特征相乘得到第一目标样本图像特征，将所述第二权重和所述第二样本图像特征相乘得到第二目标样本图像特征，将所述第一目标样本图像特征和所述第二样本图像特征融合，得到所述融合特征；将所述融合特征输入所述对象检测器，得到对象检测结果；根据所述对象检测结果和所述标注之间的差异，调节所述融合器的参数，直至所述对象检测结果和所述标注之间的差异小于第一阈值，所述第一权重小于第二阈值并且所述第二权重高于第三阈值。
9.在一个实施例中，所述根据所述对象文本信息和所述文本结构信息，生成对象文本描述之前，所述方法还包括：使用所述模板库扫描器扫描所述预设的对象文本信息库，提取得到所述对象文本信息；所述对所述对象文本描述进行文本特征提取，得到对象文本特征，包括：将所述对象文本描述信息输入所述第二编码器，得到所述对象文本特征；所述对所述多媒体信息进行图像特征提取，得到所述多媒体信息所对应的图像特征，包括：将所述多媒体信息输入所述图像特征提取器，得到第一特征；基于所述融合器中的参数对所述第一特征进行信息迁移，得到所述图像特征。
10.另一方面，本技术实施例提供一种电商平台的物品信息管理装置，应用于电商平台，所述装置包括：待录入信息获取模块，用于获取待录入物品对应的多媒体信息，所述多媒体信息为图片信息或短视频信息；图像特征提取模块，用于在所述多媒体信息满足自动录入要求的情况下，对所述多媒体信息进行图像特征提取，得到所述多媒体信息所对应的图像特征；文本填充模块，用于根据所述图像特征和文本结构信息进行自适应文本扩展，得到文本描述信息，所述文本描述信息包括所述文本结构信息以及预测出的所述多媒体信息中的对象所对应的目标对象文本信息；记录生成模块，用于根据所述文本描述信息和所述多媒体信息，生成所述物品信息录入记录。
11.另一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种电商平台的物品信息管理方法。
12.另一方面，本技术实施例提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现上述的一种电商平台的物品信息管理方法。
13.另一方面，本技术实施例提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述的一种电商平台的物品信息管理方法。
14.本技术实施例提供一种电商平台的物品信息管理方法，可以根据多媒体信息自动确定相关的对象，进而自动生成文本描述信息，该方法对于电商平台所支持的任意对象都可以达到准确生成物品信息录入记录的技术效果，不再需要物品提供者手动选取，也不依赖于手动选取结果，不会受到手动选取结果的干扰，提升了电商平台的数据准确度，也带给了物品提供者智能化体验，提升了电商平台的用户粘度。
附图说明
15.为了更清楚地说明本技术实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1是本说明书实施例提供的一种电商平台的物品信息管理方法流程示意图；图2是本说明书实施例提供的文本描述信息获取方法流程示意图；图3是本说明书实施例提供的第一联合网络训练方法流程示意图；图4是本说明书实施例提供的样本图像示意图；图5是本说明书实施例提供的第二联合网络训练方法流程示意图；图6是本技术实施例提供的一种电商平台的物品信息管理装置的框图。
具体实施方式
17.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
18.需要说明的是，本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
19.为了使本技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术实施例，并不用于限定本技术实施例。
20.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
21.以下介绍本技术实施例的一种电商平台的物品信息管理方法，该方法应用于电商平台。图1示出了本技术实施例提供的一种电商平台的物品信息管理方法的流程示意图。本技术实施例提供了如实施例或流程图上述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统、终端设备或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)，上述方法可以包括：s101. 获取待录入物品对应的多媒体信息，上述多媒体信息为图片信息或短视频信息。
22.物品提供者可以向电商平台提交多媒体信息，比如，拍摄的待出售物品的图片或者短视频，本技术实施例中短视频为时长小于10秒的视频。
23.在物品提供者向电商平台提交多媒体信息之后，电商平台对上述多媒体信息进行检测，如果检测结果指示该多媒体信息满足自动录入要求，电商平台可以自动基于该多媒体信息生成录入记录，否则，电商平台可以显示文本信息录入界面和标签信息录入界面，由物品提供者手动录入与该多媒体信息相关的文本描述信息和标签信息。比如，如果该多媒体信息为一段展示连衣裙的短视频，则该多媒体信息包括连衣裙这一对象。则文本描述信息可以为“这是一段有关连衣裙的短视频”，标签信息可以为“连衣裙”“碎花”“拼接”等。
24.在一个实施例中，上述在上述多媒体信息满足自动录入要求的情况下，对上述多媒体信息进行图像特征提取，得到上述多媒体信息所对应的图像特征之前，包括：在上述多媒体信息为图片信息的情况下，对上述图片信息分别进行清晰度检测、场景检测和主体检测，得到融合检测分数，上述融合检测分数基于清晰度检测结果、场景检测结果和主体检测结果得到，上述融合检测分数用于表征上述图片信息从清晰度、场景完整度和主体完整度三个维度被评定出的综合图片质量；响应于上述融合检测分数达到预设阈值的情况，判定上述多媒体信息满足上述自动录入要求。
25.本技术实施例并不限定清晰度检测方法，场景检测方法和主体检测方法，可以基于现有技术实施，本技术实施例主要限定从这三个维度来对多媒体信息进行评定的构思，即基于清晰度检测结果、场景检测结果和主体检测结果得到融合检测分数，该融合检测分数可以从清晰度、场景完整度和主体完整度三个维度被评定出的综合图片质量。举个例子，清晰度检测方法，场景检测方法和主体检测方法分别可以输出清晰度检测分数、场景检测分数和主体检测分数，三个分数进行加权平均即可的得到融合检测分数，当然，权值不做限定，可以根据实际情况进行设置。
26.如果该综合图片质量较高，可以认为电商平台可以从该多媒体信息中获取到足够丰富的用于进行自动录入的信息，由此可以开启自动录入功能，当然，本技术实施例对于预设阈值不做限定，可以根据实际情况进行设定。清晰度用于限定图片信息本身的质量，如果清晰度不够，电商平台难以从图片信息中锁定该图片信息中包含的对象，比如，以连衣裙图
片为例，如果清晰度不够，可能会将其误识别为连衣裤或者围裙，这种情况下不适合启动自动录入功能。而场景检测和主体检测主要是用于检测图片的场景完整度和主体完整度，如果场景完整度不够，图片信息中的对象所在的环境信息存在缺失，这会降低对图片信息中的对象的提取成功率，比如，可能会确定不到足够准确的对象所在的区域，从而提取不到对象，而主体完整度表征了图片信息中的对象的完整程度，如果主体完整度不够，则可能只能识别到对象中的部分组件，这也会导致对象的误识别，仍然以连衣裙为例，主体完整度不够，可能会将连衣裙误识别为半身裙，这种情况下也不适合启动自动录入功能。本技术实施例根据该电商平台中用于进行自动录入的自动录入模型的情况并结合电商平台对于自动录入的客观要求限定出了上述自动录入要求，也就是说，该自动录入要求与本技术实施例下文提及的自动录入模型的训练过程和结构相适应。
27.在一个实施例中，在上述多媒体信息为短视频信息的情况下，对上述短视频信息进行基于帧间差异的抽帧操作，得到至少两个图像帧。
28.针对每一图像帧，对上述图像帧分别进行清晰度检测、场景检测和主体检测，得到融合检测分数，上述融合检测分数基于清晰度检测结果、场景检测结果和主体检测结果得到，上述融合检测分数用于表征上述图像帧从清晰度、场景完整度和主体完整度三个维度被评定出的综合图片质量；响应于各图像帧的融合检测分数达到预设阈值的情况，判定上述多媒体信息满足上述自动录入要求。
29.对于短视频信息情况下的自动录入要求有关的说明，也可以参考前文，在此不做赘述。
30.s102. 在上述多媒体信息满足自动录入要求的情况下，对上述多媒体信息进行图像特征提取，得到上述多媒体信息所对应的图像特征。
31.s103. 根据上述图像特征和文本结构信息进行自适应文本扩展，得到文本描述信息，上述文本描述信息包括上述文本结构信息以及预测出的上述多媒体信息中的对象所对应的目标对象文本信息。
32.如图2所示，在一个实施例中，上述根据上述图像特征和文本结构信息进行自适应文本扩展，得到文本描述信息，包括：s201. 获取预设的对象文本信息库，上述预设的对象文本信息库中记录有上述电商平台所支持自动识别的各对象分别对应的对象文本信息。
33.该电商平台可以对其所支持的物品进行归类，根据归类结果确定其所支持自动识别的对象。比如，以母婴电商平台为例，其可以将与母婴有关的、允许基于该电商平台推广交易的物品进行归类，比如，可以分为婴儿用品类、产妇用品类、孕妇用品类，在每个类别下面具体细分出更精确的分类，比如，婴儿用品类中有童鞋类、男童衣服、女童衣服、奶瓶、奶粉、温奶器等，每一个精细的分类都可以作为一个对象，然后该对象还可以被设置对象文本信息，以对象为奶粉为例，该对象对应的对象文本信息可以包括“奶粉”和“一段宝贝寄语”。
34.s202. 针对每一对象文本信息执行下述操作：根据上述对象文本信息和上述文本结构信息，生成对象文本描述；对上述对象文本描述进行文本特征提取，得到对象文本特征；计算上述对象文本特征与上述图像特征之间的信息距离；将信息距离最小的对象文本特征所对应的对象文本信息，确定为上述目标对象文本信息；将上述目标对象文本信息插入上述文本结构信息，得到上述文本描述信息。
35.本技术实施例任意步骤都不限定信息距离度量算法，比如可以使用内积、l1或者l2等现有技术，对此，不做赘述。
36.本技术实施例中可以基于训练好的自动录入模型中的有关组件来执行步骤s102和s103。具体来说，自动录入模型可以包括第一编码器、第二编码器、模板库扫描器、融合器、权重控制器和预训练的对象识别网络等组件，上述对象识别网路包括图像特征提取器和对象检测器。
37.具体来说，步骤s202中上述的根据上述对象文本信息和上述文本结构信息，生成对象文本描述之前，上述方法还包括：使用上述模板库扫描器扫描上述预设的对象文本信息库，提取得到上述对象文本信息。使用模板库扫描器执行扫描操作的过程，就是衡量该对象文本信息库中的每一对象是否属于上述多媒体信息中的对象的过程。本技术实施例并不限定上述文本结构信息，其可以被理解针对需要被录入的多媒体对象而言，共有的文本信息。
38.举个例子，对于任意的多媒体对象，其对应的文本描述信息都包括：“这是用于展示
‘
**’的图像，
‘
*&*&*&*&*&
’”
，其中
‘
**’和
‘
*&*&*&*&*&’根据不同的对象有所变动，而“这是用于展示”“图像”这几个字是共有的，这几个字对应的信息就是文本结构信息。
39.对于被扫描到的对象，可以以奶粉对应的对象为例，其对象文本信息包括“奶粉”和“一段宝贝寄语”，则当该对象被扫描到时，可以得到的对象文本描述为“这是用于展示奶粉的图像，一段宝贝寄语”。
40.进一步的，步骤s202中上述的对上述对象文本描述进行文本特征提取，得到对象文本特征，包括：将上述对象文本描述信息输入上述第二编码器，得到上述对象文本特征。步骤s202中上述的对上述多媒体信息进行图像特征提取，得到上述多媒体信息所对应的图像特征，包括：将上述多媒体信息输入上述图像特征提取器，得到第一特征；基于上述融合器中的参数对上述第一特征进行信息迁移，得到上述图像特征。
41.本技术实施例对于自动录入模型的训练过程进行说明：首先，上述第一编码器和上述第二编码器构成第一联合网络，本技术实施例对于第一编码器和第二编码器的结构不做限定，其中第一编码器是对图像进行特征提取的神经网络，其可以为卷积神经网络或者基于自注意力的编码网络，第二编码器是对文本进行特征提取的神经网络。如图3所示，上述第一联合网络通过下述方法训练得到：s301. 获取多个样本序列，每一上述样本序列包括一个第一样本对和至少两个第二样本对，上述第一样本对中所包括的样本图像和样本文本具备对应关系，上述第二样本对中的样本图像和样本文本不具备对应关系；不同上述样本序列中第一样本对所在的位置可以是不同的。
42.举个例子，图4作为一个样本图像，和样本文本“....的奶粉”就是具备对应关系的，而和样本文本“...的连衣裙”显然就不具备对应关系。
43.s302. 针对每一样本序列，依次提取上述样本序列中每一样本对中的样本图像，并将上述样本图像输入上述第一编码器，得到样本图像特征序列；依次提取上述样本序列中每一样本对中的样本文本，并将上述样本文本输入上述第二编码器，得到样本文本特征序列。
44.s303. 基于上述样本文本特征序列和上述样本图像特征序列，得到训练目标，上
述训练目标用于最小化上述样本文本特征序列和上述样本图像特征序列中具备对应关系的样本图像特征和样本文本特征之间的信息距离，并最大化上述样本文本特征序列和上述样本图像特征序列中不具备对应关系的样本图像特征和样本文本特征之间的信息距离。
45.当然，基于上述训练目标可以确定上述第一联合网络的损失函数，本技术对于该损失函数不做限定，可以基于现有的损失函数进行设计，只需要体现该训练目标即可。第一联合网络训练成功之后，第一编码器输出的信息和第二编码器输出的信息之间的信息差异即可使用信息距离度量，如果信息距离足够近，可以认为用于输入第一编码器的图像与用于输入第二编码器的文本描述了同一对象，比如，都描述了“奶粉”。
46.s304. 基于上述训练目标调节上述第一编码器和上述第二编码器的参数。
47.从步骤s301到s304可知，本技术实施例对于用于训练第一联合网络的样本序列的要求并不高，只需要有第一样本对和第二样本对即可，而第一样本对和第二样本对的唯一要求就是样本图像和样本文本之间的对应关系要求，对于样本图像本身具备哪些内容，样本文本本身具备哪些内容都没有固定要求，这就降低了样本序列的获取难度，对于神经网络训练而言，显然是降低了样本获取难度。
48.在第一编码器被训练好之后，可以将第一编码器的参数固定，并且基于上述第一编码器、上述权重控制器、上述融合器和上述预训练的对象识别网络构成第二联合网络，如图5所示，上述第二联合网络通过下述方法训练得到：s401. 获取标准样本图像和上述标准样本图像所对应的标注，上述标注表征上述标准样本图像中的对象以及上述对象在上述标准样本图像中的位置。
49.本技术中标准样本图像以及对应的标注可以来自于开源的图像数据库，也就是说，无需额外为了第二联合网络的训练准备样本数据，这进一步将低了训练数据的获取难度。上述对象识别网路包括图像特征提取器和对象检测器，该对象识别网络可以是开源的已经训练好的神经网络，本技术实施例直接使用即可。
50.s402. 将上述标准样本图像并行输入上述图像特征提取器和上述第一编码器，分别对应得到第一样本图像特征和第二样本图像特征。
51.s403. 获取上述权重控制器输出的第一权重和第二权重，上述第一权重跟随训练过程逐步降低，上述第二权重跟随训练过程逐步升高。
52.在一个实施例中，第一权重和第二权重均在0.01-0.99之间波动，第一权重和第二权重的初始值不做限定，比如第一权重可以是0.6，第二权重可以是0.4。
53.本技术实施例中权重控制器只需要在每次迭代过程中都输出第一权重和第二权重，并且伴随训练过程，上述第一权重跟随训练过程逐步降低，上述第二权重跟随训练过程逐步升高即可，对于如何输出本技术实施例不做限定，比如，可以认为限定按照等差方法输出，权重控制器设置的意义在于，伴随训练过程可以使得第二权重逐渐上升，迫使融合器逐步更加关注第一编码器输出的第二样本图像特征，而第一样本图像特征与第二样本图像特征是处于不同特征空间的特征，而融合器中的参数伴随训练过程可以更加反映出上述不同特征空间之间的转化差异，最终使得训练得到的该融合器可以被用于在第一样本图像特征所在的特征空间和第二样本图像特征所在的特征空间之间进行特征的迁移映射。
54.s404. 将上述第一权重、上述第二权重、上述第一样本图像特征、上述第二样本图像特征均输入上述融合器，得到融合特征，上述融合器用于执行下述操作：将上述第一权重
和上述第一样本图像特征相乘得到第一目标样本图像特征，将上述第二权重和上述第二样本图像特征相乘得到第二目标样本图像特征，将上述第一目标样本图像特征和上述第二样本图像特征融合，得到上述融合特征。
55.本技术并不限定融合的具体方案，比如，可以使用卷积、内积、通道内信息聚合，特征拼接等方案。融合器输出的融合特征可以被用于输入对象检测器，而对象检测器和用于输出第一样本图像特征的图像特征提取器都来源于开源的已经训练好的对象识别网络，而该对象识别网络中的对象检测器就是基于图像特征提取器输出的信息进行对象检测（对象识别）的。也就是说，如果对象检测器基于该融合器输出的融合特征得到对象检测结果足够准确，则该融合特征所处的特征空间与该已经训练好的对象识别网络的图像特征提取器所输出的信息所处的特征空间之间的差异已经足够小了。这充分说明，融合器具备将第一编码器输出的特征信息向图像特征提取器输出的特征信息所在的特征空间迁移的能力，反之亦然，即基于该融合器可以实现图像特征提取器输出的特征信息所在的特征空间和第一编码器所输出的特征信息所在的特征空间的双向迁移映射。
56.s405. 将上述融合特征输入上述对象检测器，得到对象检测结果。
57.s406. 根据上述对象检测结果和上述标注之间的差异，调节上述融合器的参数，直至上述对象检测结果和上述标注之间的差异小于第一阈值，上述第一权重小于第二阈值并且上述第二权重高于第三阈值。
58.当然，本技术实施例并不对于第一阈值、第二阈值和第三阈值进行限定，可以根据实际情况进行设定。
59.上述自动录入模型的训练实际包括了第一联合网络的训练和第二联合网络的训练，在训练完毕后的实际的使用过程中，可以利用图像特征提取器强大的特征提取能力对多媒体信息进行特征提取，得到第一特征，然后基于融合器将该第一特征转化迁移到第一编码器输出的信息所在的特征空间，即可得到图像特征，由第一联合网络的训练过程可知，第一编码器输出的信息和第二编码器输出的信息可以通过计算信息距离的方式进行匹配，因此，可以基于上述图像特征和第二编码器输出的对象文本特征之间信息距离可以确定目标对象文本信息。
60.s104. 根据上述文本描述信息和上述多媒体信息，生成上述物品信息录入记录。
61.在一个实施例中，上述根据上述文本描述信息和上述多媒体信息，生成上述物品信息录入记录，包括：根据上述目标对象文本信息，生成上述多媒体信息对应的标签信息；根据上述标签信息、上述文本描述信息和上述多媒体信息，生成物品信息录入记录。
62.具体来说，将上述文本描述信息和上述多媒体信息，以及标签信息进行对应存储，将存储结果作为上述物品信息录入记录。标签信息也可以属于对象文本信息的一部分，比如，仍然以“奶粉”为例，“奶粉”就是一个标签。
63.本技术实施例提供的电商平台的物品信息管理方法，可以根据多媒体信息自动确定相关的对象，进而自动生成文本描述信息，该方法对于电商平台所支持的任意对象都可以达到准确生成物品信息录入记录的技术效果，不再需要物品提供者手动选取，也不依赖于手动选取结果，不会受到手动选取结果的干扰，提升了电商平台的数据准确度，也带给了物品提供者智能化体验，提升了电商平台的用户粘度。
64.请参考图6，其示出本实施例中一种电商平台的物品信息管理装置的框图，上述装
置包括：待录入信息获取模块101，用于获取待录入物品对应的多媒体信息，上述多媒体信息为图片信息或短视频信息；图像特征提取模块102，用于在上述多媒体信息满足自动录入要求的情况下，对上述多媒体信息进行图像特征提取，得到上述多媒体信息所对应的图像特征；文本填充模块103，用于根据上述图像特征和文本结构信息进行自适应文本扩展，得到文本描述信息，上述文本描述信息包括上述文本结构信息以及预测出的上述多媒体信息中的对象所对应的目标对象文本信息；记录生成模块104，用于根据上述文本描述信息和上述多媒体信息，生成上述物品信息录入记录。
65.本技术实施例中装置部分与方法实施例基于相同发明构思，在此不做赘述。
66.另一方面，本技术实施例提供了一种电子设备，包括至少一个处理器，以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述至少一个处理器通过执行上述存储器存储的指令实现上述的一种电商平台的物品信息管理方法。
67.另一方面，本技术实施例提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述的一种电商平台的物品信息管理方法。
68.以上上述仅为本技术实施例的较佳实施例，并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实施例的保护范围之内。