一种图片中商品的处理方法与流程

1.本发明涉及电子商务技术领域，尤其涉及一种图片中商品的处理方法。


背景技术：

2.在各种电子商务类系统中，如淘宝、京东、阿里巴巴、得物等等，无论是面向企业用户，还是面向消费者，对含有商品的图片，都是一张图片对应一款商品进行采购处理。很少有一张图片包含多款商品均可单独销售处理。这是因为对应到任意一款商品的采购决策，一般都需要很多图片，附带大量文字说明，从视觉和内涵知识等各种角度充分的展示这款商品，才能取得购买人对这款产品的了解和认可，从而获得销售机会。因此没有在一张图片中多款商品进行同时展示和各自都用于独立销售的行业需求和实用意义。
3.进一步的，对于任意一款电商系统的上架在售商品，都需要事先对该款商品进行sku编目和库存管理，因此，即使一张图片内可以有多款商品用于上架销售，但每款商品都要有预先编目的sku对其进行整理和规范，然后还需要对这款商品的sku进行库存数量的运营维护才能真正被用于电商系统进行销售，所以在对某张图片的多款商品都需要上架用于销售时，各行各业电商系统的常规做法都是其中所包含的每款商品建立一个sku，并提供这款商品的独立展示图片，运营人员维护每件商品的库存数据，以便用于电商系统的展示和销售。
4.淘宝、阿里巴巴、拼多多、得物等几代电商系统的通常设计理念作为一种行业常识，影响了各行各业的从业者和对应的各类技术供应商，但多年行业实践证明，这种电商系统的设计难以处理贵金属珠宝批发行业的实际需求，导致贵金属批发行业数字化进程长期止步不前。下面从几个角度阐述这个问题的成因：
5.1、行业状态背景
6.贵金属(黄金、k金、铂金等材质)珠宝批发是一个数千家供应商对应数十万家采购商的b2b交易场景，供应商端是首饰加工厂数量众多(中国国内规模以上的数千家)，这些供应商规模较小，信息化程度受限于企业规模，多数没有完整的erp和pdm等信息化系统，大多数企业都不能为下游的批发零售商提供完整的、即时有效的电商系统用数据包(包括商品图片、规格、当前库存)。
7.目前一般供应商都能够做到是提供一个电子版的订货目录甚至在线订货系统，但没有准确的库存数据(原因放到第2点展开)，提供订货生产周期承诺，供应商的渠道销售方式或者按照订单生产交货，或者按照供应商自己的市场预测，筹集资金生产一批畅销现货，销售到各大批发展厅，供下游采购商实物看版，批量选购。
8.由于下游采购商分布在全国各地，因而定期的到珠宝批发市场，参观和选购各家珠宝展厅的现货购买，是最主流的供应链渠道。即使少数头部供应商投资研发并运营了完整的线上订货系统，下游的采购商基于各种因素制约，仍然依赖线下的展厅采购作为主要采购渠道。目前通过线下实物看版批量采购现货的比例占到贵金属珠宝行业批发贸易额的90％以上。
9.2、盘点结算方式
10.前述各种电商系统的设计基础均是精确到单件商品的一件一码，但是贵金属珠宝行业有一个特殊的现象是批发商很难低成本的进行一件一码的商品管理，行业内企业日常盘点、企业间交易和结算的单位都是记重方式，没有精确到单件管理库存和处理订单。原因主要基于以下几点：
11.a、一件一码管理成本偏高，贵金属珠宝批发行业毛利低，采用后下游采购商不认可这部分成本造成的溢价。
12.b、贵金属材料价格波动频繁且幅度较大，从业企业每日都要盯紧本企业的克重净持仓，各家从业企业必须对持仓的库存克重日盘、日清、日结，才能控制企业持有贵金属材料的经营风险。
13.c、有一定规模的企业，每日实物进货入库、展厅分类陈列，看版实物销售出库的商品规模很大，涉及款式数量很多，且采购商看样选购和供应商根据采购要求分类结算工费，分装、打包出货等两端的操作均依赖专业的专人手工处理，在必须保证所有商品的进销存克重必须准确无误的前提下，对单件商品进行计数显得既无绝对必要又会增加运营成本，属于被多年实践后优化裁剪掉的工艺步骤，因此贵金属珠宝批发市场的结算装箱单据鲜有准确的件数记录。
14.d、批发类企业商品流动性较大，线下批发经营的主流企业展厅内，每天有很多新款现货到货上柜，也会有许多在售款式库存售罄沽清，个别商品未经上柜就被抢购一空，年年月月，款式迭代，日新月异，即使有企业不惜成本的为相当数量的在售款式建立sku数据库，在一段时期或者将一定范围的商品款式全部建立sku档案，并将库存精细化到管理到单件，随着老款的售罄停产，新款的不断出现，快速售罄再无后续生产的情况频繁出现，因此保持sku上架商品的准确度和库存数量的准确度，成为成本高、收益小、增本减效的运营方式，整体上难以为继。
15.e、贵金属珠宝老款与新款的细微变化繁多且不断迭代升级、变化节奏非常快，一款商品看似每年每月都在卖，但放到不同时间段的不同批次，一直有各种差异变化，以人工方式对这些款式进行sku编目，在没有上游供应商的pdm数据库严格随生产和供货提供给下游采购商的情况下，难以对这些及其相似的款式进行长期的，严谨的归类编码，不严谨的归类，就会造成建立大量的相似的sku类目，新到现货难以被识别录入正确库存，客观上提高了一件一码的管理复杂度。
16.以上几点原因综合了贵金属珠宝行业的现状，总结了数字化经营的约束条件，客观造成基于一件一码管理为基础底层设计的常规电子商务系统很难在本行业内全面推广实施，在这个领域耕耘的企业均受到上述规律的制约，难以突破发展。


技术实现要素：

17.本发明针对上述技术问题，提供一种图片中商品的处理方法。
18.为了实现上述目的，本发明提供如下技术方案：
19.一种图片中商品的处理方法，包括以下步骤：
20.s1、使用预先训练好的商品图片模型对实况图片进行深度学习及机器视觉识别；
21.s2、根据深度学习及机器视觉识别的结果，对该实况图中的所有商品进行预录入
sku信息采集；
22.s3、根据深度学习及机器视觉识别的结果，对该图中的所有实况商品进行存档，其中，每件实况商品的自动标注信息、同质信息、商品位置信息均完整记录保存，上述每件实况商品的信息进行关联后，合并生成完整的预录入sku；
23.s4、在实况图展示终端用户时，对实况商品进行动态图形绘制，绘制信息来源于步骤s3所采集的商品位置信息，将其图中的每件所实况商品主体位置高亮突出显示，以便终端用户进一步操作该实况图中所有的实况商品；
24.s5、对所有用户的操作建立对话跟踪和实时的草稿存档数据库，用于终端用户随时编辑和操作实况商品图片中的商品对象；
25.s6、在实况商品对象有终端用户收藏时生成备用sku；
26.s7、在实况商品对象有终端用户加入购物车时生成临时sku
27.s8、在实况商品对象有终端用户订单时生成正式sku。
28.进一步地，步骤s1中，实况图片为照片或流媒体直播数据或3d实时建模数据。
29.进一步地，步骤s1中，自动标注信息包括品类、成色、款式、规格、工艺、厂家。
30.进一步地，成色包括：万足、3d、5g、18k、铂金、钻石。
31.进一步地，品类包括：吊坠、戒指、手镯、耳饰、手脚链、项链、手串。
32.进一步地，步骤s3中，商品位置信息包括商品位于图片中的相对位置和边界范围信息。
33.进一步地，步骤s4中动态图形绘制高亮突出显示方式为长方形外框或圆形外框或椭圆形外框。
34.进一步地，步骤s4中定义高亮突出显示方式包括三个操作状态，即：可选状态、已选状态和当前选择对准焦点状态，三个操作状态分别用三种不同颜色绘制显示外框呈现。
35.与现有技术相比，本发明的有益效果为：
36.本发明不同于常见电商系统必须先建立商品款式编目的商品sku，才能供用户下单订货的设计思路，而是先通过机器视觉人工智能自动识别和自动分类技术，分离出海量实况图片中的商品对象，供采购端用户像亲临实物现货仓库一样海选商品，并提供采购端用户逐件拣选商品进行批量化采购的互动交易模式，真实的在线上再现了在任何地方，都能进入大型集中式仓库现场进行批发采购的交互体验，同时简化了供货商维护仓库商品sku和库存数量的工作量，力求做到足不出户，大型仓库展厅展销会上指什么买什么的批发订货的使用体验。
37.本发明的优点在以下几个方面：
38.1、压缩空间距离：采购商无需亲临供货商的仓库展厅现场，即可查看最新的甚至是即时的库存现货进行采购，节约差旅成本。
39.2、省时：由于人工智能的机器视觉自动对商品进行了分类，如珠宝行业的成色、品类、款式、样式、规格、甚至是该商品具体于哪一款已有的sku近似匹配等，都可以预先归类存档，因此采购商不仅可以简单的像逛展厅仓库现场一样遍历供货商的所有库存现货，还可以像使用淘宝京东类电商一样按照商品的分类过滤，模糊搜索到库存现货商品，快速定位到采购目标，过滤掉不需要看到的商品，比亲临现场挑货还好找具体货品。
40.3、时效价值，这种实况的商品时效性可以做到极致的直播摄像头，也可以牺牲部
分时效，每日或定期更新，分区域分单件拍的清晰精美些。
41.4、大幅降低电商平台数据运营维护成本，供货方不需要花费大量人力、资金和技术运营管理经验，就能在线上维护一份非常类似于线下批发经营的电商后端系统，供其客户远程就能类似亲临现场采购，最节省的是无需维护每个sku的线上库存加减数据，这是一般常规电商系统的运营者各项管理成本一个大项负担。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
43.图1为本发明实施例提供的图片中商品的处理方法流程图。
44.图2为本发明实施例提供的对实况图片进行深度学习及机器视觉识别图片。
45.图3和图4为本发明实施例提供的对该实况图中的所有商品进行预录入sku信息采集图片。
46.图5为本发明实施例提供的对该图中的所有实况商品进行存档图片。
47.图6为本发明实施例提供的吊坠位置信息图片。
48.图7为本发明实施例提供的实况商品操作界面图片。
49.图8为本发明实施例提供的编辑和操作实况商品图片中的商品对象图片。
50.图9为本发明实施例提供的对实况商品进行收藏操作时的图片。
51.图10为本发明实施例提供的对实况商品加入购物车操作时的图片。
52.图11为本发明实施例提供的对实况商品移除购物车操作时的图片。
具体实施方式
53.为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图和实施例对本发明作进一步的详细介绍。
54.本发明的图片中商品的处理方法，包括图片中商品主体的定位、识别、标记和提供采购等操作的技术方法，根据任意图片(包括直播流媒体中的逐帧图片，以下简称：实况图片)通过人工智能技术识别出图片中的商品，为其标注商品信息及其在图片中所处位置；根据图片的识别结果，对不同识别结果选择相对应的商品归类和线上陈列位置，其中，实况图片中的每个商品(以后简称：实况商品)的有很多特征信息后面要用到，因此，每件商品均单独标记，建立信息数据库，并全部保存，由于实况图片中很多商品的特征信息存在同质性(既同一实况图片的商品，其品类、成色、款式、厂家、仓储位置等信息相似或相同)；因此，本方法将实况图片中每件商品的识别结果(以后简称：自动标注信息)和实况图片在获取时得到的同质信息(以后简称：同质信息)，都合并为每件商品的完整信息库、加上商品位于图片中的相对位置和边界范围等信息标注为商品的位置(以后简称：商品位置信息)，对上述信息全部预存到一个存放所有实况图片及所包含的商品的专用数据库(以后简称：实况图片商品库)中，至此每件商品都有实况图片，且此商品具有生成sku的所有必要信息(以后简称：预录入sku信息)，预录入sku信息一旦采集永久保存，以便用于后续功能的提取和利用；随后，在实况商品的展示区域，每件实况商品均被显著展示，位置范围被明确标记，以便选
择操作，用户可以随意选择实况商品完成进一步的下单等操作，之前预存的预录入sku信息作为填写订单所需要的必要信息使用，甚至用于该订单的实况商品sku，也在第一笔订单提交时，同时创建。
55.本发明实施例提供的一种图片中商品的处理方法，涉及商品图片的识别、多主体商品的位置定位、及根据用户浏览等操作来决定何时生成商品的sku。如图1所示，具体的实现流程如下：
56.预处理流程s1：
57.s101、使用预先训练好的商品图片模型对实况图片进行深度学习及机器视觉识别；如图2所示。人工智能机器视觉自动标注的方框准确的选取了批发市场展厅和库存中多件商品的位置和范围信息，框外文字为机器视觉识别判断的商品成色、品类和款式信息，不同颜色代表一种新的成色、品类和款式的组合。商品基本信息包括：品类、成色、款式、规格、工艺、厂家信息等，产品成色包括：万足、3d、5g、18k、铂金、钻石；产品品类包括：吊坠、戒指、手镯、耳饰、手脚链、项链、手串。
58.s102、根据深度学习及机器视觉识别的结果，对该实况图中的所有商品进行预录入sku信息采集；其中，对每件实况商品的预录入sku信息不做准确性甄别，完全采纳并记录来自于实况图片的采集人手工填写、深度学习以及机器视觉识别训练模型的识别反馈结果，包括所处位置信息和分类判断结果，如图3，图4所示。人工智能机器视觉自动标注的方框准确的选取了批发市场展厅和库存中多件商品的位置和范围信息，框外文字为机器视觉识别判断的商品成色、品类和款式信息，不同颜色代表一种新的成色、品类和款式的组合。图片采集时要求采集人尽可能全面准确的提供同质信息，以便对图片中的商品信息进行归档。
59.s103、根据深度学习及机器视觉识别的结果，对该图中的所有实况商品进行存档，其中，每件实况商品的自动标注信息、同质信息、商品位置信息等均完整记录保存，上述每件实况商品的信息进行关联后，合并生成完整的预录入sku，作为后续建立各种实况商品的sku提供信息源，如图5所示，人工智能机器视觉自动标注的商品可操作对象，对象出了图片中所展示的形象之外，内涵了前面收集的预录入sku信息，每可操作商品对应一个对象，按编号显示。商品位置信息如：left,top,width,height(’0.3645”0.4885”0.095”0.103’)或者多边形的标签就是图片路径[空格]x1,y1,x2,y2,x3,y3,x4,y4,标签[空格]
[0060]
x1,y1代表第一个点的xy坐标，下面是示例：71.7312,201.002,76.7312,240.002,31.7312,295.002,21.7312,345.002,38.7312,391.002,78.7312,414.002,135.731,406.002,169.731,351.002,151.731,288.002,102.731,238.002,108.731,201.002,100.731,186.002,75.7312,191.002,73,195,吊坠。如图6所示。
[0061]
展示呈现流程s2：
[0062]
s201、在实况图展示终端用户(消费者)时，对实况商品进行动态图形绘制(以后简称：实况商品操作界面)，绘制信息来源于步骤s103所采集的商品位置信息，将其图中的每件所实况商品主体位置高亮突出显示，以便终端用户进一步操作该实况图中所有的实况商品；在此描述的绘制高亮突出显示方式为长方形外框，实际应用当中包括但不限于长方形，该图型绘制为(left,top,width,height)距离左右上下的位置，把这四点位置动态绘制成图形，并在此定义其三个操作状态，即：可选状态，已选状态，当前选择对准焦点状态，分别
用三种不同颜色绘制长方形外框呈现，例如，红色框为可选，绿色框为已选，白色框为当前焦点。另根据所呈现的长方形外框来确定可操作对象范围，在每个长方形外框的范围内可用手动触控或滑鼠标等方式来选择对准焦点，以便进一步操作该实况商品对象，用户为当前选择的对象来进行下一步操作，如图7所示。
[0063]
s202、基于s201所呈现的实况商品操作界面，对所有用户的操作建立对话跟踪和实时的草稿存档数据库，用户可以随时编辑和操作实况商品图片中的商品对象。如图8所示。
[0064]
选择判断流程s3：
[0065]
s301、当终端用户浏览到该实况图的实况商品操作界面时，对其感兴趣的实况商品进行收藏操作时，为该实况商品同时创建备用sku，备用sku仅仅用于终端用户收藏夹长期关注并跟踪使用，因此，当实况商品的预录入sku信息因故发生变化时(如运维方对信息删除、下架、编辑变更时)，某个终端用户的收藏夹内备用sku会随之变化。如图9。
[0066]
s302、当终端用户对实况商品操作界面内的任意实况商品进行加入购物车操作时，备用sku升级成为临时sku，临时sku是终端用户提交一批订单需求之前的草稿状态，因此临时sku与备用sku的差异在于，当实况商品的预录入sku信息因故发生变化时(如运维方对信息删除、下架、编辑变更时)，某个终端用户的购物车内临时sku不会随之变化。如图10和图11。
[0067]
s303、当终端用户选择实况商品并进行订单提交动作时，在生成订单的同时将实况商品主体信息从临时sku升级成为正式sku。正式sku是终端用户提交第一笔订单需求后的订单发起的同时生成的，正式sku与一般的电子商务sku功能一致，之所以在生成第一笔实况商品订单的同时才创建正式sku，是出于实况商品数量非常庞大，且大部分都不会产生真实订单需求，为了节约正式sku数量攀升造成的资源消耗和性能压力，因此在有第一笔真实订单提交后，创建正式sku用于电子商务系统的后续功能实现。各个实况商品主体的覆盖范围如图2、图3所示，每个线框内的实况商品都是一个可进行独立动作的商品主体(其标注信息为线框上的描述文字，但不限于此，更多信息保存在实况图片商品库中)。
[0068]
其中，实况商品操作界面用来区分、标记和选择各实况商品的动态图形绘制可以使用最基础的canvas。但本方法在逻辑上不限定显示和互动操作技术，包括一切可以使用其他的图片图形框架来绘制、标记和选择的方法，如3d引擎的vr虚拟现实或xr增强现实等实现方式，均可以实现本方法所阐述的逻辑。
[0069]
本发明提供的图片中商品的处理方法，设计一种底层电商设计架构，采用基于深度学习的机器视觉技术可以对图片中的商品对象进行识别、分割、自动分类、并高亮标注商品位置信息、范围信息等。将任意图片所包含商品进行商品sku对象化管理，每个被识别和标注的商品sku对象，均可以进一步进行在线的订货处理。
[0070]
本发明是一种通用的方法，对任意图片中经过标注的商品建立了可操作的商品对象，允许看到图片的操作者，可以选择下述列表中的方法，对该商品对象进行进一步的处理，具体的操作包括：选择、放弃选择、截图、编号、创建为最小购买单元(sku)，放入购物车、移出购物车、加入收藏夹、移出收藏夹，编辑名称、编辑分类、编辑规格、编辑备注等等。在无需对供应商所有的库存商品，逐款进行一件一码的商品sku精细化管理的粗放式前提下，就能完成对采购商的批量选择和批量采购的需求，将批发市场上大量的未经严格编码和入库
的零碎在库商品，做成电商的可视化、可操作、可订货链接，先摆放陈列和推广宣传商品，再接受采购商选择订货，在有订货采购的真实需求后再生成严谨的电子商务sku和电子商务订单，以便供应商一边同时进行现场的实物批发活动，一边接收远程的采购商电子订单批发，这个过程无需对每款商品进行单件化编目上架，也无需维护商品的实时库存数量，有现货就能随时发图片(或直播实况流影像，实际上是实时图片的更新)上链接销售，销售过程中无需维护线上线下动态库存，一套库存现货，兼顾线下批发客户和线上批发客户的远程和本地销售需求。
[0071]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。