基于时序视频流的服饰资产无感管理方法及系统与流程

本发明涉及数字衣橱资产管理的，具体而言，涉及基于时序视频流的服饰资产无感管理方法及系统。

背景技术：

1、随着人工智能与物联网技术的快速发展，智能衣橱与数字衣橱管理系统逐渐成为智能家居和时尚科技领域的研究热点，在服装图像识别与检索方面，基于深度学习的服装目标检测模型能够从用户上传的图片中识别服饰单品并将其切割出来作为特征提取模型的输入，通过深度特征提取与相似度匹配，实现了对服装品类、颜色、版型等属性的自动识别与分类；大规模服装数据集的公开为服装检测、识别、检索及验证等任务提供了训练基础；在智能衣橱系统层面，已有方案通过语义分割模型对用户上传的衣物图像进行识别与分类，实现数字化的库存管理；部分采用rfid标签与传感器网络相结合的方式，通过为每件衣物附加电子标签来实现衣物的身份识别与位置追踪；还有方案通过干簧管开关或位置标签的机械切换来确定衣物托板的使用状态；在穿搭推荐方面，基于大语言模型或多模态模型的智能搭配引擎能够根据衣物的结构化属性信息自动生成搭配建议。

2、虽然智能衣橱与数字衣橱管理系统已经取得了突出的进步，但仍然存在以下两点缺陷：

3、第一，衣物资产的数字化录入过程极为繁琐，严重依赖用户的手动操作，无论是基于图像识别的方案还是基于rfid的方案，用户均需要主动配合，前者要求用户对每件衣物逐一拍照、上传、手动裁剪背景并标注类别标签，后者要求用户为每件新购入的衣物手动粘贴或缝制rfid标签并完成初始绑定，这一过程不仅耗时费力，更严重的是，系统无法自动感知用户何时购入了新衣物、何时将新衣物挂入衣橱，导致新资产的录入存在天然的时间滞后和操作断层；

4、第二，衣物的在库/离库状态与现实严重脱节，无法实时、无感地感知用户日常取放衣服的行为，当用户从衣橱中取出一件衣服穿出门后，系统数据库中的状态记录并不会自动更新，该衣物在数字世界中仍然被标记为在衣橱内，这一状态脱节问题直接导致云端穿搭推荐模型在进行生成式推荐时，经常推荐已被用户穿出门、实际上不在衣柜里的衣服，极大地削弱了智能穿搭推荐的实际可用性和用户体验；

5、综上所述，现有技术均将用户主动操作作为数据录入和状态更新的必要前提，而非将用户自然的取放行为本身作为触发信号，因而无法实现真正的无感化资产管理。

技术实现思路

1、（一）解决的技术问题

2、本发明的目的在于提供基于时序视频流的服饰资产无感管理方法及系统，利用外观特征提取与数据库相似度比对自动区分新衣物和历史衣物，并依据动作识别模型精准判定取出与放入两类操作手势，驱动状态机完成在库状态位的实时翻转，摆脱了系统对用户主动操作的依赖。

3、（二）技术方案

4、本发明是这样实现的，基于时序视频流的服饰资产无感管理方法，应用于资产无感管理设备，具体包括以下步骤：

5、s11：通过部署于衣橱内的单静态摄像头采集用户对衣橱执行取放操作过程的时序视频流，对所采集的时序视频流中的每一帧图像进行实时逐帧推理，追踪用户手部区域与衣物目标区域之间的运动轨迹以及衣物目标在时间序列上的像素级外观特征序列，基于运动轨迹初步判定当前操作所涉及的衣物目标在时序上的行为归属类别；

6、s12：基于所提取的衣物目标在时序上的外观特征序列，通过深度特征提取网络将所述外观特征序列映射为具有预设维度的衣物特征向量，将衣物特征向量与云端数据库中已存储的全部衣物资产的特征向量进行逐一相似度计算，得到相似度度量值序列；

7、s13：基于相似度度量值序列与预设的重合度阈值进行比较，获取衣物目标的资产特征属性，通过资产特征属性完成当前衣物目标的身份锁定，在云端数据库中为其自动生成全局唯一的物理资产标识符；

8、s14：当前衣物目标的身份锁定后，基于追踪得到的用户手部与衣物目标之间的相对空间位置关系及运动轨迹，通过部署的时序行为识别模型对用户当前操作手势进行类别判定，根据判定结果自动更新数据库中与该衣物目标对应的在库状态位，所述在库状态位的每次翻转均附带时间戳记录，形成衣物资产完整的状态变更时序日志；

9、s15：接收云端部署的穿搭推荐模块发起的穿搭方案生成请求，穿搭推荐模块以物理资产标识符列表为候选推荐sku池，基于结构化属性信息执行穿搭协同生成推理，输出仅包含当前在库衣物的穿搭推荐方案。

10、进一步地，在s11中，通过部署于衣橱内的单静态摄像头采集用户对衣橱执行取放操作过程的时序视频流，对所采集的时序视频流中的每一帧图像进行实时逐帧推理，包括：

11、单静态摄像头固定部署于衣橱内部顶角区域或衣橱外部正对柜门开口的安装位，其光轴方向朝向衣橱的衣物取放操作区域，摄像头以每秒15帧至30帧的预设帧率连续采集用户拉开柜门、取放衣服至关闭柜门的完整操作过程的时序视频流，所述预设帧率根据端侧设备的当前计算负载动态自适应调整，当负载低于第一阈值时采用第一帧率值，当负载高于第一阈值且低于第二阈值时采用第二帧率值，当负载高于第二阈值时触发帧跳过策略，仅对关键帧进行采集与推理，非关键帧通过插值方式预估检测结果；

12、基于部署的目标检测算法与目标追踪算法，对所采集的时序视频流中的每一帧图像进行实时逐帧推理，所述目标检测算法以单阶段检测框架对每帧图像执行前向推理，输出用户手部及衣物目标的边界框坐标与类别置信度；

13、所述目标追踪算法基于当前帧检测框与历史帧追踪目标之间的交并比匹配，对目标在下一帧中的位置进行预测，在连续帧间维持对同一目标的跨帧身份一致性追踪。

14、进一步地，追踪用户手部区域与衣物目标区域之间的运动轨迹以及衣物目标在时间序列上的像素级外观特征序列，包括：

15、经目标检测算法输出用户手部及衣物目标的边界框坐标与类别置信度得分后，通过非极大值抑制去除冗余框以及跨帧身份关联，实时输出用户手部区域与衣物目标区域在图像平面上的二维边界框序列，依据该二维边界框序列，计算手部中心点与衣物边界框之间的相对位移量、重叠面积比例及方位角变化量，并基于连续帧间边界框中心点的像素位移矢量生成手部与衣物的运动轨迹参数序列；

16、所述目标追踪算法在连续帧间维持对同一目标的跨帧身份一致性追踪，针对已锁定临时追踪标识符的衣物目标，在其边界框覆盖的像素区域内进行逐像素空间采样，提取该衣物目标在连续时间序列上的像素级外观特征序列；

17、所述外观特征序列至少包括衣物的颜色分布特征、纹理特征、边缘轮廓特征及局部关键点特征，其中颜色分布特征通过将边界框内像素由rgb色彩空间转换至hsv色彩空间后统计各色调区间的像素频数分布得到，纹理特征通过对边界框内像素进行局部二值模式编码并统计其直方图分布得到，边缘轮廓特征通过canny边缘检测算子提取边缘响应图并统计边缘方向梯度直方图得到，局部关键点特征通过尺度不变特征变换算法在边界框区域内检测局部关键点并提取其128维描述子得到。

18、进一步地，在s12中，将衣物特征向量与云端数据库中已存储的全部衣物资产的特征向量进行逐一相似度计算，得到相似度度量值序列，包括：

19、将当前衣物目标的衣物特征向量与云端数据库中已存储的全部既有衣物资产的特征向量逐一进行相似度计算，采用三元组损失函数约束同一衣物的不同视角特征在特征空间中相互靠近、不同衣物的特征相互远离，相似度计算采用余弦相似度度量方式，计算当前特征向量与每一既有特征向量之间的夹角余弦值作为相似度度量值，计算后得到包含全部既有衣物资产对应相似度值的相似度度量值序列；

20、将所述相似度度量值序列中的最大值与预设的重合度阈值进行比较，所述重合度阈值根据数据库既有衣物总数量动态自适应调整；

21、若所述最大值低于所述重合度阈值，则判定当前衣物目标为首次出现的新衣物资产，触发后续新资产录入流程；若所述最大值高于或等于所述重合度阈值，则判定当前衣物目标为已在数据库中存有记录的历史衣物资产，并将所述最大值所对应的既有衣物资产作为候选匹配资产，同时记录该最大值与次大值之差作为匹配置信度指标。

22、进一步地，在s13中，通过资产特征属性完成当前衣物目标的身份锁定，在云端数据库中为其自动生成全局唯一的物理资产标识符，包括：

23、若判定当前衣物目标为新衣物资产，则基于提取的像素级外观特征序列，通过端侧部署的结构化属性识别网络，自动识别并提取该衣物的结构化属性信息，将所述衣物特征向量与结构化属性信息关联绑定，在云端数据库中为其自动生成全局唯一的物理资产标识符，完成新衣物资产的无感录入；

24、若判定当前衣物目标为历史衣物资产，则通过所述候选匹配资产的物理资产标识符，将当前衣物目标重定向并关联至数据库中已存在的该物理资产标识符下，复用该既有衣物的全部历史属性信息与状态信息。

25、进一步地，在s14中，基于追踪得到的用户手部与衣物目标之间的相对空间位置关系及运动轨迹，通过部署的时序行为识别模型对用户当前操作手势进行类别判定，包括：

26、基于相对空间位置关系及运动轨迹，将手部中心点与衣物边界框之间的相对位移量、重叠面积比例、方位角变化量以及手部位移矢量、速度矢量与加速度矢量作为时序行为识别模型的输入特征，将时序视频流在时间维度上均匀划分为多个视频片段，对每一片段分别通过二维卷积神经网络提取空间特征，再经时序融合层聚合多片段的时空特征，最终经全连接分类层输出操作手势属于取出或放入类别的概率分布，并辅助参考手部操作前后空间位置变化趋势及衣物边界框尺寸变化趋势进行结果判定；

27、根据所述时序行为识别模型的判定结果，自动更新数据库中与该衣物目标对应的在库状态位，若判定当前操作手势属于放入动作类别，表明用户正将衣物挂回或放入衣橱内，则将所述在库状态位自动翻转为表征在库的第一状态值；

28、若判定当前操作手势属于取出动作类别，表明用户正将衣物从衣橱中拿出准备穿着，则将所述在库状态位自动翻转为表征离库的第二状态值；

29、所述在库状态位的每次翻转均附带当前系统时间戳及对应视频帧序号记录，按时间顺序追加写入该衣物资产的状态变更时序日志中，形成状态切换历史记录。

30、进一步地，在s15中，接收云端部署的穿搭推荐模块发起的穿搭方案生成请求，穿搭推荐模块以物理资产标识符列表为候选推荐sku池，包括：

31、云端部署的穿搭推荐模块响应于用户主动触发或系统按预设时间策略自动触发的穿搭方案生成请求，向云端数据库发起在库衣物资产查询指令，所述查询指令中至少包含筛选条件为在库状态位取值为表征在库的第一状态值的所有衣物资产；

32、所述预设时间策略包括每日固定时刻定时触发、用户走出衣橱空间后的延迟触发以及外部环境信息变化触发的条件触发；

33、所述外部环境信息至少包括当日天气信息、温度信息、湿度信息及紫外线强度信息，所述查询指令还包含由穿搭推荐模块根据外部环境信息和用户历史穿搭偏好数据自动生成的对结构化属性信息中颜色类别、版型类别及材质类别一个或多个字段的筛选条件。

34、进一步地，向云端数据库发起在库衣物资产查询指令，包括：

35、云端数据库响应于查询指令，以云端数据库收到查询指令时的系统时间戳为基准，返回当前时刻所有标记为在库状态的衣物资产的物理资产标识符列表及对应的结构化属性信息；

36、穿搭推荐模块以查询返回的物理资产标识符列表为候选推荐sku池，依据预设的穿搭搭配规则库对候选sku进行两两组合或多件组合的搭配可行性判定，所述搭配规则库至少包括颜色搭配规则、版型搭配规则、材质搭配规则及季节适配规则，并通过协同过滤算法或基于注意力机制的序列生成模型从可行搭配组合中按搭配协调度评分排序输出一个或多个穿搭推荐方案；

37、所有标记为离库状态的衣物资产自动被排除出候选推荐sku池，确保推荐结果与实际在库物理资产状态实时一致。

38、与现有技术相比，本发明提供的基于时序视频流的服饰资产无感管理方法及系统，具备以下有益效果：

39、1、通过单静态摄像头对用户自然的取放行为进行持续观测，在用户完全无感的前提下，利用端侧目标检测与追踪算法实时锁定手部与衣物的交互关系，利用外观特征提取与数据库相似度比对自动区分新衣物和历史衣物，并依据动作识别模型精准判定取出与放入两类操作手势，驱动状态机完成在库状态位的实时翻转，摆脱了系统对用户主动操作的依赖，将资产管理过程融入用户的日常生活习惯之中；

40、2、通过轻量化的卷积神经网络与分段式时序行为识别模型协同工作，在计算资源受限条件下仍能保持稳定的实时推理性能，云端数据库的特征向量检索与状态过滤确保了穿搭推荐引擎仅基于当前实际在库的衣物资产进行搭配生成，推荐结果与物理现实始终保持一致，同时系统以每件衣物的唯一物理资产标识符为核心，自动维护包含时间戳的状态变更时序日志，为后续的穿戴频率分析、搭配效果追踪等数据增值服务提供了结构化基础，不仅降低了智能衣橱的部署门槛和使用成本，也为基于真实在库数据的个性化穿搭推荐奠定了基础，提升了用户对智能穿搭服务的信任度和满意度。

41、基于时序视频流的服饰资产无感管理系统，用于执行上述的服饰资产无感管理方法，所述管理系统包括：

42、视频采集模块，用于连续采集用户对衣橱执行取放操作过程中的时序视频流并传输至端侧；

43、端侧处理模块，用于对所述时序视频流进行实时目标检测与追踪，提取衣物目标的像素级外观特征序列并映射为衣物特征向量，识别衣物的结构化属性信息，以及对用户当前操作手势进行取出或放入类别判定；

44、云端数据库模块，用于存储全部衣物资产的物理资产标识符、特征向量、结构化属性信息及在库状态位，并维护每一衣物的状态变更时序日志；

45、查重与关联模块，用于将所述衣物特征向量与数据库中的既有特征向量进行比对，判定当前衣物为新资产或历史资产，并相应触发新资产录入或关联至已有标识符；

46、状态管理模块，用于根据操作手势判定结果，将对应衣物的在库状态位翻转为在库或离库状态；

47、穿搭推荐模块，用于响应于穿搭生成请求，从数据库中查询所有在库状态的衣物资产，并以查询结果作为候选推荐池，生成穿搭推荐方案。

48、具体的，所述端侧处理模块包括：

49、目标检测与追踪单元，用于对每一帧图像进行目标检测，在连续帧间维持对同一衣物目标的身份一致性追踪，输出手部与衣物的运动轨迹；

50、特征提取单元，用于提取衣物目标在时序上的像素级外观特征序列，将所述外观特征序列映射为衣物特征向量，以及识别衣物的结构化属性信息；

51、行为识别单元，用于基于所述运动轨迹对用户操作手势进行取出或放入类别判定。