基于多模态的招标投标交易现场无感数字见证方法及系统与流程

本发明涉及现场监管，具体涉及基于多模态的招标投标交易现场无感数字见证方法及系统。

背景技术：

1、招标投标交易现场通常划分为开标室、专家抽取室、专家通道、候标区、封闭评标区与监督区等功能区，现场见证工作目前主要依靠固定视频监控配合人工巡查完成：摄像机将画面回传至监控室，见证人员盯屏观察，发现可疑情况后通过喊话器、工位弹窗或进场巡查进行提醒。

2、这一做法在实际运行中存在多方面不足。

3、其一，单一模态难以覆盖隐蔽违规：多数现场见证仅依靠传统视频监控，无法结合现场音频、人员移动轨迹、工位电脑操作、现场环境等信息联动分析，仅能捕捉画面信息，隐蔽性违规行为难以识别，识别准确率低、误报频发。

4、其二，行为归责与隐私合规相互冲突：要将违规行为归责到具体人员，现有系统普遍依赖人脸识别，而评标现场属于敏感场所，专家名单保密，人脸原始数据的采集与留存本身构成泄密与个人信息保护风险；反过来，若为满足合规要求对人脸做模糊化处理，现有系统便失去跨摄像头追踪与行为归责能力。

5、其三，见证方式干扰现场作业：喊话、弹窗、进场巡查等显性干预一经触发即为全场人员感知，干扰评标专家独立评审、场内人员正常作业，破坏评审环境，违背现场“低干扰、强监管”的见证需求。

6、其四，现场管控缺乏分级机制：面对不同程度的违规行为，采用统一处置方式，轻微行为过度干预，严重行为处置滞后。

7、此外，现场监控数据、异常记录分散存储，无法统一归档、集中回看，不利于事后现场事件核查。

技术实现思路

1、本发明为了解决上述技术问题，提供一种基于多模态的招标投标交易现场无感数字见证方法及系统，实现了在不留存、不使用人脸等生物特征的前提下，通过定位标签轨迹与匿名视觉轨迹的绑定实现违规行为的到人归责，并以误干预率可控、现场无感知的方式完成分级干预与全流程数据留存。

2、本发明通过下述技术方案实现：

3、一种基于多模态的招标投标交易现场无感数字见证方法，包括：

4、采集交易现场的多模态感知数据并统一授时，所述多模态感知数据至少包括视频数据、音频数据、定位数据与工位终端的操作数据，所述定位数据来自场内人员佩戴的定位标签，所述定位标签与场内人员的登记身份一一对应；在边缘侧对视频画面中的面部区域进行匿名化处理，并提取不含面部信息的匿名视觉特征；

5、根据所述定位数据得到定位标签轨迹，根据所述匿名视觉特征得到匿名视觉轨迹，将定位标签轨迹与匿名视觉轨迹进行时空匹配，建立登记身份与匿名视觉轨迹之间的绑定关系；

6、对各模态数据分别进行行为解析，得到各模态的异常观测量，并依据所述绑定关系将异常观测量归责至相应的登记身份；

7、将各模态的异常观测量按模态可靠度加权后沿时间累积，得到异常类别对应的证据累积量，所述证据累积量依次越过多个判决阈值时，触发相应等级的响应，响应的等级中包括干预级；

8、干预级响应的提醒经目标人员的工位终端投放，且仅对目标人员可见；

9、将所述多模态感知数据、所述绑定关系、证据累积的过程量与干预记录按统一时间基准归档。

10、可选地，所述时空匹配包括：

11、将定位标签轨迹与匿名视觉轨迹投影至同一地面坐标系；

12、根据轨迹间的运动状态一致性，计算定位标签轨迹与匿名视觉轨迹构成的轨迹对的关联代价；

13、对关联代价满足门限条件的各轨迹对求解全局最优匹配，得到当前时刻的匹配结果。

14、可选地，通过位置距离项、运动方向一致性项与速率一致性项计算所述关联代价，时刻的第条定位标签轨迹与第条匿名视觉轨迹的所述关联代价：，其中，、分别为两条轨迹在所述地面坐标系中的坐标，为两条轨迹运动方向的夹角，、分别为两条轨迹的速率，、为预设的归一化基准，、为预设权重；

15、所述门限条件为关联代价不大于门限值，根据目标周围的人员密度自适应调整所述门限值：，其中，为目标周围预设半径内的人员数，为预设的密度系数，、分别为门限值的下限与上限。

16、可选地，根据各时刻的匹配结果为每一轨迹对维护绑定置信度：，其中，为时刻第条定位标签轨迹与第条匿名视觉轨迹构成的轨迹对的绑定置信度，为时刻的匹配结果构成的匹配集，为指示函数，为预设的记忆因子；

17、绑定置信度不低于第一阈值且持续预设时长时，确立该轨迹对的绑定关系；

18、确立绑定关系后，仅当绑定置信度不高于第二阈值时解除该绑定关系，所述第二阈值小于所述第一阈值；

19、确立绑定关系后，持续监测定位标签轨迹与所绑定的匿名视觉轨迹之间的空间分离度，所述空间分离度持续超过分离阈值时，解除该绑定关系，冻结相应定位标签的归责效力，并生成警示事件。

20、可选地，所述匿名视觉特征包括人形检测框、骨架关键点与外观向量，所述外观向量取自面部区域以外的躯干区域，面部区域的像素在视频编码输出前被置换；

21、所述音频数据在边缘侧完成语音转写与声学事件提取，原始音频加密封存，所述行为解析仅使用转写得到的文本与声学事件特征。

22、可选地，沿时间累积得到异常类别对应的证据累积量：，其中，为时刻异常类别对应的证据累积量，为预设的泄漏因子，为模态在时刻的异常观测量，为发生类别异常的假设，为正常作业假设，、分别为两种假设下的观测似然，为模态的可靠度权重；

23、归一化各模态当前的信号质量得到所述可靠度权重：，其中，为模态在时刻的信号质量。

24、可选地，由相应等级预设的容许误触发率与容许漏检率解析确定所述判决阈值：，其中，为等级对应的判决阈值，为等级预设的容许误触发率，为等级预设的容许漏检率。

25、8.根据权利要求1所述的基于多模态的招标投标交易现场无感数字见证方法，其特征在于，干预级响应的提醒的投放方式为：

26、根据目标人员的工位终端的操作事件流计算即时操作强度：，其中，为时刻的即时操作强度，为操作事件的发生时刻，为预设的衰减时间常数；

27、所述即时操作强度低于强度阈值，且最近一次操作事件属于预设的段落性操作时，判定目标人员进入停顿窗口，在停顿窗口内经工位终端的非遮挡区域投放提醒；

28、自干预级响应触发起，在预设的最迟投放期限内未出现停顿窗口时，强制投放提醒。

29、可选地，投放提醒后，依据目标人员在工位终端上的操作响应确认目标人员是否已感知所述提醒；

30、预设时限内未得到确认时，提升提醒的显著度后重新投放，重新投放后仍未得到确认时，转入人工介入处置。

31、一种招标投标交易现场无感数字见证系统，包括多模态感知层、边缘计算层、智能分析平台与见证终端；

32、所述多模态感知层布设于交易现场，用于采集视频数据、音频数据、场内人员佩戴的定位标签的定位数据与工位终端的操作数据；

33、所述边缘计算层与所述多模态感知层连接，内置隐私前置处理模块与身份绑定模块，所述隐私前置处理模块用于对视频画面中的面部区域进行匿名化处理并提取不含面部信息的匿名视觉特征，所述身份绑定模块用于将定位标签轨迹与匿名视觉轨迹进行时空匹配，建立登记身份与匿名视觉轨迹之间的绑定关系；

34、所述智能分析平台与所述边缘计算层连接，包括行为识别引擎、序贯判决引擎、干预引擎与归档模块，所述行为识别引擎用于解析各模态数据得到各模态的异常观测量，所述序贯判决引擎用于将各模态的异常观测量按模态可靠度加权后沿时间累积并按多个判决阈值确定响应等级，所述干预引擎用于根据响应等级向工位终端或所述见证终端下发处置指令，所述归档模块用于按统一时间基准归档数据；

35、所述见证终端与所述智能分析平台连接，用于展示见证信息并执行处置指令。

36、本发明与现有技术相比，具有如下的特征和有益效果：

37、本发明通过隐私前置的多模态采集、定位标签轨迹与匿名视觉轨迹的时空匹配绑定、模态可靠度加权的序贯证据累积以及择机投放，在不留存人脸等生物特征的前提下实现了违规行为的到人归责与误干预率可控的分级处置。