一种智能研判系统的制作方法

1.本发明涉及研判辅助工具技术领域，更具体的说是涉及一种智能研判系统。


背景技术：

2.研判是司法机关办案过程中不可或缺的重要环节，研判人员需在此过程中尽快突破被研判人的心理防线、挖掘证据，推动案件侦办过程，尽量缩短办案时间，减少损失。
3.在传统模式下，研判工作对研判人员自身的业务能力要求极高。若研判人员缺乏经验，或面对较为复杂的案件及善于“伪装”的被研判人时，往往需调请相关专家或设备来实施研判工作，可能错过最佳研判时间、延误破案时机，同时耗费大量的人力、物力、时间和资源。
4.因此，专业的研判研判系统对提升破案效率、节约人力物力至关重要。但当前常用的测谎仪、微表情系统等设备因技术的局限性，普遍存在以下痛点：
5.1)不“隐形”：需要在被研判对象身上安装各种传感器，容易使其产生紧张情绪，干扰测试结果；同时，对象在知道测谎的情况下，会提高警觉性，影响研判效果；
6.2)检测指标缺失或检测指标本身不具备参考性：测谎仪只显示脉搏、呼吸和皮电等数值，缺少血压、心率等数据，不能全面反应对象生理情况，无法判别真实身体异常和伪装身体异常；而微表情系统通过表情分析情绪，易受到人固有表情习惯特性的影响，在特定场景下不能有效区分对应的含义，已被逐渐淘汰；
7.3)不直观：系统以传统图表方式显示数据，不能直观显示结果，需要办案人员根据研判内容和数据图表进行判断，延误时机；
8.4)系统功能单一：往往只侧重某一方面，例如只判断是否撒谎或者表情是否异常，无法对研判研判提供多维度的全面指导。
9.如何提供一种采用无接触技术采集被研判人员的生理体征、心理压力和声音情绪变化，并进行分析，辅助研判人员断案的智能研判系统是本领域技术人员亟需解决的技术问题。


技术实现要素：

10.有鉴于此，本发明提供了一种智能研判系统，能够全程无感地监测和采集被研判人员的生理参数指标，计算分析其心理异动、情感变化和供述可信度等，在研判过程中帮助研判人员找到可疑之处并重点研判，起到快速排除对象，及时调整研判方向。
11.为了实现上述目的，本发明采用如下技术方案：
12.一种智能研判系统，包括：智能摄像头、智能麦克风和智能终端；所述智能摄像头和所述智能麦克风分别与所述智能终端电性连接；
13.所述智能摄像头用于跟踪并采集被研判人员脸部的视频数据，基于脸部颜色亮暗变化获得血容量脉冲信号，并基于血容量脉冲信号计算被研判人员的生理指标；
14.所述智能麦克风用于采集被研判人员的音频数据；
15.所述智能终端用于根据被研判人员的生理指标变化分析其在不同时刻的心理压力变化，并根据被研判人员的音频数据中的声音变化分析其在不同时刻的情绪变化；同时，以图表形式实时显示被研判人员不同时刻的心理压力变化和情绪变化，并在被研判人员心理压力值或情绪值超出预警值时，发出弹窗警示或颜色高亮警示。
16.优选的，在上述一种智能研判系统中，所述智能摄像头包括人脸识别模块、去噪模块、血容量脉冲信号提取模块和生理指标计算模块；
17.所述人脸识别模块用于不间断采集被研判人员脸部的视频数据，采用人脸检测跟踪算法对所述视频数据进行面部定位，并将面部进行分割，选定面部分析区域；
18.所述去噪模块用于采用相干平均法对选定的面部分析区域内的像素点进行计算，构造r、g、b三基色的空间平均序列；
19.所述血容量脉冲信号提取模块用于采用ica盲源分离方法结合滑动窗方式对被研判人员脸部的视频数据进行血容量脉冲信号定位和提取；
20.所述生理指标计算模块用于根据血容量脉冲信号计算被研判人员的心率、血压、呼吸率和心率变异性。
21.优选的，在上述一种智能研判系统中，所述智能终端包括时域分析模块、频域分析模块、非线性分析模块、评估模块和显示器；
22.所述时域分析模块用于从被研判人员的生理指标中提取时域信号，并对所述时域信号进行标准化处理；所述时域信号包括：均值meanrr、心率变异标准偏差sdnn和连续性差异的平方根rmssd；所述均值meanrr用于反应rr间期的平均水平；所述心率变异标准偏差sdnnrr间期的波动情况；所述连续性差异的平方根rmssd用于评价与心脏有关的副交感神经的功能活跃程度；
23.所述频域分析模块用于采用快速傅里叶变换从被研判人员的生理指标中提取频域信号；所述频域信号包括：总能量tp波、高频hf波和低频lf波；所述总能量tp波用于反映自主神经活力和ans调节能力；所述高频hf波的波段介于rr间期频谱中的0.15～0.40hz，其用于反映血压调节机制及呼吸活动；所述低频lf波的波段介于rr间期频谱中的0.04～0.15hz，其用于反映血压调节机制及呼吸活动；
24.所述非线性分析模块用于从被研判人员的生理指标中提取非线性信号；所述非线性信号用于揭示心脏搏动的非线性过程和非周期运动；
25.所述评估模块用于将所述时域信号、所述频域信号和所述非线性信号与标准值进行比较，监测被研判人员的心理压力变化；
26.所述显示器上预先下载安装有研判app，所述研判app用于实时显示所述视频数据，并以图表形式显示心理压力变化情况。
27.优选的，在上述一种智能研判系统中，所述智能终端还包括声音信号预处理模块、声音情感特征提取模块和声音情绪识别模块；
28.所述声音信号预处理模块用于对所述音频数据进行预处理，以声音而非内容作为分析目标；所述声音特征包括声学特征、韵律特征和音质特征；
29.所述声音情感特征提取模块用于采用lstm长短时记忆网络模型提取声音特征中的mfcc声音情感特征参数，并计算mfcc声音情感特征参数在高频率和较低频率内的微小变化；
30.所述声音情绪识别模块用于通过声音频率计算语音特征中各个时域与情感特征的相关性权重，并比较声音信号中不同时域的相关性权重，从中选取权重相对较大的时域信号进行识别，监测被研判人员的情绪变化；
31.所述研判app还用于以图表形式显示被研判人员在不同时刻的情绪变化情况。
32.优选的，在上述一种智能研判系统中，所述研判app包括预警显示模块和研判显示模块；
33.所述预警显示模块用于生成预警显示界面，所述预警显示界面包括实时视频数据、综合反应警戒柱状图、供述记录、心理压力变化折线图和情绪变化柱状图；
34.所述研判显示模块用于生成研判显示界面，所述研判显示界面包括被研判人的综合状态水平折线图、心理压力瞬时值、心理压力变化、情绪变化雷达图和稳定性分析四象限图。
35.优选的，在上述一种智能研判系统中，情绪变化至少包括正常、激动、感到压力、感到极度压力、感到困惑、伪装语调、可疑、犹豫和高度可疑。
36.优选的，在上述一种智能研判系统中，所述研判app还包括报告生成模块；所述报告生成模块用于供研判人员查询并下载某次研判的研判分析报告；所述研判分析报告以图文方式记录每次研判的基础信息、被研判人员特征概况、生理特征概况、心理压力评定和情绪变化评定。
37.优选的，在上述一种智能研判系统中，所述研判app还包括笔录生成模块；所述笔录生成模块用于自动以问答形式记录研判人员和待研判人员之间的对话。
38.优选的，在上述一种智能研判系统中，所述智能麦克风内置多个单指向麦克风，且实现双向拾音，两个拾音方向分别对准被研判人员和研判人员。
39.优选的，在上述一种智能研判系统中，所述研判app还包括研判过程回放模块；所述研判过程回放模块用于保存每次研判过程完整的音视频记录，并标注每次研判过程的关键时间节点，还用于供研判人员按照时间或关键字的方式查找某次的研判记录。
40.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种智能研判系统，能够全程无感的监测和采集被研判人员的生理参数指标，计算分析其心理异动、情感变化和供述可信度等，在研判过程中帮助研判人员找到可疑之处并重点研判，起到快速排出嫌疑对象，及时调整研判方向，以及突破重点目标的心理防线，促使被研判人员交代犯罪事实的作用，同时在研判后的分析研判阶段，通过研判回放和心理异动标注功能帮助研判人员发现研判突破点，为后续研判提供侦破方向。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
42.图1附图为本发明提供的智能研判系统的结构示意图；
43.图2附图为本发明提供的智能摄像头的结构框图；
44.图3附图为本发明提供的智能终端的结构框图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.如图1所示，本发明实施例公开了一种智能研判系统，包括：智能摄像头、智能麦克风和智能终端；智能摄像头和智能麦克风分别与智能终端电性连接；
47.智能摄像头用于跟踪并采集被研判人员脸部的视频数据，基于脸部颜色亮暗变化获得血容量脉冲信号，并基于血容量脉冲信号计算被研判人员的生理指标；
48.智能麦克风用于采集被研判人员的音频数据；
49.智能终端用于根据被研判人员的生理指标变化分析其在不同时刻的心理压力变化，并根据被研判人员的音频数据中的声音变化分析其在不同时刻的情绪变化；同时，以图表形式实时显示被研判人员不同时刻的心理压力变化和情绪变化，并在被研判人员心理压力值或情绪值超出预警值时，发出弹窗警示或颜色高亮警示。
50.其中，智能摄像头和智能麦克风以伪装的方式安装在研判室，能够采集 43帧/秒高清视频和实现360度多角色的音频采集。
51.智能终端选择当前最先进的cpu和gpu，搭载算法芯片，所有数据分析算法以加密方式集成在芯片中；终端分析设备在硬件位置和散热都进行了优化设计，将所有硬件集成在itx机箱内，在保证体积最小的情况下，能满足长时间不间断稳定运行的行业要求。
52.在一个具体实施例中，无接触式生理体征捕捉技术的具体实现过程为：
53.智能摄像头基于人脸检测跟踪、血容量变化脉冲等算法，仅需采集人脸视频即可实时计算其心率、呼吸率、血压和心率变异性hrv等生理指标，准确率95％以上，并实现43帧/秒的实时视频录制功能，被研判人员不需要佩戴任何传感器即可采集和计算生理指标，实现无感知、非接触式、隐蔽模式的即时研判研判，突破了传统设备必须佩戴传感器才能采集数据的瓶颈，极大降低因对象紧张、警觉等情绪对检测结果的影响。
54.同时，采集数据较传统设备而言，更全面，涵盖心率、呼吸率、血压和心率变异性等，可以真正协助判断对象身体状态是否能适合当前的研判强度，或者是否有吸毒、内伤或其它隐性疾病。
55.技术原理：心脏的周期性搏动会引起血管的周期性扩张与收缩，并将血液涌向面部，血量的增加使面部吸收更多的光线，反射出的光线也相对较少，人的脸部颜色就会随着心跳周期性变暗变亮，由此产生与心跳同步的血容量脉冲(bvp)信号，根据bvp信号可推算出心率、呼吸率、血压和心率变异性。
56.具体的，如图2所示，智能摄像头包括人脸识别模块、去噪模块、血容量脉冲信号提取模块和生理指标计算模块；
57.人脸识别模块用于不间断采集被研判人员脸部的视频数据，采用人脸检测跟踪算法对视频数据进行面部定位，并将面部进行分割，选定面部分析区域；
58.去噪模块用于采用相干平均法对选定的面部分析区域内的像素点进行计算，构造r、g、b三基色的空间平均序列；
59.血容量脉冲信号提取模块用于采用ica盲源分离方法结合滑动窗方式对被研判人
员脸部的视频数据进行血容量脉冲信号定位和提取；
60.生理指标计算模块用于根据血容量脉冲信号计算被研判人员的心率、血压、呼吸率和心率变异性。
61.在另一个具体实施例中，心理压力分析变化的实现过程为：
62.本发明实施例基于hrv时域分析、hrv频域分析、hrv非线性分析和心理压力评估算法等核心算法，结合研判音视频记录，建立大数据分析模型，实现对问询对象证词的真伪判别。通过生理反应变化分析心理压力
‑‑
判别证词真伪
‑‑
迅速撕破“伪装”。即使被研判对象未表露出任何异常，也能通过其心理压力变化来判断真实状态，帮助办案人员确认对象的弱点和案事件的关键点。
63.此外，本发明实施例的算法在特定数据集(研判音视频数据)之上进行了定制，且计算速度快，实时性强，符合研判研判行业应用需求。
64.技术原理：心率变异性(hrv)是指窦性心率在一定时间内发生周期性改变，它反映了交感-副交感神经的张力以及平衡的情况。当个体处于紧张状态出现应激反应时，交感神经兴奋导致心跳加快、血流量增加、血压升高、呼吸加深，以便迅速地调用生理的机能；相反，副交感神经在身体安静时处于优势，维持正常的生理平衡。
65.具体实现过程如图3所示，智能终端包括时域分析模块、频域分析模块、非线性分析模块、评估模块和显示器；
66.时域分析模块用于从被研判人员的生理指标中提取时域信号，并对时域信号进行标准化处理，以评估自主神经系统的活性；时域信号包括：均值 meanrr、心率变异标准偏差sdnn和连续性差异的平方根rmssd；均值 meanrr用于反应rr间期的平均水平；心率变异标准偏差sdnnrr间期的波动情况；连续性差异的平方根rmssd用于评价与心脏有关的副交感神经的功能活跃程度；其中，rr间期表示由心动周期的两个相邻r波峰组成的间隔。
67.频域分析模块用于采用快速傅里叶变换从被研判人员的生理指标中提取频域信号；频域信号包括：总能量tp波、高频hf波和低频lf波；总能量 tp波用于反映自主神经活力和ans调节能力；高频hf波的波段介于rr间期频谱中的0.15～0.40hz，其用于反映血压调节机制及呼吸活动；低频lf波的波段介于rr间期频谱中的0.04～0.15hz，其用于反映血压调节机制及呼吸活动。频域分析模块分别评估形成hrv信号的各频率频带强度，掌握自主神经功能及组成自主神经系统的两大方面(交感和副交感)的平衡程度，继而评估自主神经平衡程度。
68.非线性分析模块用于从被研判人员的生理指标中提取非线性信号；非线性信号用于揭示心脏搏动的非线性过程和非周期运动；
69.评估模块用于将时域信号、频域信号和非线性信号与标准值进行比较，监测被研判人员的心理压力变化；标准值可采用根据北美和欧洲生理学会制定的心率变异性与人的心理压力负荷关联各项指标的标准值和针对研判音视频大数据分析的标准值。
70.显示器上预先下载安装有研判app，研判app用于实时显示视频数据，并以图表形式显示心理压力变化情况。
71.在另一个具体实施例中，声音情绪分析的具体过程为：
72.本发明基于声音信号预处理算法、声音情感特征提取算法、声音情绪识别算法，对智能麦克风采集的被研判人员的语音数据进行分析，以说话者声音而非内容为分析目标，
能够判断对象说话时的11种情绪主观情绪，包括紧张、专注思考、犹豫、后悔和控制语调等，帮助办案人员结合对象供述的内容综合判断其回答可信度，突破了人脑难以判别声音微小变化的局限，同时打破了说话语言和内容的限制，适合国内方言复杂的环境，还提炼对研判最有帮助的情绪状态，为办案人员提供最有价值的信息。
73.技术原理：在与对象进行研判、约谈和对话时，相比于正常状态下，对象在陈述时会引起声压、语气、语速、停顿时间和发声器官微小变化，进而导致语音中某些特征参数的变化。本发明源于长短时记忆网络ltsm算法精确地监测从被研判人员语音的高频率(rhfr)和较低频率(rlfr)内的微小变化，从而识别和监测对象情绪变化。
74.智能终端对声音进行分析的具体实现原理如图3所示，智能终端还包括声音信号预处理模块、声音情感特征提取模块和声音情绪识别模块；
75.声音信号预处理模块用于对音频数据进行预处理，以声音而非内容作为分析目标；声音特征包括声学特征、韵律特征和音质特征；
76.声音情感特征提取模块用于采用lstm长短时记忆网络模型提取声音特征中的mfcc声音情感特征参数，并计算mfcc声音情感特征参数在高频率和较低频率内的微小变化；
77.声音情绪识别模块用于通过声音频率计算语音特征中各个时域与情感特征的相关性权重，并比较声音信号中不同时域的相关性权重，从中选取权重相对较大的时域信号进行识别，监测被研判人员的情绪变化；
78.研判app还用于以图表形式显示被研判人员在不同时刻的情绪变化情况。
79.在一个实施例中，研判过程中，可分为预警模式和研判模式，具体体现在：研判app包括预警显示模块和研判显示模块；
80.预警显示模块用于生成预警显示界面，预警显示界面包括实时视频数据、综合反应警戒、供述记录、心理压力变化和情绪变化；其中，综合反映警戒用于以柱状图展示实时心理反应和情绪反应，并根据风险值不同显示的颜色，当认定风险水平增高后，颜色条会渐渐填满指示条并变色；供述记录用于以文字形式实时显示研判人员和被研判人员的对话，并对被研判人员的供述标注正常供述、异常或警告三种状态标注；心理压力变化用于以折线图的方式显示被研判人员的心理压力变化，并在达到异常阈值或警告阈值时，发出弹窗警示或颜色高亮警示，说明被研判人员接受或出现较大的刺激与反应，需要密切关注；情绪变化显示被研判人员当前的情绪状态，包括正常、激动、感到压力、感到极度压力、感到困惑、伪装语调、可疑、犹豫和高度可疑等情绪状态。
81.下面。对以上九种情绪分别进行解释：
82.正常：表明被研判人员此时的供述可信度比较高，陈述的是事实；
83.紧张：表明被研判人员出现尴尬或不安的反应；
84.有压力：表明被研判人员出现较大的应激情绪反应，感受到一定压力，研判人员需要关注这种情绪反应是否正常；
85.高压力：表明被研判人员出现明显高于正常的压力；
86.专注思考：表明被研判人员对当前的供述期望值很高，要么在强调细节，要么试图使研判人员信服；
87.没有信心：表明被研判人员对供述没有信心或不知晓被提的问题；
88.控制语调：表明被研判人员故意控制或伪装声音，试图使研判人员相信自己的供述；
89.可疑：表明被研判人员故意不透露所有和问题相关的信息，或者对刚才说过的话很后悔；
90.可能说谎：表明被研判人员说得可能不是事实或有隐瞒。
91.研判显示模块用于生成研判显示界面，研判显示界面包括被研判人的综合状态水平、心理压力瞬时值、心理压力变化、情绪变化和稳定性分析。心理压力瞬时值”显示被研判人员当前的心理压力程度，分为正常、临界和异常三种状态，当出现异常时，将及时预警；“综合状态水平”监测被研判人员的综合精神状态变化，当达到异常或警告阈值时，说明被研判人员的心理或情绪出现非正常情况；“情绪统计”以雷达图的方式对被研判人员各种情绪进行统计；“稳定性分析”以四象限的方式显示被研判人员的稳定状态。
92.在其他实施例中，智能终端还包括报告生成模块；报告生成模块用于供研判人员查询并下载某次研判的研判分析报告；研判分析报告以图文方式记录每次研判的基础信息、被研判人员特征概况、生理特征概况、心理压力评定和情绪变化评定。
93.更有利的，研判app还包括笔录生成模块；笔录生成模块用于自动以问答形式记录研判人员和待研判人员之间的对话。
94.在一个具体实施例中，研判app还包括研判过程回放模块；研判过程回放模块用于保存每次研判过程完整的音视频记录，并标注每次研判过程的关键时间节点，还用于供研判人员按照时间或关键字的方式查找某次的研判记录。
95.在另一个实施例中，还包括指挥平台，指挥平台与智能终端通信连接，用于远程实时观察研判室内被研判人员的心理压力和情绪变化状态。
96.本发明智能研判系统的组装及操作过程如下：
97.1、智能摄像机安装及部署
98.(1)将智能摄像机与智能终端的usb口相连，当系统开机后，智能摄像机上的显示灯将显示为绿色；
99.(2)将智能摄像机镜头对准被研判人员脸部，距离范围在0.5米至3米内；
100.(3)智能终端开机并登录系统后，点击页面右上角菜单(用户名)中的“关闭系统”按钮，系统将退出并关闭浏览器，进入桌面；
101.(4)启动桌面上的“摄像机设置”程序，对智能摄像机进行调焦。
102.(5)完成智能摄像机设置后，点击桌面上的“启动”程序，等待2分钟后，系统将自动运行并显示登录页面。
103.2、智能麦克风安装及部署
104.(1)将智能麦克风与智能终端的usb口相连，当系统开机后，智能麦克风上的显示灯将显示为绿色或淡蓝色，表示开始正常采集声音；
105.(2)将智能麦克风上的显示灯的话筒方向(或者电源线的一方)朝向研判人员，另一方朝向被研判人员，距离范围在0.5米至3米内。
106.3、研判研判
107.研判人员登录系统后，创建研判目录，切换显示预警显示界面或研判显示界面。
108.完成研判工作后，点击研判主页面右上角的“结束研判”按钮，保存音视频后退出
研判功能，进入研判记录列表页面。研判列表页面显示所有研判记录，研判人员可以对每次研判进行研判回放，并下载研判分析报告。
109.4、研判回放
110.(1)研判人员点击“研判回放”按钮后，将进入该研判的回放页面，在回放页面中，可点击右上角的“切换显示”按钮，分别查看被研判人员的心理情绪变化和综合精神压力：
111.(2)研判回放包含了研判中的所有数据。研判人员点击被研判人员的供述记录，会播放该记录对应时段的音视频，并显示所有分析结果，协助研判人员发现线索和制定接下来的研判对策。在回放页面最下方显示研判预警热力图，其中每一格代表研判中的一个时间段，并分别以蓝色、黄色和红色标注该时间段的预警值，研判人员点击格子时，系统将跳转到对应的研判时间点。
112.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
113.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。