风险信息识别方法和计算机设备与流程

本申请涉及人工智能，特别是涉及一种风险信息识别方法和计算机设备。

背景技术：

1、随着通信技术的飞速发展，互联网空间充斥着包括网络诈骗、虚假信息、违法交易等多样化风险信息，对网络安全和社会稳定构成严峻挑战。为应对这一威胁，基于机器学习的风险信息监测系统通过构建分类模型实现自动化识别，但其应用效果仍存在显著局限性。

2、例如，该体系需依赖大规模标注数据进行模型训练，而风险信息的动态演化特性导致数据标注存在显著滞后性。网络黑产为规避监测，会不断创造新型话术体系、混合编码文本，这类新兴风险样本往往缺乏历史标注数据支撑，导致模型对未知模式的识别能力急剧下降。

3、因此，采用该方法识别风险信息仍存在识别能力受限的问题。

技术实现思路

1、为解决现有存在的技术问题，本申请提供一种兼顾了风险识别处理的准确度和全面性，能够准确且全面地响应风险识别任务的风险信息识别方法、计算机设备和存储介质。

2、第一方面，提供一种风险信息识别方法，所述方法包括：

3、获取待评估文字；

4、将风险识别提示词和所述待评估文字输入第一模型，指示所述第一模型对所述待评估文字进行风险识别处理；所述第一模型为通用大语言模型；

5、获取所述第一模型的第一输出结果；

6、在检测到所述第一输出结果表征所述待评估文字触发大语言模型安全机制时，将所述待评估文字输入第二模型进行风险识别处理；所述第二模型具备对高风险信息的处理能力；

7、获取所述第二模型输出的对所述待评估文字的风险识别结果。

8、其中，所述获取待评估文字包括：

9、获取音频数据；

10、将所述音频数据分割为多个音频片段；

11、识别各音频片段的语种，得到各所述音频片段属于各备选语种的识别概率，并计算得到基于全部音频片段的各备选语种的识别平均概率；

12、将所述识别平均概率最高的所述备选语种，作为所述音频数据的语种；

13、根据所述语种将所述音频数据转写为文字，得到待评估文字。

14、第二方面，提供一种计算机设备，包括处理器及与所述处理器连接的存储器，所述存储器上存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现上述实施例的风险信息识别方法的步骤。

15、上述实施例所提供的风险信息识别方法，采用了第一模型和第二模型组合的方法进行风险信息识别，第一模型采用通用大语言模型，其文本分析能力更优，但容易触发安全机制，从而对低敏感风险信息或无敏感风险信息具有更好的分析能力。而第二模型具备高敏感风险信息的分析能力。对于待评估文字，先用第一模型进行风险识别处理，对于不触发大语言模型安全机制的待评估文本，第一模型能够准确地输出风险识别结果。而若待评估文字触发大语言模型安全机制，第一模型无法输出待评估文本的风险识别结果时，采用第二模型对该待评估文本进行风险识别处理。由于第二模型具备高敏感风险能力，能够对具有高敏感风险的待评估文本输出风险识别结果。该方法整合具备差异化专业优势的两个模型，同时兼顾了风险识别处理的准确度和全面性，能够准确且全面地响应风险识别任务。

16、进一步地，本申请的方法，还能够对音频数据进行风险识别处理。通过对原始音频进行语音片段切割，避免因整段复杂音频直接输入语种识别模型而引发的识别错误。随后，通过对各语音片段进行平均概率计算和选举，从置信度的角度最大化地利用了语种识别模型的能力，有效提升了整体语种识别的准确性，进而提高了音频数据的风险识别准确性。利用该语音识别方式上的改进，采用本申请的方法，可适用于国外内小语种语音音频数据的风险识别处理，能够满足不同场景下用户对数据处理效率和准确性的要求。

17、上述实施例提供的计算机设备，与对应的风险信息识别方法实施例属于同一构思，从而与对应的风险信息识别方法实施例具有相同的技术效果，在此不再赘述。

1.一种风险信息识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，检测所述第一输出结果是否表征所述待评估文字触发大语言模型安全机制的方式，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述获取待评估文字包括：

5.根据权利要求1或4所述的方法，其特征在于，所述获取待评估文字，包括：

6.根据权利要求5所述的方法，其特征在于，所述逐条分析指令对应的风险识别提示词为第一风险识别提示词，所述第一风险识别提示词指示模型识别所述待评估文字的分类、风险程度和风险判别依据。

7.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述批量分析指令对应的风险识别提示词为第二风险识别提示词，所述第二风险识别提示词指示模型识别所述待评估文字的风险程度、风险判别依据和对所述指定对象的处理建议。

9.根据权利要求1、2或4所述的方法，其特征在于，所述第二模型为拒绝抑制的大语言模型；所述将所述待评估文字输入第二模型，包括：

10.一种计算机设备，其特征在于，包括处理器及与所述处理器连接的存储器，所述存储器上存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的风险信息识别方法的步骤。