业务推荐方法及装置与流程

1.本发明涉及机器学习技术领域，具体而言，涉及一种业务推荐方法及装置。


背景技术：

2.在相关技术中，已有的针对金融服务行业的业务推荐方法和技术，主要依据客户画像和客户经理画像，以及采用人工智能算法进行运算推荐，其中，人工智能算法多基于波尔茨曼机或者更新一些的lstm、rnn网络等，但这种推荐方法下的推荐准确度较低，背后的原因是传统的基于统计学的方法是对于客户的点线面的画像，可能观察到了足够多的用户的所谓维度，比如资产与负债，甚至会有一些算法去关注客户的计算机鼠标点击频率与次数等信息，但是本质上客户行为与其金融相关属性是一个随着时间而不断变化的过程。传统的统计学即便发挥到极致也无法将这个时间行为的序列纳入其中，因此，出现了关注时序问题的算法，如rnn与lstm架构算法，但由于上述算法受其架构的限制无法关注到一个相对长时间的时序，依然会影响业务推荐的准确性。


技术实现要素：

3.本发明实施例提供了一种业务推荐方法及装置，以至少解决相关技术中已有的关注时序问题的算法受其架构的限制，无法关注到一个相对长时间的时序，以及单一的金融时序类数据，会导致业务推荐不够准确的问题。
4.根据本发明的一个实施例，提供了一种业务推荐方法，包括：基于多类型金融数据获取金融时序数据集，并将所述金融时序数据集与自然语言通用数据集进行合并，得到合并数据集；基于所述合并数据集，对堆叠注意力机制模型进行模型训练；将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，得到所述目标用户在未来时序的金融反馈数据，根据所述金融反馈数据向所述目标用户进行业务推荐。
5.在一个示例性实施例中，将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，包括：将所述目标用户的金融时序数据编写为特定金融时序信息文本，以进行约束性控制输入。
6.在一个示例性实施例中，将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，包括：根据参照物经典统计模型评估所述目标用户的各项指标数据，以得到所述目标区用户在未来时序的金融反馈数据。
7.在一个示例性实施例中，所述金融数据至少包括以下之一：行业情况、金融市场以及另类数据的金融时序数据集。
8.在一个示例性实施例中，所述堆叠注意力机制模型采用的算法包括：logsparse transformer算法。
9.根据本发明的另一个实施例，提供了一种业务推荐装置，包括：合并模块，用于基于多类型金融数据获取金融时序数据集，并将所述金融时序数据集与自然语言通用数据集进行合并，得到合并数据集；训练模块，用于基于所述合并数据集，对堆叠注意力机制模型
进行模型训练；推荐模块，用于将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，得到所述目标用户在未来时序的金融反馈数据，根据所述金融反馈数据向所述目标用户进行业务推荐。
10.在一个示例性实施例中，所述推荐模块，包括：编写单元，用于将所述目标用户的金融时序数据编写为特定金融时序信息文本，以进行约束性控制输入。
11.在一个示例性实施例中，所述推荐模块，还包括：评估单元，用于根据参照物经典统计模型评估所述目标用户的各项指标数据，以得到所述目标区用户在未来时序的金融反馈数据。
12.根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
13.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
14.通过本发明，由于在金融时序数据集中合并了自然语言通用数据集，使得数据集更全面，同时，通过堆叠注意力机制能够处理更长的时间序列，，能够保证训练模型的注意力不丢失。因此，可以解决相关技术中已有的关注时序问题的算法受其架构的限制，无法关注到一个相对长时间的时序，以及单一的金融时序类数据，会导致业务推荐不够准确的问题，达到提高业务推荐准确性的效果。
附图说明
15.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
16.图1是本发明实施例的运行业务推荐方法的计算机终端的硬件结构框图；
17.图2是根据本发明实施例的业务推荐方法的流程图；
18.图3是根据本发明实施例的业务推荐装置的结构框图；
19.图4是根据本发明另一实施例的业务推荐装置的结构框图；
20.图5是根据本发明实施例的堆叠注意力机制相对于传统transformer的架构比较的示意图；
21.图6是根据本发明实施例的一种基于时序的推荐客户的方法；
22.图7是根据本发明实施例的任务流程示意图。
具体实施方式
23.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
24.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
25.实施例1
26.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的运行业务推荐方法的计
算机终端的硬件结构框图。如图1所示，计算机终端100可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
27.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的业务推荐方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
28.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端100的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
29.在本实施例中提供了一种运行于上述计算机终端的业务推荐方法，图2是根据本发明实施例的业务推荐方法的流程图，如图2所示，该流程包括如下步骤：
30.步骤s202，基于多类型金融数据获取金融时序数据集，并将所述金融时序数据集与自然语言通用数据集进行合并，得到合并数据集；
31.步骤s204，基于所述合并数据集，对堆叠注意力机制模型进行模型训练；
32.步骤s206，将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，得到所述目标用户在未来时序的金融反馈数据，根据所述金融反馈数据向所述目标用户进行业务推荐。
33.在本实施例的步骤s206中，将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，包括：将所述目标用户的金融时序数据编写为特定金融时序信息文本，以进行约束性控制输入。
34.在本实施例的步骤s206中，将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，包括：根据参照物经典统计模型评估所述目标用户的各项指标数据，以得到所述目标区用户在未来时序的金融反馈数据。
35.在一个示例性实施例中，所述金融数据至少包括以下之一：行业情况、金融市场以及另类数据的金融时序数据集。
36.在一个示例性实施例中，所述堆叠注意力机制包括：logsparse transformer算法。
37.在一个示例性实施例中，所述的logsparse transformer算法可自行训练
38.通过上述步骤，由于在金融时序数据集中合并了自然语言通用数据集，使得数据集更全面，同时，通过堆叠注意力机制能够处理更长的时间序列，，能够保证训练模型的注
意力不丢失。因此，可以解决相关技术中已有的关注时序问题的算法受其架构的限制，无法关注到一个相对长时间的时序，以及单一的金融时序类数据，会导致业务推荐不够准确的问题，提高了业务推荐准确性。
39.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
40.实施例2
41.在本实施例中还提供了一种业务推荐装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
42.图3是根据本发明实施例的业务推荐装置的结构框图，如图3所示，该装置包括：合并模块10、训练模块20和推荐模块30。
43.合并模块10，用于基于多类型金融数据获取金融时序数据集，并将所述金融时序数据集与自然语言通用数据集进行合并，得到合并数据集；
44.训练模块20，用于基于多类型金融数据获取金融时序数据集，并将所述金融时序数据集与自然语言通用数据集进行合并，得到合并数据集；
45.推荐模块30，用于将目标用户的金融时序数据输入训练后的所述堆叠注意力机制模型中，得到所述目标用户在未来时序的金融反馈数据，根据所述金融反馈数据向所述目标用户进行业务推荐。
46.图4是根据本发明另一实施例的业务推荐装置的结构框图，如图4所示，该装置除包括图3所示的所有模块外，推荐模块30，包括：
47.编写单元31，用于将所述目标用户的金融时序数据编写为特定金融时序信息文本，以进行约束性控制输入。
48.评估单元32，用于根据参照物经典统计模型评估所述目标用户的各项指标数据，以得到所述目标区用户在未来时序的金融反馈数据。需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
49.为便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细的阐述。
50.实施例3
51.本发明提供了一种业务推荐方法，利用自注意力机制算法来处理时序金融数据，进而契合客户实际需求，提高客户的服务体验。
52.具体地，自注意力机制的运行机制是transformer算法架构。类似利用gpt-3模型进行文章撰写输出，本质上该架构具有天然的时序观测记录能力，同时对于整个时序控制下的文字能编码到其前后逻辑关系，对于一组序列发生的金融行为，例如：2003年10月的股
票买卖，2010年6月的房地产投资，以及每年每月的员工工资支出等等，如果我们将其看成文字故事线，根据其前后顺序的记录以及相应数据的记录，transformer架构可以给出下一个时间段的合理的预测，而且对于相应的数字也有超出预期的准确计算。
53.但是实际应用中，往往相关的金融时序类数据是有限，特别是针对单一用户的数据，其中，用户包括企业或者个人等形式。同时，不同用户可能与不同的商业机构有联系，因此，还会涉及跨越不同商业机构来获取数据，但各商业结构之间存在的壁垒并不利于获取全面的数据，从而在调试训练数据后，得到训练结果与真实行为之间的比对的结果不够准确，甚至还会落后于现有的统计学方式，这正是数据训练量与预期的训练量之间有较大差距而导致德尔。
54.基于上述分析，进一步提升数据训练量是业务推荐方法中的重点，因此，在数据训练的选择上本发明实施例中在获取的金融时序数据中合并训练通用文字数据，如此，在调用gpt-3模型的api与自搭建模型后，实际取得的效果均较之前单纯训练金融时序数据集有了显著的提升改善。
55.在本发明上述实施例中，通过引入规模数据，即训练通用文字数据，使得模型本身学会很多“背景常识”类的信息，其对于模型具体解决技术问题是有正向推进作用的。
56.本发明实施例还解决了预测金融时序中的时序长度的记录问题。对于单一选定目标客户，其金融相关数据越多则预期其的基础越充分；因此，如果没有一个架构能够真正意义上来处理这些数据，将足够长时间段的数据进行录入并真实记录其相互的逻辑内在关系，则一切又会变得毫无意义。而传统的transformer商业可以调用的模型，如gpt-3或bert模型，其注意力机制有限制，即：超过一定长度的文字后，例如500中文字节，其运算的成本将极具上升，同时也会有丢失注意力，所以传统的transformer并不能在真正意义上来处理长时间段的数据。针对这一问题，本发明实施例中采用堆叠注意力机制，即可以在减轻运算压力的前提下适用于更长文字的序列输入。图5是根据本发明实施例的堆叠注意力机制相对于传统transformer的架构比较的示意图。
57.在一个示例性实施例中，采用的堆叠注意力机制具体为：logsparse transformer算法。
58.需要说明的是，本发明的说明书和权利要求书具体采用的logsparse transformer算法并不应视为对算法的绝对限制，具有同样逻辑思路的算法，即同时兼顾短步与长步的注意力头的配置应当均为本技术的构思的延申。
59.在本发明的上述实施例中，至少具有以下几个方面的改进与优势：
60.首先在通用编码层面采用通用编码，调用已有的成熟api或基于transformer自建，前者的优势是可以直接享受到通用数据训练的结果，劣势是无法有效的将金融时序数据引入；后者的优势是将金融时序数据完整引入，劣势是需要考虑训练成本，从而控制通用性训练库的大小。在目前计算机算力还有限的条件下，结合两者考察产出效果是当前最佳的选择。
61.其次，本发明中具体采用logsparse transformer算法，其相对于早期的通用性自注意力机制更加适合将金融时序表达完整并准确建立其内部的逻辑联系。在相关技术中暂没有使用此算法用于本发明的具体应用场景中。另外，本发明在输出端的产出也更加友善，由于借助通用技术，在控制输出时只需将我方选定的，金融时序文本进行输入即可，其系统
内发生的更类似与使用gpt-3进行文本写作，此时使用者仅需要控制输入文本和引导系统做限制性输出即可，整个操作过程均只需自然语言，也就是日常文字即可，省去了程序员编码并控制输出的繁琐，也规避了实际表达与实际希望所表达的并不相同的麻烦。
62.图6是根据本发明实施例的一种基于时序的推荐客户的方法，如图6所示，该方法包括如下步骤：
63.步骤s601，根据多类型金融数据获取金融时序数据集；
64.步骤s602，根据自注意力机制对金融时序数据集合并通用语言数据集进行编码预训练；
65.步骤s603，将选定的某客户相关的金融时序数据根据控制语句进行约束输出，获得其下一个时序的预测；
66.步骤s604，将所述的金融时序预测用于后续客户推荐。该推荐内容可以是相关金融产品或服务咨询信息等对于客户有价值的信息内容。
67.图7是根据本发明实施例的任务流程示意图，如图7所示，该任务流程中包括：
68.前端，收集金融时序数据，结合自然语言通用数据合并完成预训练；
69.中端，选用transformer架构算法，优选具有更优长时序注意力能力的logsparse transformer算法；
70.后端，通过约束性控制，直接获取自然语言描述反馈输出物。
71.在本实施例中，对于训练用的企业文本数据，具体包括：存取款数据、理财产品交易数据、股票交易数据、年度经营和风险描述文本、近几年经营和风险描述文本、技术创新、主营业务、经营情况、经营计划、核心竞争力、行业情况、风险描述等。
72.企业风险相关的几类文本信息包括技术创新情况、主营业务信息、经营情况、经营计划信息、核心竞争力、行业情况、风险信息、无形资产如专利商标版权等的拥有情况等。
73.将上述得到的文本直接采用logsparse transformer算法进行预处理，得到完整模型后，根据具体编写好的特定用户金融时序信息文本进行约束性控制输入与输出，从而获得该用户下一个时序的金融数据反馈。
74.在一个示例性实施例中，直接调用gpt-3的api接口，根据具体编写好的特定用户金融时序信息文本进行约束性控制输入与输出，从而获得该用户下一个时序的金融数据反馈。
75.在一个示例性实施例中，选用通用语言文本数据集百度百科，同时加入对于训练用企业文本数据，具体包括：存取款数据、理财产品交易数据、股票交易数据、年度经营和风险描述文本、近几年经营和风险描述文本、技术创新、主营业务、经营情况、经营计划、核心竞争力、行业情况、风险描述等。企业风险相关的几类文本信息包括技术创新情况、主营业务信息、经营情况、经营计划信息、核心竞争力、行业情况、风险信息、无形资产如专利商标版权等的拥有情况等。将混合得到的文本集合直接采用logsparse transformer算法进行预处理，得到完整模型后，根据具体编写好的特定用户金融时序信息文本进行约束性控制输入与输出，从而获得该用户下一个时序的金融数据反馈。
76.目前受限于硬件机能的实际限制与预训练所产生的费用的预算限制，无法对全面扩充通用语言库并结合金融时序语料进行整体预训练进行真实评估，但是根据当前相关论文对于通用性模型的推测，可以预计该通用性模型训练后产生的结果应该是sota，即业界
最佳。
77.本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
78.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
79.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
80.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
81.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
82.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
83.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。