信息处理装置、信息处理方法以及信息处理程序与流程

摘要: 本公开涉及基于因果关系的推断。背景技术:1、在使用了注意力机制的现有模型中,取得计算量的增加与预测精度的提高的平衡成为课题。2、在通常的注意力机制中,由于对输入...
信息处理装置、信息处理方法以及信息处理程序与流程

本公开涉及基于因果关系的推断。

背景技术:

1、在使用了注意力机制的现有模型中,取得计算量的增加与预测精度的提高的平衡成为课题。

2、在通常的注意力机制中,由于对输入序列数据的各元素进行加权,因此计算量o(n2)二次增加。“n”表示序列数据的长度。

3、随着该计算量的增加,在大规模数据或实时的应用中,产生模型的推断时间增加的问题。

4、另外,在预测精度的提高中,为了使注意力机制适当地发挥功能,需要准确地掌握序列数据中隐藏的结构上的因果关系,决定适当的计算范围。

5、但是,在以往的方法中,因果关系的掌握和计算范围的决定不充分,有时预测精度的提高受到限制。

6、专利文献1公开有提高模型的性能并且降低计算资源的消耗等的模型取得方法。该方法是按照与针对自注意力模块的句法信息对应的学习目标来进行模型训练的方法。

7、现有技术文献

8、专利文献

9、专利文献1:日本专利第7379792号公报

技术实现思路

1、发明要解决的课题

2、本公开的目的在于,能够抑制计算量的增加而计算序列数据所示的多个元素各自的特征量。

3、用于解决课题的手段

4、本公开的信息处理装置具备:因果关系推导部,其将表示多个元素的序列的序列数据作为输入,使用因果关系推导模型来推导所述多个元素的因果关系;块决定部,其基于推导出的因果关系,按照每个所述元素,决定成为自注意力机制的计算范围的块;自注意力计算部,其将所述多个元素各自的所述块作为所述计算范围,通过所述自注意力机制计算所述多个元素各自的自注意力的值;以及特征量计算部,其将所述多个元素各自的所述自注意力的所述值作为输入,使用推断模型计算所述多个元素各自的特征量。

5、发明效果

6、根据本公开,基于序列数据所示的多个元素的因果关系来决定块(chunk)。由此,能够抑制计算量的增加来计算序列数据所示的多个元素各自的特征量。

1.一种信息处理装置,该信息处理装置具备:

2.根据权利要求1所述的信息处理装置,其中,

3.根据权利要求1或2所述的信息处理装置,其中,

4.根据权利要求3所述的信息处理装置,其中,

5.根据权利要求3所述的信息处理装置,其中,

6.根据权利要求5所述的信息处理装置,其中,

7.一种信息处理方法,其中,

8.一种信息处理程序,该信息处理程序用于使计算机执行以下处理: