信息处理装置、信息处理方法以及记录介质与流程

1.本发明涉及信息处理装置、信息处理方法以及记录介质。


背景技术：

2.近年，人工智能(ai：artificia1 intelligence)的研究开发正在活跃地进行，实用化急速发展。可以说，ai通过计算机来人工地再现人所实现的学习、推论、判断等各种感知和智慧。
3.在ai中，将智力劳动者的作业、意思决定的举止作为范本来进行机器人化的rpa(robotic process automation机器人流程自动化、digital labor数字劳动力)谋求业务的自动化、高效化。在人进行意思决定的场景中，会出现识别物事时的切入角度、判断的基准、讲究等各人的个性(观点、喜好、指向性等)，但个性这样的信息是隐含的，难以正确地表现。即使在进行文档的评价时设定评价基准的情况下，在评价基准的设定中也会表现个性。
4.例如，关于评价文档品质的技术，在专利文献1中提出了评价文档的品质并且提示成为样本的文章的技术。在专利文献1中，在文档品质评价系统中，对输入者除了提示文本文档组的品质的评价结果以外，还提示应改善的文章以及应作为样本的文章的例子，对文本文档组内的各文章进行语法分析，针对多个评价项目对文本文档组的品质进行评分，并将评价结果提示给第一用户，提取在针对第一用户的最低评价项目中符合成为低评价的条件的第一文章组以及在最低评价项目中符合成为评价高于第一用户的第二用户的高评价的条件的第二文章组，并从第一文章组和第二文章组中分别提取类似度高的第一文章和第二文章，将第一文章作为改善对象的例句，将第二文章作为样本的例句进行提示。
5.但是，在专利文献1将得到高评价的文章作为样本的例句提示给用户，但是关于基于怎样的评价提取了应该作为例句的文章例(为什么成为高评价)，对于用户来说没有明确的依据。
6.专利文献1：日本特开2011-170535号公报


技术实现要素：

7.本发明是鉴于这样的问题而作出的，其目的在于，在基于人工智能的文档的自动评论中能够对用户提示与评价结果有关的信息。
8.本发明的信息处理装置进行文档的品质评价，其具有：取得单元，其针对文档中的各语句取得特征量；预测单元，其基于由所述取得单元取得的特征量，使用基于语句的影响预测用学习数据而生成的影响预测模型来预测每个评价观点的语句的影响；评价单元，其基于所述预测单元对各语句的影响预测结果，使用基于文档品质评价的学习数据而生成的品质评价模型来进行所述文档的品质评价；以及输出单元，其输出与评价结果有关的信息，该评价结果包含表示文档的品质评价结果的依据的依据信息。
9.根据本发明，能够通过人工智能自动地进行文档的评论，并且能够对用户提示与评价结果有关的信息。
附图说明
10.图1表示本实施例的信息处理装置的硬件结构的例子。
11.图2表示本实施方式的信息处理装置的功能结构的例子。
12.图3说明本实施方式的信息处理装置的处理例。
13.图4是表示本实施方式的特征量计算处理的例子的流程图。
14.图5说明本实施方式的语句矢量计算。
15.图6说明本实施方式的影响预测模型的生成。
16.图7表示本实施方式的学习数据的例子。
17.图8说明本实施方式的品质评价模型的生成。
18.图9说明本实施方式的评论依据信息的输出。
19.图10表示本实施方式的评论依据信息的显示例。
20.图11表示本实施方式的评论依据信息的显示例。
21.图12表示本实施方式的评论依据信息的显示例。
具体实施方式
22.以下，基于附图对本发明的实施方式进行说明。
23.图1表示本发明的一个实施方式的信息处理装置100的硬件配置的一例。信息处理装置100例如是个人计算机(pc)、服务器装置、平板装置、智能手机等信息处理装置。信息处理装置100具有cpu101、主存储装置102、辅助存储装置103、网络i/f104以及输入输出i/f105。cpu101、主存储装置102、辅助存储装置103、网络i/f104以及输入输出i/f105经由系统总线106以能够相互通信的方式连接。
24.cpu(central processing unit中央处理单元)101是控制信息处理装置100的中央运算装置。主存储装置102是作为cpu101的工件区域或数据的临时存储场所发挥功能的存储装置。主存储装置102例如使用ram(random access memory随机存取存储器)等进行安装。辅助存储装置103是存储各种设定信息、各种程序、学习数据、各种辞典数据、各种模型信息等的存储装置。辅助存储装置103例如使用rom(read only memory只读存储器)、硬盘驱动器(hdd)、固态硬盘(ssd)、闪存等进行安装。
25.网络i/f104是用于经由诸如因特网或lan(local area network局域网)等网络与外部装置等进行通信的接口。输入输出i/f105是用于从鼠标、键盘、触摸面板的操作部等输入装置输入信息的接口。另外，输入输出i/f105是用于向显示器、触摸面板的显示部、扬声器等输出装置输出信息的接口。
26.通过由cpu101基于辅助存储装置103中存储的程序来执行处理，实现图2所示的信息处理装置100的各功能以及后述的各处理等。
27.图2表示本实施方式的信息处理装置100的功能结构的一例。信息处理装置100包含分析部201、学习部202、取得部203、预测部204、评价部205以及输出部206。
28.分析部201对文档数据进行词素分析、修饰被修饰分析、单词的类别分类、对文档数据内的短语赋予特征量(例如对各短语赋予语义角色等)等的分析。
29.学习部202进行使用了学习数据的机器学习，生成已学习模型。例如，学习部202基于语句的影响预测用学习数据来进行预测语句影响度的机器学习，学习在语句的影响预测
中使用的影响预测模型。另外，例如学习部202基于文档品质评价的学习数据来进行预测文档品质的机器学习，学习在文档的品质评价中使用的品质评价模型。
30.取得部203基于分析部201的分析结果，以文档数据中的语句单位取得影响预测用特征量。取得部203基于分析部201的分析结果，执行单词的分布表征的取得、语句矢量的计算等各种处理，计算各语句的影响预测用特征量。
31.预测部204使用由学习部202生成的影响预测模型，对文档数据的各语句预测对品质评价有无影响。预测部204基于由取得部203以语句单位取得的影响预测用特征量，使用影响预测模型针对每个语句预测每个评价观点对于品质评价的影响度。
32.评价部205使用由学习部202生成的品质评价模型，进行文档数据的品质评价。评价部205基于通过预测部204的预测而得到的对品质评价有无影响(每个评价观点的影响度)，使用品质评价模型来进行全体文档数据的品质评价。
33.输出部206输出由评价部205得到的文档数据的品质评价结果(评论结果)。另外，输出部206根据来自用户的请求等，输出用于表示成为该品质评价结果的依据的依据信息。另外，输出部206可以具有显示所输出的各种信息的功能。
34.接着，对本实施方式的信息处理装置中的处理例进行说明。以下，为了便于说明，适当地表示将文档数据的品质评价中的评价观点设为“场所/时间”、“判断/预测”以及“对象/事项”这3个评价观点的例子来进行说明。但是，这是一个例子，本发明并不限于此，关于文档数据的品质评价中的评价观点，能够根据评论对象的文档数据等来设定任意的评价观点，另外所设定的评价观点的数量也是任意的。
35.图3说明本实施方式的信息处理装置中的处理例。在图3中，自动评论系统300使用各种模型自动地对评论对象的文档数据301进行评论，进行文档数据301的品质评价。关于在文档数据的评论中使用的各种模型，通过使用了学习数据的机器学习等由评论模型构建系统310生成并提供给自动评论系统300。评论对象的文档数据301例如是课题管理系统中的票证数据(文档数据)。自动评论系统300在课题管理系统接受了评论对象的文档数据301的登记时，取得文档数据301并开始评论。
36.自动评论系统300例如通过图2所示的分析部201、取得部203、预测部204、评价部205以及输出部206来实现。另外，评论模型构建系统310例如通过图2所示的分析部201、学习部202以及取得部203来实现。自动评论系统300以及评论模型构建系统310可以由1个信息处理装置构成，也可以由不同的信息处理装置构成。另外，自动评论系统300的各功能可以由多个信息处理装置构成，评论模型构建系统310的各功能也可以由多个信息处理装置构成。
37.在自动评论系统300中，在步骤s311，分析部201以及取得部203使用辞典和机器学习模型303，对于评论对象的文档数据301中的各语句计算影响预测用特征量。分析部201以及取得部203使用单词词典、分析模型、类别分类模型等，执行针对评论对象的文档数据301的分析以及各种处理，针对文档数据301中的各语句计算影响预测用特征量。
38.接着，在步骤s312中，预测部204基于在步骤s311中得到的各语句的影响预测用特征量，使用影响预测模型305来预测品质评价中的各语句的每个评价观点的影响度。影响度是在评论中被评价为与评价观点相关的内容的概率。例如，在评价观点为“场所/时间”、“判断/预测”以及“对象/事项”的情况下，预测部204使用影响预测模型305针对各语句分别预
测是与场所/时间相关的内容的概率、是与判断/预测相关的内容的概率以及是与对象/事项相关的内容的概率。该预测结果意味着各语句中包含的信息的种类，成为在品质评价中容易理解的依据。将预测部204的影响预测的结果存储在评论结果数据库(db)302中并且提供给评价部205。
39.接着，在步骤s313中，评价部205基于在步骤s312中得到的各语句的影响预测结果(每个评价观点的影响度)，使用品质评价模型306进行评论对象的全体文档数据301的品质评价。也针对每个评价观点进行该全体文档数据301的品质评价。例如，关于某个评价观点，在将各语句的影响预测结果作为了输入的品质评价模型306的输出(在全体文档数据301中，针对该评价观点为“〇”的概率)为预定的阈值(例如0.5)以上的情况下，评价部205输出“〇”(高评价)来作为该评价观点的评价结果，否则，输出
“×”
(低评价)来作为该评价观点的评价结果。将评价部205得到的品质评价的结果积蓄在评论结果数据库(db)302中。
40.接着，在步骤s314中，评价部205基于在步骤s313中得到的评论对象的全体文档数据301的品质评价结果来生成评论指出的大意。评价部205基于全体文档数据301的品质评价结果，例如生成包含以下信息的评论指出的大意：是否明确记述了各评价观点的信息、对于记述不足或不存在记述的评价观点要改善记述的建议信息。将全体文档数据301的品质评价结果以及生成的评论指出的大意经由输出部206作为评论结果307输出。
41.另外，根据来自用户的请求等，在步骤s315中，输出部206进行评论依据显示处理，该处理用于输出与文档数据301有关的评论的依据信息308。输出部206将在评论结果数据库(db)302中积蓄的文档数据301的品质评价结果和表示成为该品质评价结果的依据的依据信息(例如，输出在步骤s312中得到的影响预测模型305)作为评论的依据信息308进行输出。
42.图4是表示在图3的步骤s311中执行的影响预测用特征量计算处理的例子的流程图。
43.在步骤s40中，分析部201取得评论对象的文档数据。接着，在步骤s402中，分析部201将在步骤s401中取得的文档数据以语句单位进行分割。分析部201例如通过检测句号或终止符，将文档数据以语句单位进行分割。
44.针对在步骤s402中分割后的各语句分别执行以下的步骤s403及其以后的处理。
45.在步骤s403中，分析部201基于在步骤s402中分割后的语句，进行分为关注的语句(1个语句)和其上下文语句的处理。这里，上下文语句是指在关注的语句周围(前后)的语句(例如与关注的语句相同的段落中的除去关注的语句后的全文)。为了不增大处理负荷，可以将关注的语句前后的一定数量的语句作为上下文语句。
46.在步骤s404中，分析部201对关注的语句进行分析处理，基于其分析结果，取得部203针对关注的语句计算语句矢量。另外，在步骤s405中，分析部201对上下文语句进行分析处理，基于其分析结果，取得部203针对上下文语句计算语句矢量。
47.图5说明图4所示的步骤s404、s405的语句矢量计算。对各语句执行图5所示的处理，由此计算各语句的语句矢量。
48.在步骤s501中，分析部201针对对象语句进行词素分析以及修饰被修饰分析的处理。词素分析是将语句分解为词素(语言中具有含义的最小单位)来判别各词素的词类等的处理。修饰被修饰分析是指判别哪个短语与哪个短语有关的处理。分析部201例如使用单词
词典和分析模型来进行词素分析以及修饰被修饰分析。
49.在步骤s502中，取得部203基于作为步骤s501的处理结果而得到的单词串，取得单词的分布表征。所谓分布表征是指通过多维(例如，数百维)的实数矢量来表现单词的技术。关于语句内的单词的语义，具有由周边的单词(上下文词语)决定的称为分布假说的语义。当以分布假说为前提时，能够将单词表现为各要素表示各上下文词语的出现概率的矢量。成为上下文词语的单词是庞大的(1兆个以上)，因此其矢量的尺寸也变得庞大(1兆以上的维度)。但是，该矢量的要素大部分为0，因此能够压缩(例如，压缩为数百维的尺寸)。在分布表征中，以分布假说为前提，将单词表现为如此进行了压缩的矢量。另外，通过分布表征来表示的单词之间，单词之间的语义越近，则成为越接近的矢量。即，单词的分布表征所表示的矢量为语义越接近而越接近的矢量。取得部203基于例如通过word2vec、fast text、g10ve等获得的语义空间(矢量空间)来取得各单词的分布表征(单词矢量)。
50.在步骤s503中，取得部203基于在步骤s502中取得的多个单词矢量，生成汇集了单词矢量而得到的矢量。取得部203基于所取得的多个单词矢量，分别计算单词矢量的每个维度的平均值、最大值、最小值，生成以它们为要素的矢量。在该情况下，如果单词矢量是数百维，则生成的矢量成为(数百
×
3)维的矢量。
51.在步骤s504中，分析部201基于通过步骤s501的处理而得到的修饰被修饰分析结果，进行单词的类别分类的处理。单词的类别分类是指参照存储有单词与类别的对应信息的辞典等来判别语句中的单词的类别的处理。分析部201例如使用类别分类辞典和类别分类模型等来判别单词的类别。
52.在步骤s505中，分析部201对各短语赋予语义角色。对各短语赋予语义角色是指对语句的结构进行分析，对于语句中的与谓语有关的各短语赋予解释该谓语的语义的方面的短语的作用(例如“动作主体”、“对象物”等)的处理。分析部201例如使用语义角色赋予工具对短语赋予语义角色。
53.在步骤s506中，取得部203基于在步骤s505中向短语赋予的语义角色，针对每个短语生成仅将与被赋予的语义角色对应的1个维度的要素设为“1”将其他要素设为“0”的独热矢量。例如，当输出了在步骤s505中向短语赋予的语义角色的id串的情况下，取得部203将输出的id分别变换为仅与id对应的1个维度的要素为“1”，其他要素为“0”的独热矢量。
54.在步骤s507中，取得部203基于在步骤s506中生成的多个独热矢量，生成将这些独热矢量汇集而得到的矢量。取得部203基于生成的多个独热矢量，针对每个维度求和，生成将其作为各维度的要素值的矢量。即，取得部203生成表示语句中的各语义角色的出现频率的矢量。
55.在步骤s508中，取得部203将在步骤s503中生成的矢量与在步骤s507中生成的矢量连结。
56.在步骤s509中，取得部203将在步骤s508中进行连结而得到的矢量作为对象语句的语句矢量进行输出。
57.语句矢量不限于上述例子。例如，取得部203也可以将分别计算以下的平均值、最大值、最小值而得到的矢量作为语句矢量，该平均值、最大值、最小值是将步骤s502中取得的多个单词矢量以及在步骤506中生成的多个独热矢量作为输入进行了机器学习的神经语言模型(重构神经网络)的隐藏层的平均值、最大值、最小值。
58.返回图4，在步骤s404以及s405中，在针对关注的语句以及上下文语句分别计算出语句矢量之后，在步骤s406中，取得部203将关于关注的语句的语句矢量与关于上下文语句的语句矢量进行整合。例如，取得部203将关于关注的语句的语句矢量与关于上下文语句的多个语句矢量全部连结，由此进行语句矢量的整合。另外，例如，取得部203也可以通过将以下的矢量与关于关注的语句的语句矢量进行连结，来进行语句矢量的整合，上述矢量为分别计算关于上下文语句的多个语句矢量的每个维度的平均值、最大值、最小值而得到的矢量。
59.在步骤s407中，取得部203将在步骤s406中整合了语句矢量而得到的矢量作为语句的影响预测用特征量(特征矢量)输出。
60.在步骤s408中，分析部201判断作为关注的语句是否有未计算影响预测用特征量的语句，在有未计算的语句的情况下返回步骤s403，在没有未计算的语句的情况下，结束影响预测用特征量计算处理。
61.参照图6，对本实施方式的影响预测模型的生成进行说明。在评论模型构建系统310中，学习部202使用语句的影响预测用学习数据601对语句中的怎样的表现与哪个评价观点有关系的模式进行机器学习，由此生成影响预测模型。
62.语句的影响预测用学习数据601包含语句602以及与正确答案(语句的影响度)有关的信息603。语句的影响预测用学习数据601具有图7的(a)所示的文档id701、语句702以及各评价观点的与正确答案(语句的影响度)相关的信息703、704、705。文档id701是以文档(文章)为单位赋予的标识符(id)，对属于同一文档的语句赋予相同的id。语句702是文档中包含的语句的内容，分解为语句单位进行登记。与正确答案(语句的影响度)相关的信息703、704、705是表示在语句702中是否包含与评价观点相关的信息的信息。关于与正确答案(语句的影响度)相关的信息703、704、705，基于语句702的内容，由人判定是否包含与评价观点相关的信息来进行标注。在图7的(a)所示的例子中，对于各语句，标注了“场所/时间”、“判断/预测”以及“对象/事项”的各个评价观点的与正确答案(语句的影响度)相关的信息。
63.例如，关于“作为用于一元管理labo环境的终端，有terminal0l，但是由于以下那样的理由，存在3人以上无法同时进行管理作业的间题”的语句，标注为包含与“场所/时间”相关联的信息以及与“对象/事项”相关联的信息。另外，关于“·
远程桌面的会话数被限制为2”的语句，标注为包含与“对象/事项”相关联的信息。
64.在步骤s611中，分析部201以及取得部203针对学习数据的语句602计算影响预测用特征量。影响预测用特征量的计算与上述对评论对象的文档数据301进行评论时的影响预测用特征量的计算相同，因此省略具体的说明。在步骤s611中，分析部201和取得部203计算影响预测用特征量，由此对于学习数据的语句602输出影响预测用特征量(特征矢量)604。
65.在步骤s612中，学习部202基于与学习数据的语句602有关的影响预测用特征量604以及与评价观点的正确答案(语句的影响度)相关的信息603，进行用于预测每个评价观点的语句的影响度的机器学习。机器学习算法不限于特定的算法，例如，能够应用全连接神经网络、卷积神经网络、重构神经网络等。作为步骤s612中的机器学习的结果，输出影响预测模型605。这样，生成在语句的影响预测中使用的影响预测模型605。
66.参照图8，对本实施方式的品质评价模型的生成进行说明。在评论模型构建系统
310中，学习部202使用文档品质评价的学习数据801来机器学习对于每个评价观点具有怎样程度的记述会视为良好品质的基准，由此生成品质评价模型。
67.文档品质评价的学习数据801包含语句802以及与正确答案(文档的品质)相关的信息803。作为文档品质评价的学习数据801，将具有同一文档id的文档作为1个文档进行处理。文档品质评价的学习数据801具有图7的(a)所示的文档id701、语句702以及图7的(b)所示的文档id711、关于各评价观点的与正确答案(文档的品质)相关的信息712、713、714。文档id711是以文档(文章)为单位赋予的id。与正确答案(文档的品质)有关的信息712、713、714是表示作为全体文档是良好品质还是差的品质的信息。关于与正确答案(文档的品质)相关的信息712、713、714，在文档id相同的全体文档中，由人判定是良好的品质还是差的品质并进行标注。在图7的(b)所示的例子中，与图7的(a)所示的例子同样地标注了“场所/时间”、“判断/预测”以及“对象/事项”的各个评价观点的与正确答案(文档的品质)相关的信息。例如，对于文档id为r000l的文档，在“场所/时间”以及“判断/预测”的评价观点中标注为差的品质，在“对象/事项”的评价观点中标注为良好的品质。
68.在步骤s811中，分析部201以及取得部203针对学习数据的语句802中的各语句计算影响预测用特征量。影响预测用特征量的计算与上述对评论对象的文档数据301进行评论时的影响预测用特征量的计算相同，因此省略具体的说明。
69.接着，在步骤s812中，预测部204基于在步骤s811中得到的各语句的影响预测用特征量，使用如上那样生成的影响预测模型804来预测品质评价中的各语句的每个评价观点的影响度。在步骤s812中，预测部204进行语句的影响度的预测，由此对于学习数据的语句802输出影响预测结果805。
70.在步骤s813中，学习部202基于与学习数据的语句802有关的影响预测结果805以及关于评价观点的与正确答案(文档的品质)相关的信息803，进行用于预测全体文档的品质的机器学习。机器学习算法不限于特定的算法，例如能够应用全连接神经网络、卷积神经网络、重构神经网络等。作为步骤s813中的机器学习的结果，输出品质评价模型806。如此，生成在文档的品质评价中使用的品质评价模型806。
71.接着，对本实施方式的评论的依据显示处理进行说明。如图9所示，在评论的依据显示处理(s901)中，输出部206从评论结果数据库(db)901取得评论对象的文档数据的与品质评价有关的信息。与品质评价有关的信息是品质评价结果和表示成为该品质评价结果的依据的依据信息(例如，输出在图3的步骤s312中得到的影响预测模型)。并且，输出部206将从评论结果数据库(db)901取得的与品质评价有关的信息作为评论的依据信息902输出。
72.从输出部206输出的评论的依据信息902例如显示在个人计算机(pc)、服务器装置、平板装置、智能手机等用户所使用的信息处理装置的显示装置(显示部件)，对用户进行提示。在图10中表示评论依据信息的显示例。
73.图10的(a)表示评论对象的文档数据的品质评价结果的显示例。作为全体文档数据，表示了在“判断/预测”的评价观点为良好的品质(〇)，但在“场所/时间”以及“对象/事项”的评价观点为差的品质(
×
)。根据该显示，用户能够掌握全体文档数据的品质，但是关于全体文档数据的品质评价无法识别文档数据中的哪个语句对评价产生了影响。
74.因此，在本实施方式中，根据来自用户的请求等，输出表示品质评价结果的依据的依据信息，如图10的(b)所示，能够以用户可识别的方式进行显示。依据信息是关于全体文
档的品质评价结果，表示哪个语句对品质评价造成了影响(识别为哪个语句是与哪个评价观点相关的记述)的信息。作为依据信息，输出针对文档数据中的每个语句包含属于哪个评价观点的信息的预测确信度(概率)。例如，在图10的(b)所示的例子中，关于第一语句，表示了记载有与“场所/时间”相关的信息的概率为0.82，记载有与“判断/预测”相关的信息的概率为0.13，记载有与“对象/事项”相关的信息的概率为0.91。
75.通过这样显示依据信息并由用户阅览所显示的依据信息，用户能够掌握在品质评价中是否正确地识别了影响的有无(是否没有错误识别)。另外，容易知道被认为是错误识别的语句，除了修正该文档数据以及正确答案的信息之外，还修正学习数据，并使用该学习数据进行机器学习来更新模型，由此能够提高品质评价的精度。
76.图10所示的显示例为一个例子，不限于此。参照图11及图12，对评论依据信息的其他显示例进行说明。
77.图11表示本实施方式的评论依据信息的显示例。在图11的(a)以及图11的(b)所示的例子中，表示全体文档的品质评价结果1101，并且设置了选择评价观点的下拉菜单1102。全体文档的品质评价结果1101可以用得分值来显示，并且根据得分值(基于是良好的评价还是差的评价)以不同的颜色进行显示。通过从下拉菜单1102选择评价观点，与全体文档的品质评价结果1101一起显示与所选择的评价观点有关的依据信息1103、1104。
78.图11的(a)表示通过下拉菜单1102选择了“场所/时间”的评价观点的例子，表示了依据信息1103，该依据信息1103表示预测为在每个语句包含与“场所/时间”的评价观点相关的信息的确信度(概率)。另外，图11的(b)表示了通过下拉菜单1102选择了“判断/预测”的评价观点的例子，表示了依据信息1104，该依据信息1104表示预测为在每个语句包含与“判断/预测”的评价观点相关的信息的确信度(概率)。在依据信息1104中，在各语句的右上方显示了预测的确信度(概率)。另外，在图11的(a)和图11的(b)所示的依据信息1103、1104中，可以通过与预测的确信度(概率)对应的颜色来高亮显示各语句。
79.图12表示本实施方式的评论依据信息的显示例。在图12的(a)和图12的(b)所示的例子中，显示评价观点的选择按钮1201、1202、1203，并且作为显示1204针对每个评价观点显示预测为记述有与评价观点相关的信息的语句。通过使用选择按钮1201、1202、1203来选择评价观点，从而高亮显示预测为记述有与所选择的评价观点相关的信息的语句1205、1206。
80.如以上说明的那样，根据本实施方式，使用各模型自动地进行文档的评论，并输出用于表示全体文档的品质评价结果的依据的依据信息，由此能够向用户提示品质评价结果的依据。作为依据信息，针对每个语句输出与评价观点相对的预测出的影响度，由此能够容易地掌握哪个语句对品质评价的结果造成了影响，能够提供对于用户来说容易接受的文档的自动评论。
81.另外，上述实施方式都只不过是表示实施本发明时的具体化的一例，并非通过这些实施方式来限定性地解释本发明的技术范围。即，本发明能够在不脱离其技术思想或其主要特征的情况下以各种方式实施。