用于事件的人机混合预测的系统和方法与流程

用于事件的人机混合预测的系统和方法
1.相关申请案的交叉引用
2.本技术要求2019年2月11日在美国专利商标局提交的第62/804,016号美国临时专利申请和2019年3月7日在美国专利商标局提交的第62/815,304号美国临时专利申请的优先权和权益，以上美国临时专利申请的整个公开内容以引用的方式并入本文中。
3.关于联邦赞助的研究或开发的声明
4.本发明是在美国情报高级研究计划局发出的第2017
‑
17061500006号合约下由美国政府支持进行。美国政府在本发明中享有某些权利。
技术领域
5.本发明的实施例的方面涉及用于使用人类预测者和机器预测者的混合体预测事件的人机混合预测系统和方法，及其用户界面。


背景技术：

6.预测未来事件的时间或结果是平常的事情。例如：气象学家基于当前状况的测量预测各种地区的天气；体育分析师基于其对各种队伍的评估预测比赛的结果；以及政治分析师基于民意测验数据和候选者的表现预测选举的结果。
7.作为通过众包来做出关于未来事件的预测的一种方法，仅人类预报系统最近已获得新的注意。虽然来自众包的预报的结果经常相对地准确，但人类参与者引入了一些弱点，例如：疲劳、缓慢的处理和分析、研究时间，以及认知偏差。这些比较性系统具有有限的可缩放性；它们受群众可能同时处理的预报问题的数目的限制，且大体上并不包含用于指派或组织哪些人类参与者(人类预测者)回答哪些问题的方法。另外，一些比较性方法并不采用任何类型的机器研究或数据显示，并且还需要人类参与者的更多时间来执行研究，这在参与者之间可能是冗余的(例如，当预报黄金价格时，所有人类参与者将彼此独立地查找黄金的历史价格，从而重复工作且浪费时间)。
8.也已实施仅机器预报系统。然而，仅机器预报系统也展现称为“冷启动问题”的情况，其中当引入新问题时，系统的准确性极端受限或降低，且保持较低直到系统已经累积足够数据来理解问题。这由于减缓了系统可适应新问题和话题领域的速率而造成仅机器预报系统的刚性。


技术实现要素：

9.本发明的实施例的方面涉及各种事件的人机混合预报和预测。一些实施例使用众包和人类协作、机器学习以及跨越预测策略组合体的自适应聚合的组合。本发明的实施例的一些方面涉及三分支方法，其允许来自人类的分析和来自机器(例如，计算模型)的分析在总体预测任务中交互且彼此辅助。
10.本发明的实施例的一些方面涉及机器辅助人类预报的方法，其利用基线机器模型、机器学习和时间序列建模以将关于任务的初始信息提供到参与者且利用研究途经来发
现更多信息。
11.本发明的实施例的一些方面涉及人类辅助机器预报的方法，其利用人类参与检测机器学习输出中的异常(例如，漂移、错误等)，且为人类提供控制以调整机器学习算法和模型的参数。这可用以克服在新任务话题领域上运行机器倾斜算法的“冷启动”问题。
12.本发明的实施例的一些方面涉及人机聚合的方法，包含量化对系统的人类和机器输入、人类和机器输入彼此如何相关，以及他们可以如何组合以改进总体系统的输出(例如，改善预测准确性、查全率和精度)。
13.本发明的实施例的一些方面涉及人类和机器预报聚合的自适应方法，其从组合体的元素的先前表现进行学习且相应地调整每一者的权重。
14.本发明的实施例的一些方面涉及用于提供用户界面以连接人类参与者(例如，专家分析员)与系统的机器学习算法和模型的系统和方法。
15.根据本发明的一个实施例，一种用于产生对预报问题的回答的人机混合预测的方法包含：由计算机系统剖析个别预报问题(ifp)的文字以识别多个关键词；由所述计算机系统基于所述关键词产生一个或多个机器模型；由所述计算机系统基于所述关键词刮取一个或多个数据源以收集与所述个别预报问题相关的刮取的数据；由所述计算机系统将所述刮取的数据提供到所述一个或多个机器模型；由所述计算机系统基于所述刮取的数据从所述一个或多个机器模型接收对所述个别预报问题的回答的一个或多个机器预测；由所述计算机系统经由用户界面将所述刮取的数据提供到一个或多个人类参与者；由所述计算机系统经由所述用户界面从所述一个或多个人类参与者接收对所述个别预报问题的回答的一个或多个人类预测；由所述计算机系统聚合所述一个或多个机器预测与所述一个或多个人类预测以产生聚合预测；以及由所述计算机系统基于所述聚合预测产生且输出混合预测。
16.所述一个或多个机器模型可以包含贝叶斯结构时间序列(bsts)模型。
17.所述一个或多个机器模型可以包含：疾病模型，选举模型，或民众动乱模型。
18.所述方法还可包含：经由所述用户界面将所述关键词提供到所述人类参与者；以及经由所述用户界面从所述人类参与者接收关于所述关键词的投票，其中所述刮取所述数据源是根据关于所述关键词的所述投票执行的。
19.所述方法还可包含经由所述用户界面向所述一个或多个人类参与者中的人类参与者显示由所述一个或多个机器模型中的机器模型计算的机器预测。
20.所述方法还可包含显示供应到机器模型的刮取的数据以计算所述机器预测。
21.所述方法还可包含接收供应到机器模型的刮取的数据的一部分的选择。
22.所述方法还可包含基于刮取的数据的所述部分的选择使用所述机器模型重新计算所述机器预测。
23.所述方法还可包含：接收一个或多个人类参与者基本理论，每一基本理论对应于所述一个或多个人类预测中的一个；以及在所述用户界面中与对应人类预测相关联地显示所述一个或多个人类参与者基本理论。
24.所述方法还可包含：由所述计算机系统基于所述关键词刮取所述一个或多个数据源以收集与所述个别预报问题相关的新刮取的数据；检测所述新刮取的数据与所述刮取的数据相比的显著变化。
25.所述方法还可包含响应于检测到所述新刮取的数据与所述刮取的数据相比的所
述显著变化：将所述新刮取的数据提供到所述一个或多个机器模型；以及基于所述新刮取的数据从所述一个或多个机器模型接收一个或多个更新的机器预测。
26.所述方法还可包含响应于检测到所述新刮取的数据与所述刮取的数据相比的所述显著变化：警示所述一个或多个人类参与者关于所述新刮取的数据；向所述一个或多个人类参与者显示所述新刮取的数据；以及从所述一个或多个人类参与者接收一个或多个更新的人类预测。
27.所述个别预报问题可以通过以下操作被指派到多个人类参与者中的所述一个或多个人类参与者：基于对多个先前个别预报问题的多个先前响应针对所述多个人类参与者中的每一个计算参与者技能向量；将所述多个人类参与者中的每一个的所述参与者技能向量与所述个别预报问题进行比较以计算多个参与者
‑
ifp匹配得分；识别满足阈值的多个参与者
‑
ifp匹配得分；以及对所述一个或多个人类参与者指派所述个别预报问题，其中对应于所述一个或多个人类参与者的所述参与者
‑
ifp匹配得分满足所述阈值。
28.还可以响应于对个别预报问题的先前低响应率而选择所述一个或多个人类参与者。
29.所述产生所述混合预测可以包含：将权重应用于所述一个或多个人类预测和所述一个或多个机器预测以计算加权人类预测和加权机器预测；以及基于所述加权人类预测和所述加权机器预测的组合计算所述混合预测。
30.所述计算所述混合预测可以包含将所述一个或多个人类预测和所述一个或多个机器预测供应到以所述权重配置的人工神经网络。
31.所述方法还可包含：由所述计算机系统从所述一个或多个机器模型接收一个或多个机器置信度得分，所述机器置信度得分中的每一个对应于所述一个或多个机器预测中的一个；以及由所述计算机系统经由所述用户界面从所述一个或多个人类参与者接收一个或多个参与者置信度得分，所述参与者置信度得分中的每一个对应于所述一个或多个人类预测中的一个，其中与所述一个或多个机器预测相关联的所述权重中的每一个是基于所述机器置信度得分中的对应一个计算的，且其中与所述一个或多个人类预测相关联的所述权重中的每一个是基于所述参与者置信度得分中的对应一个计算的。
32.根据本发明的一个实施例，一种用于产生对预报问题的回答的人机混合预测的计算机系统包含：一个或多个处理器；以及一个或多个计算机存储器单元，其存储指令，所述指令当由所述一个或多个处理器执行时致使所述一个或多个处理器：剖析个别预报问题(ifp)的文字以识别多个关键词；基于所述关键词产生一个或多个机器模型；基于所述关键词刮取一个或多个数据源以收集与所述个别预报问题相关的刮取的数据；将所述刮取的数据提供到所述一个或多个机器模型；基于所述刮取的数据从所述一个或多个机器模型接收对所述个别预报问题的回答的一个或多个机器预测；经由与所述一个或多个处理器通信的用户界面将所述刮取的数据提供到一个或多个人类参与者；经由所述用户界面从所述一个或多个人类参与者接收一个或多个人类预测；聚合所述一个或多个机器预测与所述一个或多个人类预测以产生聚合预测；以及基于所述聚合预测产生且输出混合预测。
33.所述一个或多个机器模型可以包含贝叶斯结构时间序列(bsts)模型。
34.所述一个或多个机器模型可以包含：疾病模型，选举模型，或民众动乱模型。
35.所述一个或多个计算机存储器单元还存储指令，所述指令当由所述一个或多个处
理器执行时致使所述处理器：经由所述用户界面将所述关键词提供到所述人类参与者；以及经由所述用户界面从所述人类参与者接收关于所述关键词的投票，其中所述刮取所述数据源是根据关于所述关键词的所述投票执行的。
36.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器经由所述用户界面向所述一个或多个人类参与者中的人类参与者显示由所述一个或多个机器模型中的机器模型计算的机器预测。
37.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器显示供应到机器模型的刮取的数据以计算所述机器预测。
38.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器接收供应到机器模型的刮取的数据的一部分的选择。
39.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器基于刮取的数据的部分的选择使用所述机器模型重新计算所述机器预测。
40.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器：接收一个或多个人类参与者基本理论，每一基本理论对应于所述一个或多个人类预测中的一个；以及在所述用户界面中与对应人类预测相关联地显示所述一个或多个人类参与者基本理论。
41.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器：基于所述关键词刮取所述一个或多个数据源以收集与所述个别预报问题相关的新刮取的数据；以及检测所述新刮取的数据与所述刮取的数据相比的显著变化。
42.所述一个或多个计算机存储器单元还可以存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器响应于检测到所述新刮取的数据与所述刮取的数据相比的所述显著变化：将所述新刮取的数据提供到所述一个或多个机器模型；以及基于所述新刮取的数据从所述一个或多个机器模型接收一个或多个更新的机器预测。
43.所述一个或多个计算机存储器单元还可存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器响应于检测到所述新刮取的数据与所述刮取的数据相比的所述显著变化：警示所述一个或多个人类参与者关于所述新刮取的数据；向所述一个或多个人类参与者显示所述新刮取的数据；以及从所述一个或多个人类参与者接收一个或多个更新的人类预测。
44.所述个别预报问题可以通过以下操作被指派到多个人类参与者中的所述一个或多个人类参与者：基于对多个先前个别预报问题的多个先前响应针对所述多个人类参与者中的每一个计算参与者技能向量；将所述多个人类参与者中的每一个的所述参与者技能向量与所述个别预报问题进行比较以计算多个参与者
‑
ifp匹配得分；识别满足阈值的多个参与者
‑
ifp匹配得分；以及对所述一个或多个人类参与者指派所述个别预报问题，其中对应于所述一个或多个人类参与者的所述参与者
‑
ifp匹配得分满足所述阈值。
45.还可以响应于对个别预报问题的先前低响应率而选择所述一个或多个人类参与者。
46.致使所述处理器产生所述混合预测的所述指令包括在由所述处理器执行时致使
所述处理器进行以下操作的指令：将权重应用于所述一个或多个人类预测和所述一个或多个机器预测以计算加权人类预测和加权机器预测；以及基于所述加权人类预测和所述加权机器预测的组合计算所述混合预测。
47.所述一个或多个计算机存储器单元还存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器通过将所述一个或多个人类预测和所述一个或多个机器预测供应到以所述权重配置的人工神经网络来计算所述混合预测。
48.所述一个或多个计算机存储器单元还存储指令，所述指令当由所述一个或多个处理器执行时致使所述处理器：由所述计算机系统从所述一个或多个机器模型接收一个或多个机器置信度得分，所述机器置信度得分中的每一个对应于所述一个或多个机器预测中的一个；以及由所述计算机系统经由所述用户界面从所述一个或多个人类参与者接收一个或多个参与者置信度得分，所述参与者置信度得分中的每一个对应于所述一个或多个人类预测中的一个，其中与所述一个或多个机器预测相关联的所述权重中的每一个是基于所述机器置信度得分中的对应一个计算的，且其中与所述一个或多个人类预测相关联的所述权重中的每一个是基于所述参与者置信度得分中的对应一个计算的。
49.根据本发明的一个实施例，一种非暂时性计算机可读介质其上存储有程序指令，所述程序指令在由处理器执行时致使所述处理器：剖析个别预报问题(ifp)的文字以识别多个关键词；基于所述关键词产生一个或多个机器模型；基于所述关键词刮取一个或多个数据源以收集与所述个别预报问题相关的刮取的数据；将所述刮取的数据提供到所述一个或多个机器模型；基于所述刮取的数据从所述一个或多个机器模型接收对所述个别预报问题的回答的一个或多个机器预测；经由与所述一个或多个处理器通信的用户界面将所述刮取的数据提供到一个或多个人类参与者；经由所述用户界面从所述一个或多个人类参与者接收一个或多个人类预测；聚合所述一个或多个机器预测与所述一个或多个人类预测以产生聚合预测；以及基于所述聚合预测产生且输出混合预测。
附图说明
50.附图连同说明书一起说明本发明的示例性实施例，并连同描述一起用以解释本发明的原理。
51.图1a是根据本发明的一个实施例的混合预报系统的系统框图。
52.图1b是根据本发明的一个实施例的描绘通过混合预报系统的信息流的示意图。
53.图2是根据本发明的一个实施例的用于混合预报的系统的示意性框图。
54.图3是根据本发明的一个实施例的用于产生预测的方法的流程图。
55.图4是根据本发明的一个实施例的用于响应于问题“到mm/dd/yyyy将生产多少x？”的用户界面的实例，其中提供四个滑块以指示四个回答中的每一个的相对概率：“小于750”；“750与900之间”；“大于900但小于1050”；以及“大于1050”。
56.图5a描绘根据本发明的一个实施例的用户界面，其示出商品随时间的价格的预测的时间序列数据以及示出随时间的对关键词的相对关注的趋势数据。
57.图5b描绘根据本发明的一个实施例的用户界面，其示出随时间的兑换率的预测的时间序列数据。
58.图5c是根据本发明的一个实施例的用于基于供应到机器模型的刮取数据的一部
分的用户选择而重新计算机器预测的方法的流程图。
59.图5d是根据本发明的一个实施例的描绘用于更新预测的方法的流程图。
60.图6a是根据本发明的一个实施例的用于结构化论证的用户界面的一部分的截屏。
61.图6b是根据本发明的一个实施例的系统排行榜的实例。
62.图6c是根据本发明的一个实施例的用户界面的实例，其示出参与者的活跃度和参与者赢得的成就或徽章。
63.图6d是根据本发明的一个实施例的用户界面的截屏，显示快闪卡，要求用户将预报问题“加拿大政府是否会发布在2018年6月29日到2018年8月31日之间对于尼加拉瓜
‘
避免所有旅行’的旅行建议？”以五个潜在话题分类：“政治/国际关系”；“自然科学/气候”；“宏观经济学/财务”；“选举”；以及“健康/疾病”。
64.图6e描绘根据本发明的一个实施例的用于关键词建议和投票的用户界面的实例。
65.图7a是示出使用根据本发明的一个实施例的方法的动态队伍指派的实例的框图。
66.图7b是根据本发明的一个实施例的用于对个别预报问题(ifp)动态地指派参与者的方法的流程图。
67.图7c是根据本发明的一个实施例的用于聚合来自参与者的预报以计算对个别预报问题(ifp)的混合预测的方法的流程图。
68.图8是根据本发明的一个实施例的用户界面的参与者仪表板的描绘。
69.图9是根据本发明的一个实施例的用户界面的图以及所述用户界面的部分的描绘的示意性图示。
70.图10a是根据本发明的一个实施例在预报问题中心视点的管理仪表板的截屏。
71.图10b描绘根据本发明的一个实施例的专用于监视队伍和个别参与者的活跃度的管理仪表板的一部分。
72.图11呈现根据本发明的一个实施例的系统的针对预报聚合的各种方法的随机化控制试验的结果。
73.图12是可以与本发明的实施例结合使用的计算机系统的框图。
74.图13是一些形式的非易失性存储介质的描绘。
具体实施方式
75.在以下详细描述中，仅借助于说明展示和描述了本发明的仅某些示例性实施例。如所属领域的技术人员将认识到，本发明可以许多不同形式体现且不应被理解为限于本文中所阐述的实施例。
76.本发明的实施例的方面涉及人类和机器协作。机器可以不知疲倦地执行算法来执行曾经是人类领域的许多任务，且机器学习和自动化的新方法持续改善此类机器实施的算法的性能。另外，存在许多人类表现良好的任务，例如适应新情形且创造性地整合来自多个数据源的信息。比较性机器学习技术并未良好地处置这些类型的任务。
77.根据本发明的实施例混合人类和机器作用力通过利用机器的不知疲倦和刚性以及聪明且有想象力但容易疲劳和偏差的人类而提供了优点。在本发明的一些实施例中，人类参与者与搜集数据、执行分析且呈现可行情报的机器组件交互，并且接着基于提供的信息做出某种决策或判断。
78.本发明的实施例的方面是针对用于使用来自人类参与者(或专家)和计算模型(例如，机器学习模型)的混合贡献作出预报或预测的系统和方法。大体来说，本发明的实施例可以用于涉及未来事件的预测的环境。实例包含预测：未来股票或商品价格(财务)；对产品的需求(广告，制造)；对车辆的特定零件的需求；机器的故障时间(例如，在制造或商业行程中)；是否在某一时间将存在拥堵(例如在体育赛事之后)；在给定时间从一个点到另一点将花费多长时间(例如，超出比较性交通估计系统当前在使用中的简单模型)；用于产品的情绪分析
‑
群众关于产品及其未来的感觉如何(广告)；以及地理政治冲突或和平的可能性(例如，与政治或商业有关)。本发明的实施例的方面涉及辅助在参与者(例如，人类专家)之间的话语，其可用以在有效的新闻源与编造的新闻源之间进行区分。
79.大体上，使用人类和机器输入以产生混合输出的比较性预报系统在其两个类型的输入之间的交互方面是极简单的。举例来说，天气预报系统可以涉及一系列算法，其分析用于特定问题(预测天气)的数据，并且接着将此数据传递给人类分析师，人类分析师使用此信息作为可行情报。人类操作者使用此信息来告知其决策或预测，但除了向人类提供信息外，算法并不贡献于最终预测。实际上已经展现成功的人机混合系统的另一实例是在“自由式国际象棋”中使用。在此情境下，人类和计算机的队伍在国际象棋比赛中彼此对抗竞争。计算机分析棋盘，从其收集的状态数据及其自身的存储器执行统计计算，且将经处理信息的浓缩版本呈现给其操作者，所述操作者随后使用所述信息来作出棋盘上的移动。在所述移动之后，计算机更新其算法以考虑新状态信息且重复过程。系统中在人类与机器之间的此类交互式行为类似于驾驶员在驾驶时与gps智能电话应用程序之间的相互作用
‑‑
算法提供指令，操作者遵从指令，并且接着算法基于车辆的当前位置、道路状况和从路径的偏离进行调整以连续地更新指令。
80.然而，这些比较性系统并不提供人类和计算机组件彼此学习且改进彼此的性能的机会。举例来说，在上述应用中的每一个中，算法被训练以执行特定任务且被预编程以在适当位置搜索数据。算法处理此数据且为人类用户呈现信息的浓缩版本，人类用户可以酌情使用或丢弃。算法根据此行为进行调整，且以连续循环提供新信息直到任务完成。在这些比较性系统中，计算机系统不会聚合计算机或机器预测与人类预测以实现混合预测。此外，在这些比较性系统中，计算机系统在其任务中不会通过剖析来自人类操作者的反馈而变得更好。这些系统还极专用于单个任务且不会容易地可泛化到相似任务，甚至在有人类引导的情况下也是如此。
81.因此，本发明的实施例的方面是针对用于通过组合来自人类预报者的输入(例如，通过众包或聚合多个人类意见)与来自基于机器学习的预报者的输入来执行预报、预测和协作(人类预报者之间以及人类和机器预报者之间)的系统和方法。本发明的实施例的方面涉及用于人机混合预测的算法，方法是通过分析系统的人类和机器元件的表现和行为且基于人类和机器元件产生预测。
82.另外，本发明的实施例的一些方面提供系统内的人类和机器实体之间的连接性。此程度的连接性允许机器学习组件告知和辅助人类专家或预报者作出其预测。
83.本发明的实施例的方面还涉及允许人类专家提供反馈到机器学习组件，以基于人类输入改善机器学习组件的表现。这些人类输入可以包含接受新数据源或现有数据源的新解译(例如，移除离群数据点和调整训练窗口)。这不仅允许机器在其任务中变得更好，而且
通过利用人类引导根据相似任务进行调整。
84.本发明的实施例的方面还涉及衔接人类参与者且通过游戏化和群组竞赛的组合减少参与者之间的摩擦，其中设计个别化的激励策略以增加来自每一参与者的努力和参与(用于“机器辅助人类预报”)。本发明的实施例的这些方面被设计成避免机器预报的一些常见缺陷，例如偏差和漂移，且快速适应新话题，方法是通过利用从群众探出的信息，即用于给定预报问题的数据源的相关性、关于机器预报的意见以及事件或话题之间的可能相关性，且使用此信息来自动调节机器预报模型(用于“人类辅助机器预报”)。系统标识在个别话题中表现很好的预报者和专家的关键属性、量化研究行为、长期和短期的预报准确性，以及人类和机器预报者与他们在作出预报时采用的源之间的关系。本发明的实施例可以随后利用此信息来经由领域内和跨领域教示修改人类和机器预报者行为，以通过向人类提供用于机器预报模型的基线初始化和话题相关数据的显示而改进预报准确性，从而极大地减少关于新话题领域训练预报算法所需的时间量(用于“人机共生和协调”)。
85.系统概览
86.图1a是根据本发明的一个实施例的混合预报系统100的系统框图。图1b是根据本发明的一个实施例的描绘通过混合预报系统100的信息流的示意图。将从三个不同角度描述本发明的实施例的方面，如图1a和1b中所示。称为“机器辅助人类预报”(machine
‑
aided human forecasting，mahf)110的一个方面是机器可通过减少偏差和缓解疲劳而帮助人类变为更好的预报者。称为“人类辅助机器预报”(human
‑
aided machine forecasting，hamf)120的另一方面是可以利用人类判断以通过查看机器模型的输出、策划供应到机器模型的数据等等来识别模型漂移且向机器模型提供反馈而使得机器预报算法和机器学习更高效。称为“人机共生和协调”(human
‑
machine symbiosis and mediation，hms)130的第三方面是可组合人类预报者和机器预报者的行为以便作出更好的总体预报131，且从人类和机器预报提取信息以用于改善其它模块的表现(114和124中的“教示信号”)。这些策略中的每一个占用系统100中的模块，所述模块接收来自其它模块和来自外部源的信息，处理所述信息，并且接着将相关信息传递到其它模块。模块之间的此信息流允许人类参与者和机器通过信息和学习彼此改进。
87.参看图1a和1b，个别预报问题(individual forecasting problem，ifp)112被呈现给系统100。ifp 112可以采取自然语言问题的形式，例如呈现为文字的“在2025年7月20日黄金的价格将是多少？”(例如，使用计算机键盘键入或语音转文字引擎的文字输出)。如图1a所示，当前ifp 112可以供应到机器辅助人类预报(mahf)模块110和人类辅助机器预报(hamf)模块120。更详细地如图1b所示，机器预报模块200(可以是hamf模块120的组件)首先使用自然语言剖析器(nlp剖析器)202剖析预报问题文字，所述自然语言剖析器提取相关变量且使用典型ifp数据查找模块204将问题分类为属于若干典型类别中的一个。典型数据刮取器206从多种数据源260(例如，因特网上的源，参见图2)刮取数据，且在规则基础上将数据存储在数据集群(例如，永久网络存储装置)上。在模块208中，典型类别和预报问题变量确定(基于关键词和/或刮取的数据)触发哪一个机器预报方法且检索用于所述方法的适当输入数据。在一些实施例中，可以使用一般时间序列模型209a来作出存在时间序列数据可用的预测。在一些实施例中，存在用于预测疾病209b、选举209c和民众动乱的特定模型，以及覆盖其中存在充分时间序列数据的更一般范围的预报问题的通用时间序列预测模型。举
例来说，如果关键词包含与疾病(或通过疾病模型良好建模的其它概念，例如模因的扩散)的扩散在语义上相关的术语，那么可以选择疾病模型209b。作为另一实例，如果关键词包含与选举或投票相关的术语，那么可以选择选举模型209c。在未选择专用模型的情况下，则可以选择标准时间序列模型209a。
88.机器预报或机器预测122和输入数据显示于用户界面210(例如，面向用户的网站)上作为信息源(或策划的数据馈送211)用于人类预报者220作出人类预报(或人类预测)222，且机器预报或机器预测122被存储以在混合聚合230中由人机共生和协调模块130使用。
89.本发明的实施例的方面涉及使用一系列算法针对每一个别预报问题(ifp)产生混合预报。如图1b中所描绘的算法被广泛地划分成机器预报模块200、用户界面(例如，面向用户的网站)210和混合聚合模块230，其各自服务于预报系统的任务。
90.本发明的实施例的一些方面涉及通过由人机共生和协调模块130提供的人类教示信号114向人类提供反馈。举例来说，如果参与者不正确地回答预报问题(如由稍后的实际结果所示)，那么反馈可以包含由正确地预报的人类参与者使用的基本理论。一些实施例包含推荐系统，其查看预报的结果且基于人类预报者的感知能力将问题投送到人类预报者以正确地回答预报问题。举例来说，如果hms 130检测到人类预报者a始终正确地回答经济问题，那么hms 130的推荐系统可以将那些经济问题投送到人类预报者a，因为这样做改善了成功(例如，正确回答)的机会。相反，如果人类预报者b总是弄错经济学问题，但喜欢回答它们，那么hms 130的推荐系统可以致使用户界面停止向人类预报者b展示那些问题，从而有效地禁止他们回答经济学问题且迫使人类预报者b选择他们可能较好地成功正确回答的其它问题。根据一些实施例，用户界面通过使与准确预报相关的特征更突出来适应用户。举例来说，如果hms 130的推荐系统检测到准确预报者始终使用特定数据源回答特定类型的问题，那么可以自动更新用户界面以使得当回答此类问题时所述特定数据源对其它预报者更突出。在一些实施例中，hms提取来自人类预报者的反馈(例如，鼠标点击、在特定网页上花费的时间等)以检测使用的源，且使那些源的使用与那些人类预报者的预报准确性相关。
91.同样，本发明的实施例的一些方面涉及由人机共生和协调模块130提供的机器教示信号124。在一些实施例中，hms 130基于预报者表现调整哪些问题被指派到机器预报者对人类预报者。举例来说，hms 130可以检测针对特定类型的问题，给定机器预报算法比无辅助的人类预报更一致地正确，系统可以调整以针对这些类型的问题专门使用机器预报，且停止向人类参与者显示那些类型的问题。本发明的一些实施例还自我调谐机器算法，如果事件结果显示算法中的可追踪到参数值的某个可预测偏差，那么机器教示信号可能是将使得机器预报与背景事实更一致的参数调整。在一些实施例中，在若干问题的过程中执行调整，因为恒定地调整参数将可能造成过度拟合数据的问题。
92.另外，关于参与者220的人类元信息116可以提供到hamf模块120和hms模块130。在本发明的一些实施例中，人类元信息包含除预报外的提供到hamf模块120和hms模块130的信息。在人类预报者方面，在一些实施例中，这包含人类预报者220对混合数据显示执行的调谐(这是其除hms模块130之外还被传递到hamf模块120的原因)。在一些实施例中，此人类元信息还包含从人类预报者220收集的行为数据，例如观看的页面、鼠标点击和运动，其可用以创建预报准确性与行为之间的相关性以用于加权预报或产生教示信号。
93.在本发明的一些实施例中，过去的个别预报问题(ifp)背景事实数据或控制预测140被提供到hms模块130。在一些实施例中，控制预测140用以基于在相似ifp上的过去表现来估计或加权人类预测者和机器预测者的信誉度。
94.图2是根据本发明的一个实施例的用于混合预报的系统100的示意性框图。在图2所示的实施例中，系统100包含三个主计算机系统，其容纳于云计算环境中，但本发明的实施例并不限于此且可以包含本地容纳的计算机系统或云和本地计算机系统的组合。在一个实施例中，网络服务器用以提供用户界面210，且负载平衡器可用以在多个网络服务器之间分布请求，其中请求可以从人类预报者220接收(例如，使用其例如个人计算机和智能电话等本地计算装置上的网页浏览器)。一个或多个计算系统240可以执行任务，例如ifp摄取/剖析，执行机器预测，且从人类和机器输入(人类预测和机器预测)计算混合预测；额外计算系统可以提供数据存储以用于保持由数据刮取器206从数据源260刮取的数据。数据源260可以包含(例如)社交媒体网络，例如可以包含(例如)社交媒体网络，例如搜索活跃度趋势数据、经济学指示符(例如，来自网站交易经济学)、关于当前武装冲突的数据(例如，来自武装冲突位置和事件数据项目(acled))、新闻源(例如，新闻)等。系统的用户可以经由测试和评估接口270供应输入(例如，姿势ifp问题)到系统，且还可以经由测试和评估接口270从系统100接收产生的人机混合预测。
95.图3是根据本发明的一个实施例的用于产生预测的方法300的流程图。参考图3，在操作301中，系统(例如，nlp剖析器202)接收自然语言输入问题，且在操作303中剖析输入问题以产生关键词。在操作305中，系统(例如，典型数据刮取器206)刮取数据源260以得到与输入问题相关的数据(例如，通过搜索从输入问题提取的关键词)。关键词还可以用于在操作307中产生或选择模型(例如，模型209a、209b和209c)。在操作309中，将刮取的数据呈现给模型以产生对预测问题的回答的机器(模型)预测(或“机器预报”)。在本发明的一些实施例中，机器模型还产生机器置信度得分，其表示计算机预测中的机器模型的置信度。
96.同时，通过用户界面210(例如，面向用户的网站)将接收的问题呈现给人类预报者，且还在操作313中将在操作305中刮取的数据呈现给人类预报者。人类预报者220可以随后作出其对问题的回答的自身(人类)预测，其中他们的预测可以通过刮取的数据来告知。如下文更详细地描述，在一些实施例中，还在操作314中将在操作309中由模型计算的机器预测呈现给人类预报者220，但本发明的实施例并不限于此，并且在一些实施例中，机器预测未呈现给人类预报者220。当被呈现机器预测时，人类预报者220还可以使用机器预测来作出其人类预测。在操作315中，系统通过用户界面310接收人类预测，且在操作321中组合机器预测与人类预测以产生单个组合预测，其在操作323中输出(例如，通过报告或输出用户界面呈现给用户)。
97.机器辅助人类预报
98.比较性实验已经显示作为聚合体的人类群众一般是优良的预报者，可能利用其想象力、快速学习以及不同的背景和观点来解决预报问题。然而，群众展现标准人类弱点，包含：疲劳，偏差，和长考虑时间(与计算机相比)。
99.机器辅助人类预报(mahf)利用算法和机器学习以通过机器辅助研究、自适应数据显示、话语和论证的结构化方法以及各种参与策略来改进人类预报表现，以保持参与者关
注于任务且传回以得到更多，进而中和标准人类趋势中的一些。根据本发明的一个实施例的mahf模块110适合于广泛范围的话题，因为其对无足够和相关训练数据来产生全自动机器模型的情形是稳健的。在一些实施例中，mahf模块110还利用预报者的专门知识且校正潜在的偏差。如图1a所示，mahf模块110从其它模块取得输入，包含人类辅助机器预报(hamf)模块120和人机共生和协调(hms)模块130，且引发且整合来自系统的人类预报者220的信息。来自mahf模块110的结果还转发到其它模块(例如，hamf模块120和hms模块130)。
100.在本发明的一些实施例中，问题可以采用三个不同格式中的一个：二元，序数，和多项式，且此统一用户界面用以处置属于这些格式的任何问题。二元问题要求参与者220提供对单个变量的响应，且经常表述为具有“是”或“否”响应的问题(例如，“pat paulsen将在2020年竞选总统？”)。在此情况下，系统向用户呈现单个滑块，其值表示问题将解决为“是”的概率。
101.序数问题要求参与者提供对单个变量的响应(例如，“在2020年1月1日黄金价格将是多少？”)，但通过含有所述变量的可能值的范围的一系列“区间”(例如，“0
‑
500usd”、“501
‑
1000usd”、“1001
‑
1500usd”、“大于1501usd”)来这么做，其中参与者被要求对每一选项指派概率(其中所有选项上的概率总和为1.0，在一些实施例中，用户的响应被归一化为总和为1.0)。(图4中示出的实例是序数问题。)
102.多项式问题引发跨越多个变量的响应，其中将存在仅一个结果，但许多不同且不重叠的选项是可能的(例如，“谁将赢得下一届美国总统选举？”)。通过为每一选项提供滑块且要求参与者对每一结果指派概率来引发响应。在一些实施例中，所有选项上的概率的总和必须总和为1.0，且在一些实施例中，来自用户的原始输入(滑块位置)被归一化为总和为1.0。
103.根据本发明的一些实施例，针对每一预报问题(ifp)，参与者或人类预报者220通过将在下文更详细地描述的用户界面210(例如，网站)将其预报输入到系统中。在一些实施例中，以多选格式提供问题，且通过一个或多个滑块引发响应，所述滑块要求参与者对每一可能的响应指派概率。图4是根据本发明的一个实施例的用于响应于问题“到mm/dd/yyyy将生产多少x？”的用户界面的实例，其中提供四个滑块以指示四个回答中的每一个的相对概率：“小于750”；“750与900之间”；“大于900但小于1050”；以及“大于1050”。在一些实施例中，还要求参与者220提供任选的基本理论来阐释其决策的理由。此基本理论可以包含对时间序列数据的参考或从文献或因特网的引用。基本理论将由其它模块利用以用于讨论和聚合目的。除引发预报和基本理论之外，在一些实施例中，系统还从用户请求参与者置信度得分(例如，按从零到一的比例)，其可以用于其它系统模块，例如当聚合来自不同预测者(例如，包含人类和机器预测者)的预报时。
104.如上文所论述，与当前预报问题相关的数据由数据刮取器206刮取且可以在操作313中呈现给参与者220。数据可以呈现于研究页面212上。数据的特定形式可以基于刮取的数据的类型而变化。举例来说，新闻文章可以作为文字和图像或到源网站上的文章的链接来呈现。在例如商品随时间的价格、随时间生产的材料量、随时间在社交媒体中出现的关键词或主题标签的频率，以及随时间的搜索量等时间序列数据的特定情况中，数据可以线图或散布绘图的形式呈现。
105.另外，用户界面210可以在研究页面212上示出通过机器模型从hamf模块120作出
的预测(例如，由模型209a、209b和209c作出的预测)。如上所述且在下文更详细地论述，机器模型基于从数据源260刮取的数据产生预测。
106.人类预报者或参与者可以选择使用呈现于研究页面212上(或通过其它用户界面呈现)的刮取的数据和机器预测来帮助作出其预测(例如，使用例如图4中示出的预测界面)。
107.本发明的实施例的方面涉及用户界面中的数据显示，其允许用户以“人在回路中”方式与数据交互，与信息的被动显示的情况的“人在回路上”相反。具体地，本发明的实施例的一些方面涉及提供以下各项的用户界面：选择供计算机模型使用的数据的范围且从模型排除有噪声或反常的数据的能力；选择历史尺度用于合并到模型中的能力；以及用于选择将哪些模型并入到针对所述预报问题的机器预测中以及在用户界面中展示哪些模型的输出的复选框。根据本发明的实施例的用户界面提供人类操作者与下层机器学习算法之间的通信路径。
108.图5a描绘根据本发明的一个实施例的用户界面，其示出商品随时间的价格的预测的时间序列数据以及示出随时间的对关键词的相对关注的趋势数据。如图5a所示，商品的价格的时间序列包含商品的实际历史价格、用户的先前预测(图5a中标记为“你”)，以及参与者220的团体作出的预测。在一些实施例中，所述时间序列还示出一个或多个选定模型的当前预测。在图5a中仅选择“bsts
‑
逻辑”模型，并且因此仅示出一个机器模型预测。根据本发明的实施例的用户界面的各种方面允许参与者与数据交互，包含改变时间尺度(例如，在特定天或星期放大以及缩小以查看几年或几十年的数据)且比较不同类型的数据(例如，在同一曲线图上且在同一时间尺度上标绘多个时间序列数据)。
109.图5b描绘根据本发明的一个实施例的用户界面，其示出随时间的兑换率的预测的时间序列数据。确切地说，图5b示出在2018年3月30日印度尼西亚卢比(idr)与一美元的预测当日兑换率的实例。图5b中的截屏对比了先前观察值(从2018年1月29日到2018年3月29日)和模型针对日期2018年3月28日和2018年3月29日预报的价格。选择先前观察值的一部分以约束被供应到模型来作出其预测的数据值。
110.除允许人类操作者检查机器提供的数据且与所述数据交互之外，如图5a和5b中所示的研究页面212的分析视图还提供界面以用于参与者将信息提供到人类辅助机器预报模块120以调制和调整机器模型209(例如，机器学习模型)的处理。这允许人类参与者220应用其对数据的理解以通过指出机器预报的问题而改进机器预报。
111.默认地，算法将不会丢弃提供给算法的任何训练数据。然而，数据中的离群值(例如，飓风造成黄金价格的短暂临时尖峰)可能使机器模型产生不准确的结果，特别是当存在相对极少的训练数据时。另一方面，人类预测者可能能够容易地检测且对数据中的此类离群值指派意义。人类预测者可以随后当作出其预测时不考虑数据中的离群值。机器模型可以通过忽略数据的对应于离群值事件的部分而产生更可靠的结果。因此，本发明的实施例的一些方面涉及将人类预测者反馈提供到机器模型以过滤输入数据而移除离群值。
112.图5c是根据本发明的一个实施例的用于基于供应到机器模型的刮取数据的一部分的用户选择而重新计算机器预测的方法的流程图。
113.在本发明的一个实施例中，用户界面210包含用于参与者220在时间序列上标记任一点且对其应用注释的选项，所述注释对其它用户可见(并且可被他们投赞成票和否决
票)。参看图5c，在操作314
‑
1中，用户界面向人类参与者显示机器预测。如图5a和5b所示，在操作314
‑
3中，用户界面还示出刮取的数据(例如，时间序列数据)，其由机器模型使用以计算在操作314
‑
1中显示给用户的机器预测。在本发明的一个实施例中，用户界面允许参与者220从时间序列移除可能为离群值的数据点。在一些实施例中，用户界面还允许参与者选择要包含的数据点的一个或多个窗。在操作314
‑
5中接收选择的数据点(例如，未移除的数据点)，并且在操作314
‑
7中，系统100使用机器模型重新计算预测以根据选择的数据产生新的基于机器的预报，其中在操作314
‑
9中通过用户界面向人类参与者显示重新计算的机器预测。
114.举例来说，图5a示出时间序列数据的阴影部分被选择供机器模型使用。通过点击图5a中示出的“重新建模”按钮，机器模型仅使用选择的数据(且忽略未选择的数据)重新计算预测。在本发明的一些实施例中，每当参与者220改变待供应到模型的数据的选择时自动重新计算(例如，实时或近实时)预测。在一些实施例中，机器辅助人类预报模块搜索与预报问题相关的在线数据源，且显示时间序列以及示出训练间隔的来自不同模型(bsts、arma等)的一系列机器预报。在一些实施例中，用户还可以提交关键词，且查看由趋势报告的其搜索查询历史的时间序列。如图5a所示，用户可以标绘随时间的对关键词“sahara”、“polisario”和“morocco”的搜索频率，以及那些搜索项在未来的频率的预测。
115.本发明的实施例的一个方面涉及用于通过参与者供应到系统的信息创建定制预测性机器模型的用户界面。此信息可以包含额外相关时间序列数据，其可随后由机器预报系统处理以产生新预报，或者输入可对照社交媒体交叉检查以得到可能与现实世界事件相关的活跃度水平的关键词和短语。在此步骤中可使用的在线数据源的类型的非限制性实例是twitter、趋势(到搜索引擎的接口，其使用指定搜索项提供关于搜索频率的基于时间序列的分析，且可提供关于在给定时间的特定搜索的流行度的一般理解)，和各种新闻源和聚合器，例如icews和交易经济学，以及这些数据源的组合。
116.参与者220可以继续执行此操纵直到机器预报输出表现为合理的。此时，参与者220可以选择保存更新的模型(参见图1a的机器教示信号124)。在一些实施例中，更新的模型被添加到模型的组合体(在下文更详细地论述)且可以贡献于在操作321中计算的最终预报，其中用户的修改模型在最终输出中的重量由例如其历史准确性和它们产生的模型的历史准确性等因数决定。
117.针对具有多个不同且潜在适用的机器模型的预报问题，常用策略是在机器模型之间提供某种类型的加权聚合以产生最终聚合预测。然而，“冷启动”问题在此类型的练习中是普遍的，其中起初可能没有足够数据来自动训练准确模型。
118.聚合过程中的人类参与可以帮助减轻冷启动问题。本发明的实施例还使得参与者220能够帮助机器预报算法聚合不同方法。在一些实施例中，用户界面210示出不同机器预报模型的输出以及其加权聚合将预测什么。如图5a所示，参与者220可通过勾选或取消勾选复选框以从聚合体添加或移除算法(预报模型)，尝试不同聚合器策略，或调谐权重和其它参数，而与预测交互。通过整合人类智能和来自预报ifp的结果的强化学习，可以开发一种系统，所述系统可通过利用人类先验知识克服冷启动问题，根据其从群众接收的建议进行学习，且最终随着机器获得经验且获取足够信息(数据)用于训练而变为自给自足的。
119.事件检测和警示
120.在人类预测者或机器预测者已经关于预报问题作出预测之后，额外相关事件可能发生。举例来说，人类预测者可以回答问题以基于当前利率和经济条件预测特定日期的美国股票市场指数的值。然而，在已作出预测之后，美联储可能宣布利率的长期改变的规划，这又可能影响在未来股票市场指数的预测值。因此，人类预测者(和机器预测者)响应于相关事件而更新其预测将是有益的。
121.因此，本发明的实施例的一些方面涉及引起参与者220更新先前预报的注意力而不会让参与者220过载有太多任务。图5d是根据本发明的一个实施例的描绘用于更新预测的方法的流程图。在本发明的一些实施例中，使用新闻服务(例如新闻、趋势、icews、交易经济学和/或lexis)来跟踪随时间的关于预报问题的相关新闻文章的数目(例如，通过搜索新闻服务是否有与从预报问题提取的关键词相关的文章)。本发明的一些实施例包含事件检测系统，其周期性地(例如，每小时、每天或每周)执行对关于一个或多个新闻服务的文章的搜索以对与预报问题相关的新闻文章(例如，与从预报问题中提取的关键词相关的新闻文章)的数目进行计数，且在操作510中检测与关键词相关联的数据与先前刮取的数据相比的显著改变。在一些实施例中，事件检测系统检测与关键词相关联的新闻文章的数目的实质增加(例如，大于二σ或两个标准偏差)。在本发明的一些实施例中，数据源260可以提供时间序列数据，且事件检测系统检测时间序列数据的值的显著改变(例如，从一个或多个时间窗口上的值的大于两个标准偏差的改变)。在本发明的一些实施例中，使用多种类型的数据源(例如，新闻服务和时间序列数据源)产生警示(例如，显著改变将导致检测到“事件”)。本发明的实施例的一些方面进一步涉及应用自适应自回归集成移动平均(arima)模型以预报二σ改变(例如，新闻文章计数或时间序列数据的改变)，以给出每日的预先警告。
122.在本发明的一些实施例中，刮取的数据的改变的检测致使系统100在操作522中将新刮取的数据供应到被配置成关于对应ifp作出预测的所述一个或多个机器模型209。机器模型209随后在操作524中基于新刮取的数据计算更新的机器预测。
123.同样，在本发明的一些实施例中，事件检测系统在操作532中联合通信系统(例如，电子邮件、即时消息接发、推送通知及类似物)工作以向参与者220警示他们先前作出的预报可能由于从作出预报时起已发生的事件而过时，或可能不久发生的未来事件将使所述预报过时。发送到参与者220的警示还可以包含链接或其它用户界面元素，其允许用户查看与潜在过时的预报相关联的特定预测问题且查看关于更新的数据(例如，与预测问题有关的更为新近的事件)的在操作534中显示的信息。人类预测者可以随后基于新刮取的数据更新其预测，且系统100的用户界面210可以在操作536中接收更新的人类预测。
124.结构化论证
125.本发明的实施例的一个方面涉及允许人类预测者220协作和针对真实性和相关性评论彼此的预测，包含所提供的基本理论和引用。这允许预测系统中的参与者220审查彼此的内容，将讨论引向解决方案(保持在话题上)，且尝试清除可发生的可能造成预报不准确的各种类型的偏差。根据本发明的实施例的一些方面的用于结构化论证的系统和用户界面提供了用于下层算法改进人类参与者与系统交互的方式的具体机会。
126.在比较性众包系统中，例如使用基于“消息板”或“消息论坛”的通信系统的那些系统，针对审查或清除偏差的交互一般并不发生。缺乏此类交互可能是由于摩擦、关于每一预报问题的队伍比预期的小，或队友不希望彼此交互。因此，许多人类预报者没有受到同行的“制约”，且发布不支持其基本理论的引用或不支持其预报的基本理论。
127.因此，本发明的一些实施例涉及用于提供和接收在每一基本理论上采用线程评论的关于预报和基本理论的反馈，自动显示相反的基本理论，且显示参与者的预报落在可能预测的谱上的位置的结构。此特征在本文中可以被称为“结构化论证”。
128.图6a是根据本发明的一个实施例的用于结构化论证的用户界面的一部分的截屏。根据本发明的一些实施例，实施结构化论证的用户界面提供用于针对每一预报问题(ifp)的讨论和辨论的框架，其中通过突出显示反馈来鼓励反馈，且明显地显示多个查看点以用于参与者人类预报者220的检查和回顾。根据本发明的一个实施例，结构化论证界面基于参与者的预报动态地更新。当参与者220提交预报时，所提交的预报相对于其它先前所提交的预报示出在曲线图上(如图6a所示，沿着水平轴线的预报的位置表示预报值(或预报的值)，且沿着竖直轴线的预报的位置对应于其它人类参与者220对预报的赞成票的数目)，其向预报者显示他们相对于其同类人类预报者(例如，队友)处于的位置。
129.当提交预报时，用户界面示出预报下方的一对列，其示出在任一方向上比参与者的预报更极端的不同参与者的预报的基本理论。举例来说，对于“pro”预报，参与者将被示出一些甚至更极端的“pro”预报以及一系列“con”预报。在给定实例中，因为所提交的预报是“pro”，所以将可能示出比“pro”更多的“con”预报。本发明的实施例的一些方面还并入关于个别基本理论的基于其真实性的同行评级/投票。本发明的实施例的一些方面允许参与者220参与每一基本理论下的线程论述，使得参与者的队友可提供关于任何给定基本理论的反馈。此结构化论证用户界面因此为每个预报者连续地呈现相反的观点，进而通过呈现相反的观点来鼓励交互，其与同意相比更可能被答复，且呈现说明辨论方向的线程讨论。
130.结构化论证的额外实施例在2019年3月8日在美国专利商标局提交的题为“用于异步协作和基于机器的仲裁的结构化论证的系统(system of structured argumentation for asynchronous collaboration and machine
‑
based arbitration)”的第62/815,631号美国临时专利申请中更详细地描述，其整个公开内容以引用的方式并入本文中。
131.游戏化
132.尽管在预测系统中使用自动化，但具有参与者220的活跃和参与池对于维持高总体系统准确性是重要的。参与者池中的参与者220的摩擦或不让步将导致混合预测系统功能的降级表现或失败。因此，本发明的实施例的一些方面涉及用于通过游戏化减少参与者220的摩擦且增加参与的系统和方法。
133.可实施于系统中以改进参与的特征的实例包含向参与者220提供的挑战、徽章和排行榜。
134.为了鼓励系统和个人成就的探索，本发明的实施例的一些方面涉及并入有奖励徽章的各种挑战，所述徽章当已经被赢得时显示于用户的简档上。在本发明的一些实施例中，挑战被设计成个别地从事而无需参与者之间的协作。这使得它们对于并不希望与其它参与者竞争或并不很强地信任其自身预报能力的参与者是较强的鼓励。尽管名称是挑战，但挑战不需要是难以完成的，且针对给定预报任务的良好的一组挑战可以包含较容易的基于参
与的任务(例如，使用特定特征5次)、较困难的“无休止”任务(例如，使用特定特征1,000次)和极具有挑战性的基于成就或技能的任务(例如，实现关于问题的小于0.2的准确性，如由brier得分表示)之间的平衡。
135.为了鼓励系统的参与者之间的友好竞争，在本发明的一些实施例中，预测系统并入有排行榜，其允许参与者沿着各种表现元素将自身与其同行进行比较。图6b是根据本发明的一个实施例的系统排行榜的实例。参与者220的队伍根据多个不同度量中的一个进行排名，且这些排名在排行榜上公开显示。虽然最显而易见的排名准则是准确性(例如，brier得分)，但排行榜还可以关于完成的任务、使用系统花费的时间、完成挑战的数目或赢得徽章的数目将队伍或个别参与者进行排名。用户界面中的切换允许用户在排名方法之间切换。
136.图6c是根据本发明的一个实施例的用户界面的实例，其示出参与者的活跃度和参与者赢得的成就或徽章。如图6c所示，在一个实施例中，活跃度曲线图示出参与者作出的预报的数目、参与者投票的关键词的数目以及参与者在过去几周投出的票的数目。还如图6c中所示，参与者在与预测系统交互的过程中已赢得对应于参与者完成的不同活动或挑战的若干徽章。
137.人类辅助机器预报
138.基于机器的算法也已示出有用于作出预报，高效地收集和处理大量的数据，且生产对预报问题的定量精确响应的亲和力。然而，算法机器模型具有其自身弱点：它们一般需要大量的数据来作出准确投影，且经常依赖于关于数据和特定问题的假设，从而使得其归纳到其它问题变得困难。即使当人可能认为两个问题相似时，预报算法也可能需要完全不同的方法。此一系列挑战有时称为“冷启动”问题。
139.因此，本发明的实施例的一些方面涉及人类辅助机器预报(hamf)模块120提供机器预报模块，其与群众参与者220介接且在机器预报管线中的决策点处采用人类反馈来调谐和更新机器模型(例如，调谐下层算法)，进而改善机器模型作出的预测且实现稳健且及时的机器产生的预报。
140.如上文参看图1b和图3简单描述，在操作303中，系统剖析接收的自然语言输入问题(例如，自然语言文字)以提取例如话题领域以及关键术语和短语等信息，其可用以刮取信息(在操作305中)以由机器预报算法使用且显示给人类参与者。
141.根据本发明的一个实施例，预报问题被自动剖析且被指派到n个“典型类别”中的历史数据可用的1个。还与被命名为自然语言处理库(例如来自explosionai gmbh的spacy)的实体提取功能性结合使用定制剖析器，针对关键短语、实体和值自动剖析预报问题。用于剖析问题的系统和方法在2019年2月11日在美国专利商标局提交的第62/804,016号美国临时专利申请中更详细地描述，其整个公开内容以引用的方式并入本文中。此组关键短语可以进一步以由系统的参与者220提供的关键短语或关键词扩展，例如使用用户界面210的关键词投票模块，如下文更详细地描述。在操作305中，系统使用典型数据刮取器206来从各种数据源收集针对关键短语的可用时间序列或趋势数据，如上文所描述(例如，新闻和)。随后从存储先前刮取的开源值(例如，存储于在线数据存储装置250中)的数据库存取与“典型类别”相关联的历史数据。历史数据用作所关注的值，且关键短语趋势数据用作对机器模型的输入。在一些实施例中，这是使用从问题文字提取的上下文向量
表示的，且将历史时间序列数据分块成较小窗口以便增加训练集的大小。策略是以情境感知为条件，并且因此，可用以识别与语义情境而不是所关注的特定量广泛相关的全局最佳关键短语。因此，剖析模块202能够提取关于预报问题的广泛数据，其可以由系统中的人类参与者220通过与用户界面210的机器学习和混合分析显示模块的交互而进一步精炼，如下文更详细地描述。
142.一般化的基于时间序列的机器学习
143.本发明的实施例的一些方面涉及适用于机器预报问题的一般集合的机器预报系统，假定充分的数据可用于运行预报模型。
144.为了提供关于最宽范围的话题的预报，本发明的一些实施例利用贝叶斯结构时间序列(bayesian structural time series，bsts)模型(参见例如scott,s.l.,&varian,h.r.(2014)，“以贝叶斯结构时间序列预测当前”《数学建模和数字优化国际期刊》，5(1
‑
2),4
‑
23.)，但本发明的实施例并不限于此且还可以并入例如arima、自回归(ar)等时间序列分析工具作为组合体(例如，分析工具的组合)，其最终预报是某一方法组合的结果。bsts模型由于其模块化性质而极灵活，且例如各种自回归过程(ar、arima等)的标准时间序列模型也可被实施为简化的bsts子模型。因此，本发明的实施例在历史数据上拟合时间序列回归模型，使得关注序列(例如，联合国粮食和农业组织(fao)价格索引)的值是在极近项中通过若干其它指示符(例如，趋势关键词序列、关键词计数序列、涉及关键词的在线新闻文章计数、经济指示符时间序列等)进行预测。除了使用预测者时间序列用于回归，本发明的一些方面还提供用于捕获季节性、假期和非高斯误差模型的选项。在本发明的一些实施例中，高斯误差模型用于除二元ifp外的所有模型，二元ifp实际上使用逻辑回归。
145.例如bsts模型或arima等时间序列模型209a可以用于时间序列数据存在的任何预报问题。数据量影响时间序列模型的准确性和置信界限。
146.两百个预报问题(由独立源提供)的初始分析揭露了在线数据源中含有的二十个不同预报话题，其可以被刮取和下载，并且接着可用于基于机器的分析。从给定预报问题的文字，应用语言剖析器202以确定一般话题领域。对于富含数据的预报问题，问题文字大体上遵循可预测模式，其使得用于机器可剖析的ifp的话题识别是相对轻松的。这些ifp的话题落在如下领域，例如特定日期的商品价格(例如，黄金或石油)、特定日期的短期或长期利率，或在给定月在一区域的疾病的发生，且这些的数据容易从因特网源获得。
147.另一方面，对于不容易由语言剖析器202分析的较不标准化的问题(例如，关键词提取未能识别突出的关键词)，本发明的实施例的一些方面是针对从人类参与者获得辅助以确定给定预报话题。举例来说，当剖析ifp的文字时，国家名称的替代拼写(或错误拼写)或ifp的替代措辞可以造成自然语言剖析器202失败，从而没有信息留给系统，例如ifp的一般话题领域。
148.因此，本发明的一个实施例使用“快闪卡”以通过从参与者220引发“微信息”来填充系统中的空白而获得此辅助。在一个实施例中，快闪卡系统包含快闪卡小游戏，其中用户界面210向参与者显示“快闪卡”，其引出用户可以理解且在几秒内回答的少量信息。此小游戏收集的信息可取决于系统面对的特定问题而变化。问题的一些实例包含：“你最想回答这些预报问题中的哪些？”和“此预报问题属于哪个话题？”图6d是根据本发明的一个实施例的用户界面的截屏，显示快闪卡，要求用户将预报问题“加拿大政府是否会发布在2018年6月
29日到2018年8月31日之间对于尼加拉瓜
‘
避免所有旅行’的旅行建议？”以五个潜在话题分类：“政治/国际关系”；“自然科学/气候”；“宏观经济学/财务”；“选举”；以及“健康/疾病”。
149.在本发明的一些实施例中，快闪卡小游戏具有多个水平，其中每一水平含有涉及回答的特定时间长度或具有相似复杂性水平的问题。举例来说，前述问题可能对应于游戏的“一级”，且后续水平可能包含增加难度(例如，“此论点是支持或反对给定ifp观点？”)或回答时间(例如，“此引用文[提供链接]支持所提供的论点？”)的问题。
[0150]
根据本发明的实施例的快闪卡小游戏可用以改善预测系统整体的表现。举例来说，来自参与者220的反馈可在当文字剖析器不能够对问题进行分类的情况下改善预报问题的分类或分选。参与者反馈也可引出关于用户可能在未来感兴趣回答哪些预报问题的信息，且可提供关于针对问题的结构化论点的外部反馈(来自未被指派问题且是讨论的客观观察者的人)。将问题分解为从主要预报任务分解的较小任务还将允许参与者220贡献于系统而无需向整个研究/预报过程进行提交，且还将使得系统能够引出来自未被指派到相关ifp的参与者的信息，进而当特定额外信息将有助于系统时基于临时基础扩展参与者。并且，在一些实施例中，包含引发来自预报者的直觉且将那些预报与来自主系统的更细致预报进行比较的“快速预报”快闪卡提供了用于各种预报问题的某种额外输入。
[0151]
本发明的实施例的一些方面涉及组合一般化的时间序列模型(以预报事件)与用于特定话题域的专用预报模型，所述特定话题域例如疾病的扩散209b、选举的结果209c，以及国内动乱和暴力的开始(未示出)。举例来说，围绕例如流感等疾病的扩散的预报问题可能够利用例如flunet的疾病模型209b(参见例如，世界卫生组织(2011)flunet.全球流感监控和响应系统(gisrs))和/或全球传染病和移动性模型(gleam)(参见例如，balcan,d.、gongalves,b.、hu,h.、ramasco,j.j.、colizza,v.和vespignani,a.(2010)“传染病的空间扩散的建模：全球传染病和移动性计算模型”，计算科学期刊，1(3)，132
‑
145，以及van den broeck,w.、gioannini,c.、gongalves,b.、quaggiotto,m.、colizza,v.和vespignani,a.(2011)gleamviz计算工具，用于开发在全球尺度下的现实传染病扩散情境的可公开获得的软件，bmc传染病，11(1)，37)。同样，本发明的各种实施例可以使用一个或多个选举预报模型209c，其利用民意测验和社交媒体数据。这些额外模型作为输入添加到机器学习组合体，且经由在稍后部分中将论述的自适应聚合模块被平均化到系统的最终输出中。
[0152]
本发明的实施例的一些方面涉及用于众包可能是各种地理政治事件的指示符的关键词和短语且使用所得关键词和短语来引导机器模型(例如，预报算法)搜寻因特网新闻源以使这些预报自动化的系统和方法。这允许本发明的实施例通过将容易提取的搜索术语提供到机器预报系统而跨越较宽范围的不同预报话题工作，而不需要包含跨越不同话题专业的多种主题专家(sme)且对社交媒体依赖较少，且实际上使用新闻和搜索结果。
[0153]
因此，本发明的实施例的一些方面涉及关键词投票和建议机制。在本发明的一些实施例中，关键词投票和建议界面放置于预报网页上作为用户界面中的单独页签。图6e描绘根据本发明的一个实施例的用于关键词建议和投票的用户界面的实例。如图6e所示，用户被呈现当前预报问题(ifp)“叙利亚总统巴沙尔阿萨德是否会在2018年9月1日之前经历明显的领导混乱？”图6e中描绘的用户界面还包含八个关键词或关键短语，其中的每一个具有投票按钮以向对应关键词投赞成票或否决票，以及用于关键词或关键短语的投票的净总数目的计数(例如，其中否决票抵消赞成票)。图6e中示出的特定实例包含关键词“领导”、
“
阿萨德”、“叙利亚”、“混乱”、“明显的领导混乱”、“总统”、“巴沙尔”和“巴沙尔阿萨德”。
[0154]
根据本发明的实施例的一个方面，在新预报问题(ifp)的开始，系统的自然语言处理剖析器202剖析ifp的文字，且提出可能是有用的搜索术语的可能关键词和短语(“初始关键词”)的列表。参与者受邀请在那些初始关键词上投票，且使用用户界面210的“关键词投票”模块添加其自身的关键词。具有超过阈值的票数(例如，净赞成票和否决票)的关键词和短语由机器预报算法使用以改进其预报(“已投票的关键词”)。举例来说，在一些实施例中，具有来自参与者220的足够票数的关键词和短语被供应到模型209以供进一步使用。在本发明的一些实施例中，关键词的重要性是基于投票的净数目而加权。
[0155]
在本发明的一些实施例中，数据刮取器206根据在关键词上来自参与者220的投票(例如，通过阈值过滤或通过投票的净数目加权)执行从各种数据源(例如，如上文所论述，趋势和例如icews等各种新闻信息)刮取与ifp相关的数据。来自这些关键词和短语的分析的时间序列数据随后被传递到一般化的时间序列机器学习模块209a和/或其它特定模型，例如疾病模型209b、选举模型209c和民众动乱模型，其中它们可与过去事件相关且用于作出较准确的自动化预报。
[0156]
人机混合预报
[0157]
虽然mahf模块110和hamf模块120提供允许机器使人类成为更高效预报者且反之亦然的系统，但人机共生(hms)模块130提供允许人类和机器中的每一个影响彼此的行为且组合其单独预测来作出混合预报的系统和方法。更详细地，本发明的实施例的一些方面涉及捕获特殊人类和机器预报者的决策行为(例如，基于其预测的高准确性的历史)且使用此信息来鼓励预报者之间的不同行为。举例来说，预报者之间的数据建议或团队合作可改善预报者群组的聚合表现。本发明的实施例的一些方面涉及将来自人类和机器源的预报融合成用于每一预报问题的单个混合预报。
[0158]
动态团队合作和任务指派
[0159]
本发明的实施例的一些方面涉及通过动态团队合作改善参与者220之间的通信和团队合作。在一些比较性系统中，由于跨越所有预报话题的参与者摩擦和不均匀的兴趣而引起长期问题。举例来说，在这些比较性系统中，多个参与者说他们的队友完全不活跃(50％的调查响应者)，他们不与其队友合作(34％的响应者)，以及在队伍中一般不是很有用(28％的响应者)。即使无摩擦，也不是每个参与者都将在每个问题上作出告知预报，且因此，如在比较性系统中的初始实验期间观察到，许多问题可能被稀疏地预报。
[0160]
在本发明的一些实施例中，人机共生模块130通过在当通过用户界面210使问题对参与者220可用时为每一预报问题独立地创建队伍而根据这些挑战进行调整，进而允许系统在运行中适应参与者摩擦和轻度覆盖的ifp，以增加所有ifp被最可能参与ifp且准确地回答的参与者充分配备的可能性。在本发明的一些实施例中，在每一预报问题的开始，人机共生模块130基于问题的话题与参与者表达的兴趣之间的匹配以及参与者在话题领域中的问题上的先前表现来选择个别参与者回答问题。还可以大体上基于收取的调查结果和关于给定问题对预报者的需求而选择参与者，这些将基于问题的难度以及自动化预报模块(例如，机器模型)提供预报辅助的能力而变化。
[0161]
图7a是示出使用根据本发明的一个实施例的方法的动态队伍指派的实例的框图。在图7a所示的实施例中，t个不同任务或ifp 112(编号1到t)被指派到f个不同人类预报者
或参与者220(编号1到f)。预报者可以根据第i个预报者将准确地回答第j个任务(或问题)的预测可能性被指派到一个或多个任务，且其个别预报被转发到人机共生模块130的聚合模块230，如下文相对于图7b更详细地论述。在本发明的实施例的一些方面中，聚合模块230通过基于每一预报者的预期准确性加权预报来聚合个别预报，如下文相对于图7c更详细地论述。
[0162]
图7b是根据本发明的一个实施例的用于对个别预报问题(ifp)动态地指派参与者的方法的流程图。在本发明的一些实施例中，使用多任务学习技术来确定稀疏数据情境中的参与者220的技能集合以及它们如何与给定任务(例如，每一个别预报问题)的要求相关。在本发明的一些实施例中，将参与者的表现建模作为向量(参与者技能向量)，其表示他或她的技能如何匹配于回答给定任务的问题所需的技能。在操作710中，人机共生模块130计算用于每一人类参与者220的参与者技能向量，其中参与者技能向量表示特定参与者的技能和/或知识，如基于例如参与者的过去表现所推断。
[0163]
更详细地在一个实施例中，参与者用于特定任务的任务特定的技能被表示为基本技能的组合，例如数学或政治知识，其由字典的列表示。针对每一任务，存在成功地预报其ifp所需的技能的某个集合，例如概率知识或政治性洞察。因此，人机共生模块130使具有合适技能集合的预报者或参与者220与适当任务相关联。在本发明的一些实施例中，应用双凸面优化以学习参数，且给定参与者220的表现历史来求解优化问题(例如，由参与者220作出的预测最终是否在二元问题的情况下被示出为正确，以及在序数和多项式问题的情况下被示出为预测中的误差的大小)，其中求解优化问题可以包含在操作720中将每一参与者的参与者技能向量与当前可用个别预报问题所需(或相关联)的技能进行比较以计算参与者
‑
ifp匹配得分，且识别满足阈值(例如，反映参与者与ifp之间的最小兼容性)的参与者
‑
ifp匹配得分。
[0164]
在本发明的一些实施例中，每一参与者被建模作为多任务学习框架中的参数，其中参与者技能向量对应于所述参数。用于特定参与者的这些参数包含参与者的技能集合、参与者正确地回答问题的能力，以及参与者将正确地回答ifp的可能性(例如，参与者
‑
ifp匹配得分)。在本发明的一些实施例中，通过模拟和经验数据收集的组合计算这些参数。在一些实施例中，人机共生模块130采用马尔可夫链蒙特卡罗(markov chain monte carlo，mcmc)基于观察数据上的所述参与者的表现历史计算参与者的参与者技能向量(或能力)。在一些实施例中，人机共生模块随后使用这些估计参数制定双凸面优化问题，以推断参与者在话题领域内的ifp上的未来表现(例如，参与者
‑
ifp匹配得分)及其在其它话题区域中的潜在技能。在一些实施例中，通过变量上的交替来计算匹配，其中使用凸优化策略迭代地更新值直到满足某个收敛准则。
[0165]
因此，在本发明的一些实施例中，在操作740中，人机共生模块130将新预报问题指派于具有足够技能来回答那些问题的那些参与者，其中参与者的技能是通过上文描述的模型参数建模的。在本发明的一些实施例中，方法700周期性地重新运行以更新参与者技能向量和跨越预报问题的预报者群体(参与者220)的指派且尝试保持所有问题被充分填充。举例来说，在本发明的一个实施例中，如果在个别预报问题上的响应率过低(例如，在先前周期期间很少参与者响应)，那么在随后的周期可以在操作740中指派额外参与者。
[0166]
在本发明的一些实施例中，当在操作740中将ifp指派到人类预报者或参与者220
时，每一个别参与者被在一时间周期(例如，一周)期间提供根据其偏好和专门知识定制的某个数目的问题，且将被要求回答与他们想回答的问题一样多的问题。在本发明的实施例的一些方面中，人机共生模块对未回答的问题进行调整，且在当重新运行方法700时的稍后时间将它们指派到其它参与者220。然而，本发明的实施例仍可以通过指派比参与者将能够回答的问题更多的预报问题来为参与者提供选择，且如果参与者在指定时间长度内忽略了被指派的预报问题，那么该问题可以被从指派移除且被另一问题替换。此策略允许本发明的实施例针对给定预报问题围绕例如其流行度或机器回答的难度等因素来调整人类参与者的数目。这允许集中人类努力且优化预报者在研究和作出预报上花费的时间。
[0167]
在本发明的一些实施例中，在操作740中参与者的指派的额外组成部分是动态团队合作方法提供了调整指派多少人类参与者来回答每一预报问题的能力。在存在充分的时间序列数据且机器模型已经示出为极准确的实例中，可有可能减少或消除预报问题的人类输入(例如，在人类输入将不改善混合预测系统作出的预测的情况下)。在一些实施例中，这是以实验方式确定(例如，当历史证据示出单独机器比人机混合预报更准确时)。在一些实施例中，多任务学习框架确定何时机器具有足够“技能”回答预报问题而无需人类参与者的额外输入(例如，何时机器模型实现阈值水平的准确性)。
[0168]
用于对任务指派参与者的系统和方法的一些实例在rostami,m.、huber,d.和lu,t.c.(2018年9月)“用于地理政治事件预报的众包分选算法”(关于推荐系统的第12次acm会议的会刊(第377
‑
381页)acm中以及在2019年7月25日在美国专利商标局提交的第16/522,529号美国专利申请案中更详细地描述，以上的整个公开内容以引用的方式并入本文中。
[0169]
如上文所论述，在本发明的一些实施例中，人机共生和协调模块130包含混合聚合模块230，其被配置成在操作321中从来自其它模块(例如，机器辅助人类预报模块110和人类辅助机器预报模块120)的所有输入的聚合体计算混合预报131，其创建组合体(例如，人类、机器、人机预报)成为用于每一预报问题的单个输出预报131。在本发明的一些实施例中，使用一系列自适应算法执行聚合，所述算法监视组合体的各种元素的进展和历史表现(例如，各种人类预测者220和机器模型209的表现)且根据其历史准确性对预测进行加权。
[0170]
图7c是根据本发明的一个实施例的用于聚合来自参与者的预报以计算对个别预报问题(ifp)的混合预测的方法的流程图。图7c中示出的方法对应于在图3所示的操作321中的混合预报的计算的一些实施例。如图7c所示，在操作321
‑
1中，针对给定ifp，hms模块130的混合聚合模块230接收或检索来自人类预测220(例如，经由用户界面210接收)的人类预报和来自机器模型209的机器预报。在操作321
‑
3中，混合聚合模块230根据基于人类参与者220和机器模型209的过去表现计算的权重对人类预报和机器预报进行加权。在操作321
‑
5中，混合聚合模块230基于当前人类预报和当前机器预报计算混合预报(例如，单个人机混合预报)。
[0171]
作为非限制性实例，在本发明的一些实施例中，可以采用乘法权重算法执行操作321的聚合(参见例如，arora,s.、hazan,e.和kale,s.(2012)“乘法权重更新方法：元算法和应用”，计算理论，8(1)，121
‑
164)。当作出ifp的最终混合预测时，乘法权重算法使用组合体中的各种元素(例如，针对当前ifp产生预测的各种人类参与者220和机器模型209)的历史表现来计算与每一人类预报和每一机器预报相关联的权重。
[0172]
作为另一非限制性实例，在本发明的一些实施例中，采用人工神经网络(ann)提供
来自机器模型209和人类参与者220的各种输入预报之间的聚合输出预报。更详细地，由机器模型209和人类参与者220在先前ifp上作出的预测可以用作训练数据的输入向量，其中用于这些训练数据的正确标签可以是那些ifp的实际结果(例如，在预报日期的商品的实际价格或选举的实际结果)。因此，可以基于在广泛范围的ifp上的输入预测和输出标签来训练神经网络(例如，单层神经网络)。在本发明的一些实施例中，将由人类参与者作出的预测聚合或分组(例如，基于技能集合或基于具有相似的参与者技能向量)以便考虑个别参与者回答各种ifp的变化。在训练过程期间，可以计算输入神经元(例如，对应于特征)与神经网络的其它部分(例如，在单层神经网络的情况下的输出层，和在深度神经网络的情况下的神经网络的中间层)之间的连接的权重集合(例如，使用梯度下降以最小化表示数据集的目标标签与ann的输出之间的距离的成本函数)。所得权重集合映射由每一预测源作出的预测的贡献：人类参与者220(在一些实施例中，来自参与者的分组预测)和单独机器模型209。
[0173]
在本发明的另其它实施例中，将组合体的元素基于其置信度或一些游戏化元素(例如，下注，参见例如，chen,y.和wang,j.(2018)，随机化下注机制，arxiv preprint arxiv:1809.04136.)进行加权或通过顶部n片(例如，分位数、百分位数)对组合体进行过滤且仅使用那些输入的算法用以产生输出预报。确切地说，图7c中示出的权重可以对应于由人类参与者报告的参与者置信度得分或由机器模型209报告的机器置信度得分，其在一些实施例中，进一步基于人类参与者和机器模型的先前表现而调整(例如，通过在由机器模型209和参与者220自我报告的机器置信度和人类置信度方面对人机共生模块130的置信度进行加权)。
[0174]
用户界面
[0175]
如上文简单论述，在本发明的一些实施例中用于系统的用户界面210是用于人类参与者220查看预报问题且提交其预报的网站。然而，本发明的实施例并不限于此，且用户界面210可以使用各种其它技术实施，例如在桌上型计算机、膝上型计算机或移动装置上运行的独立应用程序。
[0176]
在本发明的一些实施例中，用户界面210允许参与者220从显示于网页中的一个上的可用或被指派预报问题的列表选择任何问题。针对每一预报问题，用户界面210为参与者提供如下功能性：提交预报(例如，使用例如参看图4描述的界面)，查看机器预报且查看和编辑由机器预报使用的时间序列数据(例如，使用例如参看图5a和5b描述的界面)，提交关键词以辅助机器数据刮取和对其它用户提交的关键词的投票(例如，使用例如参看图6e描述的界面)，以及下注以赢得下注点。为了促进参与且减少锚定偏差，用户被划分成若干队伍，且在队伍水平和个人水平可使用排行榜来跟踪进展(参见例如，图6b)。
[0177]
图8是根据本发明的一个实施例的用户界面的参与者仪表板的描绘。如图8所示，仪表板描绘参与者(例如，使用用户界面210登入系统的参与者)最近提交预报的两个预报问题的状态。仪表板还可以包含由所有预报者针对问题中的每一个所提交的响应范围的描绘，以及预报者是否已经关于对问题中的每一个的回答大体上达成共识。主要用户登录页面是图8和图6c中详细示出的用户仪表板和用户简档页面。用户仪表板向用户提供导航中枢。从此处，参与者可查看其最近预报(且作出更新)，检查通过例如协作式过滤等方法已经向其建议的预报问题，且检查已经解决的预报问题的解决页面以查看它们相对于其它问题的得分。
[0178]
图9是根据本发明的一个实施例的用户界面的图以及所述用户界面的部分的描绘的示意性图示。如图9所示，在902，参与者220登记用户名和密码和/或使用已登记的用户名和密码的用于系统的其它登录凭证。参与者220通过欢迎页面，并且，如果如在904确定，这是他们首次来到所述网站，那么在906为他们呈现知情同意文档(根据需要)。在任一情况下，在908，向参与者220示出完成预报任务的要求的列表。在906完成知情同意且在908示出要求之后，在910将参与者引导到用户仪表板(举例来说，如图8所示)，其基于用户的过去表现、选择和算法指派提供预报问题推荐、到关闭的ifp及其解决方案的链接，以及到“用户简档”914的链接，其关于系统的游戏化元素作出报告，例如活跃度等级绘图、赢得的成就以及赢得的下注点(参见例如，图6c)。当参与者准备好开始作出预报时，他们可在可用预报问题中的一个上点击，或可以通过在912选择“所有预报问题”菜单链接从可用预报问题的完整列表任选地选择。
[0179]“作出预报”页面920是参与者预期在用户界面210上将花费其大量时间的地方。在一些实施例中，各种预报子任务被分成用户界面210中的折叠式布局上的页签，且可以被布置成用于在移动装置(例如，平板计算机和智能电话)上的竖直滚动。在一些实施例中，预报问题的文字在页面的顶部明显地显示且始终在视图中。在本发明的一些实施例中，“了解更多”页签为参与者220提供关于问题的额外信息和到相关数据源的链接，前提是它们可用(例如，到由数据刮取器206刮取的数据的链接)。用户界面210还供应“查看数据”页签，其在一些实施例中显示相关数据源的时间序列(例如，黄金或石油价格的历史)，并且在一些实施例中显示高票关键词和短语的趋势数据(参见例如，图5a)。在一些实施例中，“作出预报”页签提供一系列滑块用于作出实际预报和自由文字栏用于增加基本理论或引用源(参见例如，图4)，其它参与者可在其自身的研究中使用或围绕其创建辩论。“关键词帮助”页签有助于上文关于图9所描述的关键词和短语投票机制。在本发明的一些实施例中，“回顾历史”页签显示队伍的其他每个人的预报及其基本理论。参与者受邀请阅读和通过投票并提供注释而评论其它预报者的基本理论，其目的是通过讨论以及信息和想法的交换来精炼队伍的中值预报(且最终将其改善)。这可以被实施为消息板，且还可以包含如上文所论述的结构化论证。
[0180]
管理界面
[0181]
本发明的实施例的一些方面涉及用于在活跃操作期间监视根据本发明的实施例的混合预测系统的活动(例如，数据库登录、个别用户行为等)的系统、方法和用户界面。在本发明的一些实施例中，在系统后端中实施管理仪表板，以为系统操作者和管理员提供管理员界面来查看参与者的活跃度和行为。在一些实施例中，管理仪表板或管理员界面实施于基于网络的环境(例如，具有基于网络浏览器的界面)中。在本发明的一些实施例中，管理仪表板仅对被授权用户(例如，混合预测系统的管理员)可见。
[0182]
图10a是根据本发明的一个实施例在预报问题中心视点的管理仪表板的截屏。在此模式中，管理仪表板显示关于个别预报问题的信息，包含示出哪些参与者220已经关于每一预报问题提供预报、参与者220在预报问题上的历史准确性、那些参与者220的活跃度水平，以及由那些参与者220供应的基本理论。在一些实施例中，管理仪表板显示哪些队伍参与关于每一预报问题或话题领域的活跃讨论。在一些实施例中，管理仪表板还示出针对问题的跨越队伍的活跃度、共识预报，以及参与者已经为所述预报问题供应的各种基本理论。
[0183]
在一些实施例中，管理仪表板允许管理员深入调查每一队伍的个别用户，通过论坛贴和基本理论评论查看用户的活跃度水平、基本理论、行为和队伍交互。图10b描绘根据本发明的一个实施例的专用于监视队伍和个别参与者的活跃度的管理仪表板的一部分。在图10b中示出的仪表板的顶部是系统中的每一队伍的活跃度以及每一队伍的活跃度的时间序列显示(例如，预报、供应的关键词、关键词或基本理论投票等)。针对给定队伍，管理员界面通过显示队伍的每一个别参与者的信息而允许管理员“深入调查”，包含每一个别参与者的活跃度水平、准确性、生产力等。由此视图，也有可能深入调查每一参与者，示出参与者已经回答的个别预报问题、其预报和基本理论，以及其投票和与其队伍中的其它参与者220的通信。
[0184]
在本发明的一些实施例中，管理员界面通过针对个别预报者的预报和个别预报问题的预报者执行深入调查操作而实现以预报问题为中心和以预报者为中心的模式之间的来回切换。这允许系统管理员查看审计踪迹和进入用于每一问题的最终系统预报的各种组件，且对于除错和研究目的是极有用的。
[0185]
在本发明的一些实施例中，管理仪表板提供关于每一预报问题上的聚合器算法的行为的信息，示出个别参与者预报在混合决策中如何被加权、那些权重的算法源，以及聚合器算法如何在低级下产生混合预报。
[0186]
在本发明的一些实施例中，管理仪表板提供参与者220的不同群组的统计数据和信息的比较。
[0187]
因此，本发明的实施例涉及用于响应于预报问题产生人机混合预报的系统和方法，其中人类预报与机器预报聚合，且聚合的预报用以产生单个混合预测。本发明的实施例的一些方面涉及以来自机器模型的数据帮助人类预测者，且本发明的实施例的额外方面涉及为机器模型提供来自人类预测者的反馈。
[0188]
在本发明的一个实施例中，系统的随机化控制试验(rct)在一个实施例中在六个月的过程中执行，在此期间在每周基础上释放187个个别预报问题(ifp)。在随机化控制试验中，对每一ifp的响应是在二元问题的情况下的单个概率或针对序数或多项式问题的多个选择，其中每一选择被指派概率或可能性。预报系统自动剖析ifp文字以确定其话题领域且向人类预报者和机器算法呈现这些ifp，其中系统引发来自每一群组的响应。在rct周期期间产生且评估混合预报。在与ifp相关联的时间周期经过之后，确定ifp的实际结果。针对每一ifp且针对ifp在作用中的每一天计算系统的brier得分(误差的指标)，且在其寿命中的平均brier得分被计算作为所述ifp的“平均每天brier”得分。用于rct的系统的得分被计算作为187个ifp中的每一个的平均每天brier得分，其中每一ifp被给予相等的权重。
[0189]
图11呈现根据本发明的一个实施例的系统的针对预报聚合的各种方法的随机化控制试验的结果。较低brier得分指示较高预报准确性。如图11所示，九个最佳方法(图11的底部处示出)全部提供基本上等效准确的结果，其中brier得分在0.27到0.28左右。图11的实施例中示出的所有算法是从参与者和算法的历史表现学习且相应地调整其在组合体中的权重的自适应方法。“brier加权”算法在rct中对每一预报者(人类和机器)指派与所述预报者在所有先前解决的预报问题上的brier权重成比例的权重。“乘法权重”算法采用的方法使用比brier加权方法更复杂的算法基于历史准确性计算用于预报者的一系列权重(参见例如，arora,s.、hazan,e.和kale,s.(2012)，“乘法权重更新方法：元算法和应用”，计算
理论，8(1)，121
‑
164)。图11中示出的实施例的算法大体上涉及取得群体的顶部n％，并且接着从加权得分的群体的概率密度函数(pdf)计算结果。举例来说，在顶部brier加权中：中值(50％)，群体的上半部根据其在先前问题上的历史brier得分被选择，且根据其brier得分(例如2
‑
brier或1/brier)被指派权重，并且接着返回由那些得分提供的分布的中值作为聚合预报。针对加权的置信度：中值，得分是由参与者被指派于回答的置信度加权，加权得分用以构建pdf，且返回所述pdf的中值作为聚合预报。在图11中列出的所有算法遵循相似模式：找到群体的分部，基于某个权重构建其预报的pdf，并且接着返回所得pdf的集中趋势的量度中的一个。“rand”意味着不管历史表现而随机地选择用于pdf的群体。
[0190]
因此，本发明的实施例提供用于响应于个别预报问题而组合人类预报与机器预报，进而总体改善预报的系统和方法。
[0191]
计算机系统
[0192]
图12中示出根据一实施例的示例性计算机系统1200。可以使用类似于本文所描述的那些的计算机系统以例如实施上文描述的模型训练系统和/或预部署和部署中的训练模型，但本发明的实施例并不限于此。示例性计算机系统1200被配置成执行与程序或算法相关联的计算、过程、操作和/或功能。在一个实施例中，本文所论述的某些过程和步骤被实现为一系列指令(例如，软件程序)，其驻留于计算机可读存储器单元内且由示例性计算机系统1200的一个或多个处理器执行。当执行时，指令致使示例性计算机系统1200执行例如本文所描述的特定动作且展现特定行为。
[0193]
示例性计算机系统1200可以包含被配置成传送信息的地址/数据总线1210。另外，例如处理器1220的一个或多个数据处理单元与地址/数据总线1210耦合。处理器1220被配置成处理信息和指令。在一实施例中，处理器1220是微处理器。替代地，处理器1220可以是不同类型的处理器，例如并行处理器或现场可编程门阵列。
[0194]
示例性计算机系统1200被配置成利用一个或多个数据存储单元。示例性计算机系统1200可以包含与地址/数据总线1210耦合的易失性存储器单元1230(例如，随机存取存储器(“ram”)、静态ram、动态ram等)，其中易失性存储器单元1230被配置成存储用于处理器1220的信息和指令。示例性计算机系统1200还可以包含与地址/数据总线1210耦合的非易失性存储器单元1240(例如，只读存储器(“rom”)、可编程rom(“prom”)、可擦除可编程rom(“eprom”)、电可擦除可编程rom(“eeprom”)、快闪存储器等)，其中非易失性存储器单元1240被配置成存储用于处理器1220的静态信息和指令。替代地，示例性计算机系统1200可以例如在“云”计算中执行从在线数据存储单元检索的指令。在一实施例中，示例性计算机系统1200还可以包含与地址/数据总线1210耦合的一个或多个接口，例如接口1250。所述一个或多个接口被配置成使示例性计算机系统1200能够与其它电子装置和计算机系统介接。由所述一个或多个接口实施的通信接口可以包含有线(例如，串行缆线、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
[0195]
在一个实施例中，示例性计算机系统1200可以包含与地址/数据总线1210耦合的输入装置1260，其中输入装置1260被配置成将信息和命令选择传送到处理器1220。根据一个实施例，输入装置1260是可以包含字母数字和/或功能键的字母数字输入装置，例如键盘。替代地，输入装置1260可以是除字母数字输入装置外的输入装置。在一实施例中，示例性计算机系统1200可以包含与地址/数据总线1210耦合的光标控制装置1270，其中光标控
制装置1270被配置成将用户输入信息和/或命令选择传送到处理器1220。在一实施例中，利用例如鼠标、轨迹球、轨迹垫、光学追踪装置或触摸屏来实施光标控制装置1270。尽管如此，在一实施例中，例如响应于与输入装置1260相关联的特殊键和键序列命令的使用而经由来自输入装置1260的输入引导和/或激活光标控制装置1270。在替代实施例中，光标控制装置1270被配置成由语音命令引导或导引。
[0196]
在一实施例中，示例性计算机系统1200还可以包含与地址/数据总线1210耦合的一个或多个任选的计算机可用数据存储装置，例如存储装置1280。存储装置1280被配置成存储信息和/或计算机可执行指令。在一个实施例中，如图13中所示，存储装置1280是例如磁性或光盘驱动器(例如，硬盘驱动器(“hdd”)、软盘1282、压缩光盘只读存储器(“cd
‑
rom”)1284、数字多功能光盘(“dvd”))的存储装置，或快闪存储器(例如，呈usb驱动器形式的nand快闪)1286。依据一个实施例，显示装置1290与地址/数据总线1210耦合，其中显示装置1290被配置成显示视频和/或图形。在一实施例中，显示装置1290可以包含阴极射线管(“crt”)、液晶显示器(“lcd”)、场发射显示器(“fed”)、等离子显示器，或适合于显示视频和/或图形图像和用户可辨识的字母数字字符的任何其它显示装置。
[0197]
本文呈现示例性计算机系统1200作为根据一实施例的示例性计算环境。然而，示例性计算机系统1200未严格地限于计算机系统。举例来说，一个实施例提供示例性计算机系统1200表示根据本文所描述的各种实施例可以使用的一类数据处理分析。此外，也可以实施其它计算系统。实际上，本发明技术的精神和范围不限于任何单个数据处理环境。因此，在一实施例中，利用由计算机执行的例如程序模块等计算机可执行指令来控制或实施本发明技术的各种实施例的一个或多个操作。在一个示例性实施方案中，此类程序模块包含被配置成执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个实施例提供通过利用一个或多个分布式计算环境实施本发明技术的一个或多个方面，例如其中任务是由通过通信网络链接的远程处理装置执行，或例如其中各种程序模块位于包含存储器存储装置的本地和远程计算机存储介质中。
[0198]
虽然已关于某些示例性实施例来描述本发明，但应理解，本发明不限于所公开的实施例，而相反地，本发明旨在涵盖包含于所附权利要求的精神和范围内的各种修改和等效布置以及其等效内容。