用于帮助为接受医疗外科管理的患者建立个性化治疗方法的方法和集成系统与流程

1.本发明涉及用于帮助为接受医疗和外科护理的患者建立个性化治疗方法的方法和集成系统。


背景技术：

2.操作者或外科医生面临的需求是在没有技术辅助的情况下执行越来越多的医疗行为，以通过对所有护理服务的同质化且有效的能力贡献来满足这种增长。例如，虽然许多操作者可在其他医护人员的实际协助下执行操作，但在操作期间无法获得教育或培训资源。另外，医护部门经常面临人员短缺，这不仅不利于操作者，也不利于患者。
3.这里提供的背景说明旨在给出针对本公开背景的一般性概述。在本节描述的范围内，本发明人的工作，以及在提交时不能被视为构成现有技术的一部分的那些说明方面，不被明示地或暗示地承认为本公开上下文中的技术现状的一部分。


技术实现要素：

4.根据本发明的第一方面，提出了一种外科辅助方法，包括以下步骤：从远程计算机架构获得对应于患者的原始医学成像数据；根据所获得的原始医学成像数据重建数字模型，其中数字模型是二维或三维的；通过对数字模型应用外科行为序列来生成多个三维场景；使用多个所生成的三维场景来模拟外科行为序列在患者的数字模型上的虚拟执行；以及在显示器上显示以下元素中的至少一者：所重建的数字模型、一种或多种病理、多个所生成的三维场景以及所模拟的虚拟执行。
5.在本说明书中，骨模型旨在提供骨的真实2d或3d表示，也就是说，不包括数学建模类型的任何近似。
6.根据本发明的方法可任选地包括基于数字模型来确定至少一种病理。可随后基于至少一种病理来确定外科行为序列。
7.该方法可基于单个云类型计算架构。
8.该方法可包括将多个三维场景投影到患者身上以引导操作者，其中投影包括全息投影。全息投影可由操作者操纵或可定位在患者身上。
9.多个所生成的三维场景或虚拟执行的模拟以协同模式显示，以远程地辅助操作者执行需要多个评估的对应规程或以观察模式训练操作者。
10.该方法可包括通过数值数学建模来实现人工智能和/或模拟物理系统以对所模拟的虚拟执行建模。
11.该方法可包括以下步骤：对可以或可以不特定于患者解剖结构的解剖学元素和/或植入式医疗装置和/或用于辅助外科行为的辅助器械的数字模型建模，根据数字模型和/或所提取的感兴趣数据以添加到所建模的至少一个另外3d场景或在该场景内生成的3d对象的形式执行所述外科行为序列。解剖学元素和/或植入式医疗装置和/或辅助器械可基于
患者的解剖结构。
12.该方法可包括将数值模型投影到患者身上以引导操作者，其中投影包括全息投影。
13.该方法还可包括用于生成可以或可以不特定于患者解剖结构的解剖学元素和/或植入式医疗装置和/或辅助医疗装置的数字模型的步骤。
14.该方法可包括由制造设施对从所述生成的数字模型生成的数字文件进行增材或减材制造。
15.根据本发明的第二方面，提出了一种用于外科支持的云类型计算架构，该架构具有用于根据在架构中记录的患者的原始体积医学成像数据来重建二维和/或三维数字模型的模块、与操作者之间的图形显示交互界面，该图形显示交互界面包括用于规划外科介入的被配置为执行以下步骤的模块：在显示器上显示来自所述数字模型的场景，借助应用于所述重建的数字模型和/或从所述原始数据提取的感兴趣数据的识别和测量模块来确定所述患者的一种或多种病理；通过对所述数字模型和/或所述感兴趣数据应用外科行为序列对多个另外的三维场景建模；对所述外科行为序列在患者身上的虚拟执行进行模拟和计算机建模。
附图说明
16.从下面的详细描述中，本公开的其他特征和优点将变得显而易见，为了便于理解，参考附图，其中：
17.图1是根据本发明的系统的一个实施方案的高级框图。
18.图2是根据本发明的系统的一个实施方案的数据处理基础结构的高级框图。
19.图3是计算机架构的示例性框图。
20.图4是处理和算法模块的示例性框图。
21.图5是数据处理和显示模块的示例性框图。
22.图6是说明系统的各种模块之间的连接的框图的示例。
23.图7是概述外科规划、外科引导和对应的递送的步骤的流程图。
24.图8是概述用于执行外科规划的特定步骤的另一个示例性流程图。
25.图9是概述用于执行外科引导的特定步骤的另一个示例性流程图。
26.图10是系统的一个实施方案的高级表示。
27.图11是使用系统引导的外科手术的操作者视图的图形表示。
28.在附图中，可重复使用附图标记来标识类似和/或相同的元件。
具体实施方式
29.由于在下文中描述的实施方案本质上不是限制性的，因此可以特别地考虑本公开的仅包括从所描述的特征中所做选择的变型，只要特征的该选择足以赋予技术优点或足以将本公开与现有技术区分开。该选择包括至少一个优选的功能特征，该功能特征没有结构细节，或仅具有结构细节的一部分(如果该部分单独足以赋予技术优点或足以将本公开与现有技术区分开)。
30.在说明书的其余部分，具有相同结构或类似功能的元件将由相同的附图标记表
示。
31.初步定义
32.api：在计算中，应用编程接口是类、方法、函数和常数的标准化集，其用作软件用来向其他软件提供服务的外观。
33.cpu：处理器(或中央处理单元)是存在于执行计算机程序的机器指令的许多电子设备中的部件。
34.医疗装置：根据世界卫生组织(“who global model regulatory framework for medical devices including in vitro diagnostic medical devices”，who医疗装置技术系列，第8页，2019年)，医疗装置是指任何器械、设备、器具、机器、植入物、体外使用试剂、软件、材料或其他类似或相关物品，由制造商旨在单独或组合地供人类使用，用于以下特定医疗目的中的一个或多个：(i)疾病的诊断、预防、监测、治疗或缓解；(ii)损伤的诊断、监测、治疗、缓解或弥补；(iii)解剖结构或生理过程的研究、替换、修改或支持；(iv)支持或维持生命；(v)受孕控制；(vi)医疗装置的消毒；或(vii)通过得自人体的样本进行体外检查来提供信息；并且在每种情况下都不能通过药理学、免疫学或代谢方式在人体中或人体上实现其主要预期行为，但可通过此类方式辅助其预期功能。某些另外产品可能被一些法规视为医疗装置，包括：(i)消毒物质；(ii)用于残疾人士的辅助工具；(iii)结合了动物和/或人体组织的装置；或(iii)用于体外受精或辅助生殖技术的装置。通过扩展，这些定义被视为适用于本发明的动物药物；
35.flop(每秒浮点运算次数)：通过每秒可执行的浮点运算次数来测量处理器或处理器的算术计算单元中的一者的速度；
36.gpu：图形处理器或gpu(图形处理单元)是提供显示器的计算功能的集成电路；
37.teraflop：一个teraflop对应于10
12
个flop。
38.本公开解决的技术问题
39.全球人口平均寿命的延长是需要广泛健康行动以提高患者护理过程的效率的主要原因。实际上，这种日益增长的医疗使用发生在患者人数和健康专业人员人数之间的不平衡日益突出的情况下，其中患者人数比健康专业人员人数更显著地增加。当应用于外科时，该问题变得显著，因为该医学学科一方面涉及组织以及大量的、特定的和昂贵的资源，而另一方面对各方而言具有潜在的高风险。这些风险是医疗性质的，在极端但真实的情况下对患者而言是致命的，或对从业者以及提供护理的医疗保健机构(私人或公共机构)而言涉及刑事和财务责任。
40.该问题的处理需要多轴分析方法：分析患者的当前护理周期，分析外科规划的越来越大作用，分析外科行为中个性化治疗的越来越大作用，分析当前技术解决方案的相关性，以及最后，本发明提出的作为行业4.0的产物的解决方案。
41.该方法将阐明本公开解决的复杂和相关的问题。然后，将以非限制性方式结合针对其标志特征所选择的以下外科专业进行说明：矫形外科和创伤外科。
42.分析当前背景下的患者护理周期
43.为了为患者提供不断改进的医疗保健服务，完全满足外科专业人员的期望需要综合考虑深入了解医疗保健机构及其在国家医疗保健系统内的功能、应用于健康的数字技术、以及最终符合适用健康法规要求进行医疗装置的开发。然而，当应用于护理过程时，外
科行为仅是一个阶段。治疗性护理实际上可被分解成四个主要阶段。
44.诊断阶段：在先行问诊之后，将患病的患者转诊给专家，同时对他进行规定的医学检查，该医学检查旨在向专科医生提供有关疾病根源病理的性质和程度的足够信息，以便做出诊断。这些检查的绝大部分是生物学和影像学性质的，其类型基于诊断需要而变化(计算机断层摄影术、血管造影、放射学、磁共振成像等)。由放射科医生进行成像检查，因此放射科医生基于针对该患者生成的二维(在本文档中缩写为术语2d)或三维(在本文档中缩写为术语3d)数据进行诊断，并且将诊断结果发送给处方医生以及专科医生。专科医生根据其专业知识和医学检查结果可以或可以不决定涉及对该患者进行外科行为的治疗方法。如果他决定进行外科介入，则过程进入称为“术前阶段”的阶段。
45.术前阶段：一旦决定对患者进行手术，专科医生就发起手术的准备过程。第一理论步骤包括执行所讨论的外科手术的规划，包括技术上构建可能的步骤：优化进入手术部位的外科方法、有利于或执行一些或全部外科规程的辅助器械或辅助设备的选择(钳子、骨保持钳、外科引导件、切割工具、相机、腹腔镜设备、机器人臂等)、植入式装置(如果适用的话)的选择(假体网、骨关节髋或膝假体、血管支架、用于骨折的接骨材料、起搏器等)、经由成像中可用数据进行的分析和测量等。因此，外科规划首先包括通过任何方式模拟要执行的外科手术：在纸上、通过计算机工具、或甚至在没有任何特定支持的情况下凭经验非正式地进行。该阶段的第二阶段紧接第一阶段并且是可操作的：与负责手术室的团队协商以检查库存中是否有必要的设备或是否必须订购/重新订购必要的设备以便安排外科手术。在该阶段订购某些外科规程可能需要的特定于所讨论的患者的解剖结构的设备。在这种情况下，装置被称为“定制的”或“特定的”，可以是植入式的或辅助的(例如在不常见形态的情况下)。整个术前过程也在与医疗护理过程中可能涉及的其他医学学科(诸如例如麻醉药物)进行协商后完成。
46.术中阶段：该阶段包括根据在前述两个阶段期间验证和编制的技术和操作准备对患者进行实际外科操作。外科医生根据自己的规划继续使用所识别的设备，这些设备将由附属于手术室的团队和/或由规程的外部服务提供者准备(订购、检查、组装、验证、灭菌等)。重要的是规定在患者存活有问题的紧急情况下(所谓的“热”手术，与所谓的可以预约的“冷”手术相对)，可针对阶段1至3进行不同且加速的安排。也可能基于预算优化目标在短期住院之后选择加速护理，以便降低治疗性处理的成本。
47.术后阶段：该阶段包括从患者醒来时直到他离开机构的护理，包括可例如包括护理、监测或甚至一个或多个附加或补充规程的中间阶段。现在越来越多的规程在门诊进行并且不需要术后住院。如果适用，在该阶段期间定义患者监测和康复方案。
48.分析外科规划作为患者护理的表现和安全的驱动因素的越来越大作用
49.考虑到更多护理需求，患者人数和外科医生人数之间的不平衡破坏链的稳定，而这可能造成一系列瓶颈。当今的情况导致对于过程中的每种参与者(首先是放射科医生和外科医生，还有护士、手术室工作人员、麻醉师等)的人数需求大大增加，从而面临牺牲质量换取数量的风险。尽管在任何服务活动中都要避免因难以遏制且与现有手段不相称的过度需求而导致的表现变差，但就健康而言，这是必须消除的重大风险。
50.对影像服务的需求因此不断增加(预防、诊断和随访阶段的系统化)，超过了合格放射科医生的人数。设备的技术进步现在使得每次检查获得数百张图像成为可能，这可能
导致一名放射科医生每天处理数万张图像，这在不损害诊断质量的情况下有悖于人类的能力。
51.在这种高度受限的背景下，使用it的能力来加速处理和分析、促进诊断并使诊断更可靠、确保信息在治疗链中的不同参与者之间的传输或甚至增强外科能力是快速增长的过程，以至于患者护理过程的数字化必须被视为空前的技术革命。作为这种转变的一部分，越来越多保健规程的数字转换成为逐渐构成医疗团队的目的在于提供越来越多和越来越好的护理的这种范式转变的主要问题。
52.这种转变的核心是由多个阶段(具体地是诊断动作、术前动作和术中动作)组成的治疗护理过程的关键。
53.该节点集中了医疗表现(治疗结果)和操作表现(组织流动性、财务负担)的问题，以及健康安全问题(暴露于风险)。在采用结构化健康系统的所有国家，所有医学专科都面临这些问题。
54.现今解决部分问题的优选解决方案中的一种是采用人工智能技术，该技术应使得能够快速利用医学图像产生系统可获得的大量信息，并且因此通过使某些学科中的诊断辅助系统自动化来提高放射科医生的能力。除了专用于诊断阶段1的此动作，与第一动作互补的第二动作的目的在于使外科医生能够更多地使用医学成像信息来加强外科规划阶段。该方法并不取代放射科医生，而是对更多了解将由外科医生治疗的病理情况表现出强烈兴趣，目的是为了患者利益而进行最佳手术准备。自近年来开始出现增材制造以来，结构化方法越来越多地整合到简单模式的外科规划中，诸如使用聚合物或石膏3d打印出供外科医生在手术中使用的器官，出现在不断涌现的文献中，所讨论的外科规程的持续时间缩短。这种缩短必须与手术部位在外科打开之前更好的准备以及因此更好的了解相关，以及与由于新数据的贡献而可由外科医生决定的治疗方案的修改相关。因此有报道称，在初始手术策略发生根本性改变的情况下，有时会出现外科手术的预期持续时间大幅缩短。外科手术持续时间的大幅缩短对治疗和操作水平有若干后果。第一，可以减少患者暴露于规程固有的风险：医院获得性感染、输血需求或甚至麻醉。除了尽可能避免因患者认为自己因在医院内接受的规程而造成的健康损害承担责任之外，医院也通过手术时间的这种缩短获得操作和财务方面的益处：医院可增加每日的外科手术台数，并因此增加收益。
55.日益个性化的治疗
56.外科手术的治疗个性化被定义为考虑患者的生理、形态学或解剖学特殊性作为用于准备和执行规程的输入数据，目的在于使医疗方案适于患者的具体情况。目标是双重的，效/险比相当：更好的外科表现与稳定的或降低的操作成本。
57.在可能需要使用特定于患者的一个或多个植入式装置和/或辅助器械的器械化规程的背景下，在前述段落中描述的操作益处可进一步增大。除了性能贡献之外，该治疗选择可以通过减少机构内的设备库存以及通过降低操作管理要求(单元可追溯性、灭菌、检查等)来优化健康机构的操作结果。
58.这种个性化方案在某些医学专科(例如，矫形外科)已存在数年，但它的应用仍然较少。这种辅助性质的原因是双重的。
59.第一个原因与外科医生和规划/制造过程设备的制造商之间的具体实施相联系，该设备通常不适合于单元生产并且因此对于各方来说是昂贵且限制性的(使用通常由于量
产、分析和设计而外包给专用第三方团队的设备)。
60.第二个原因是第一个原因的直接结果：由于根据在前述段落中描述的方法的定制装置的高成本，大多数健康法规坚持要求必须由医疗处方来证明不寻常使用。因为法规文本通常无变化，所以逻辑上意味着一直都是初始模型。
61.尽管在医疗行业中出现了双重外科医生/工程师培训的强烈趋势(由新词“外科工程师(surgineer)”表示，即“外科医生(surgeon)”和“工程师(engineer)”的组合)，但它目前仍然是罕见的，并且第三方的角色在以下若干级别仍占优势：患者文件的恢复(例如，由从业者加载在远程服务器上或通过向第三方发送诸如cd-rom的数字存储介质)、3d重建、建模准备(例如：分割3d文件以提取例如有机体的特定组织或骨架)、软件知识、用于理解3d的方法学、本地适于处理信息并执行将供外科医生审阅的初步建模的计算能力等。
62.随着增材制造过程的出现，并且更广泛地由于已经在本文档中提到的患者护理周期的日益数字化，用于患者特定医疗装置的制造过程的线性化仍然在进行中，具有逐渐趋向于将这种强大的发展整合在法律要求内的监管动态。然而，诊断(阶段1)和外科手术(阶段3)之间的链接链的线性化意味着完全控制第二基本链接，第二基本链接是手术规划，并且具体地是软件架构的现实，软件架构必须支持它以便使其符合所有性能、安全性和成本要求。
63.分析当前技术解决方案的相关性
64.因此，对于某些专业和某些检查，通过人工智能算法来支持医学成像中的分析活动增强了放射科医生的能力并通过避免成像服务的拥塞来确保诊断。如前所述，除了对患者呈现高风险的复杂外科手术(例如：神经外科、心脏病学、肿瘤科)，与在诊断之后能够被验证的外科规程的规划的直接关联在此时不是非常系统化的。因此，为了将术前准备的活动推广到所有外科专业，至关重要的是能够开发解决方案，从而将成像检查与所规划的外科执行之间的这种线性链作为外科辅助的途径(植入式或辅助医疗装置的制造，由外科医生在定制基础上建模以及按外科引导进行辅助)。
65.因此，最直接的解决方案是通过利用适于自己目标的软件帮助从业者将诊断分析的一部分转移到从业者自己手中。因此，与用可以对外科阶段进行整体建模的软件功能补充该初步工作相比，外科医生在可视化和用于个性化诊断目的方面获得的附加益处更小。该方法已经在满足规划的商业目的的商业解决方案中实施，一些解决方案还允许与外部计算机化外科辅助系统关联，或甚至可以对特定于患者解剖结构的植入式装置或辅助器械建模。所有这些产品都能在阶段1至阶段3的数字自动动力学中找到理由。然而，商业响应的问题不是要提供的唯一响应，因为如果我们希望推广诊断/建模/外科辅助解决方案的链锁化，则最基本的是提出与整个健康生态系统的限制一致的技术具体实施的问题。医疗装置必须确实呈现有利的效/险比，而且还为外科医生提供可靠、有效、安全且经济上可接受的工具。在使用越来越大的数据集来支持阶段1至阶段3的活动的情况下，完全理解it架构问题因此是提供医疗装置来治疗给定病变的商业问题背后的问题。
66.支持当前解决方案的技术原理的分析使得突出与很难持久地经受住时间考验的技术选择相关的某些限制成为可能。
67.计算性能在问题核心处的可用性
68.到目前为止用于外科规划期间的3d建模的优选医学成像文件是通过计算机辅助
的断层密度测量法获得的那些，或者甚至是通过磁共振成像获得的制图文件。尽管通过不同的采集方法生成，但所获得的文件以被称为dicom(digital imaging and communication in medicine(医学数字成像和通信)的首字母缩写)的标准化格式编码。包含涉及分析对象的三维结构的大量信息的这些文件是大型文件(几百兆字节)，在其原始状态下需要使用高计算能力。计算机断层摄影术采集方法例如可以根据通过在对象外部进行的测量获得的一系列二维切片并且通过堆叠这些测量值来重建三维体积，该三维体积包含作为其精度和采集程序的函数的可由装置检测的所有信息。这些重建体积的基本单位被称为“体素”，是指它们作为三维场景中的最小自决性实体元素的状态。由于分析的精度与所述分析的对象的定义直接相关，因此诊断的精度在逻辑上以等同的校准直接取决于每单位体积的体素数目并因此取决于分辨率。分辨率越高，3d重建将越忠实于所分析的对象，然而导致以相等的体积递送越来越大的文件。因此，期望在诊断和外科规划方面具有可靠性和高性能与越来越精确和有效的采集系统相结合意味着在患者护理链内为相关参与者提供强大的计算能力。
69.当今的现实是目的在于支持该链(对可以或可以不特定于患者解剖形态的医疗装置建模)的技术提议艰难地满足健康规范的所有要求。该缺陷基本上涉及实现可遵循若干路径的链中的每一环的执行的方法，应当仔细地检查这些路径的特性。
70.减少计算要求的最有效方式是简化将用作整个过程的基础的模型。可通过应用压缩算法来减少文件中的数据量，压缩算法将根据预定义设置来选择小批量的数据。通过经由感兴趣对象的网格动作(通常称为“网格”)将体素中的体积数据转换成面积数据来压缩dicom体积文件。因此，所述对象的呈现被简化为仅呈现初始体积的包络的三维对象，包络由顶点、边缘和面组成。因此，该算法动作可以减小文件的大小并有利于它们的处理，以便向下修改计算能力要求。
71.因此，即使在进行任何操纵之前，特别是在所有外科规划共有的第二步骤(分割)之前，这相当于大大减少了包含在这些包络内的信息量。分割实际上目的在于将计算机算法应用于2d图像或应用于根据这些图像以3d重建的体积，以便仅显示和/或保持根据预定标准选择的某些特定数据。这可例如在于在断层密度测量法检查内仅保持一种类型的组织或解剖学元素，具体取决于医学专业和目标(针对骨科或上颌面外科手术的骨组织或单个骨、针对血管外科手术的血管、针对肝脏外科手术的肝脏等)。因此，将在规划操作之后使用的材料的质量可能受到对已经压缩的文件应用该算法的极大影响，与从初始dicom所得的重建相比，保真度已经降低。
72.因此，确定分割上游的文件的压缩率的表面网格的分辨率的选择，数学建模十分关键，并且在某些阈值下，对用于诊断或规划用途的渲染的保真度产生怀疑，因此对准备患者的实际治疗的外科阶段的建模产生怀疑。该模型具有不充分地表示其患者的真实情况的风险，这在健康生态系统中似乎是不可持续的，在健康生态系统中，模型的性能以及因此模型对真实情况的真实性必须成为关于当今可用技术的标准。
73.由于体素处理固有的计算要求，通过网格化来简化资料的选择被推广：外科医生的事先可视化可作为放射学诊断(软组织外科、神经外科、血管外科或矫形外科等)的补充、对特定于患者形貌的辅助性外科辅助器械建模(矫形外科中的引导：定位、钻孔、切割、取向等)，或甚至通过允许外科医生在事先构想的实体元件的库内选择植入物的模型以将它们
以3d形式叠加在解剖对象上的决策支持。
74.作为对不满意的响应，在云中本地开发的解决方案
75.提供用于操纵3d体素数据的高性能计算或简单地从本地安装在操作者计算机上的软件模型(并且因此其限于这些机器的性能和对特定于计算机操作系统(等)的开发的需要)移动到用于实现远程计算机服务器的移动性的互联网平台类型模型(除了大容量数据存储之外还允许该计算的转移)当前在由于上述原因而消耗大量3d数据的医疗领域正在增长。因此，这种增长在逻辑上通过营销用于提供专用于远程数据存储或高性能图形计算的“云”或“云计算”解决方案(在包括讲法语的国家的许多语言中使用的通用术语，有时可能更喜欢用“solution nuagique”)的服务来支持。这些服务允许通过集中的图形处理器(graphics processing unit(图形处理单元)的首字母缩写)来访问配备有高图形计算能力的远程计算机器。例如，与图形卡的设计者和制造商相关联的公司是当前通过其microsoft产品提供这些解决方案的主要参与者。
76.提供使用云计算来线性化阶段1(放射诊断)和阶段2(外科准备)之间的链锁化的计算机化外科规划产品的公司主要关注以下两项服务，这两项服务可以是单独的或组合的：(1)到病历管理系统的直接链接，以及(2)外科医生经由网络浏览器使用病历。
77.换句话讲，第一种选择是与用于医学成像文件的管理系统的直接链接，该管理系统由放射科医生管理并且用首字母缩写pacs(picture archiving communication system(图像存档通信系统))表示，用于将文件存储在新服务器上，然后由第三方针对外科规划准备活动进行处理。
78.此外，第二种选择是外科医生可以使用软件来使用所讨论的文件，该软件不再在从业者的计算机上本地运行，而是在能够经由诸如google
tm chrome
tm
、edge、mozilla或opera
tm
的网络浏览器访问的网站上操作。
79.该第二种选择非常有吸引力，在逻辑上对期望的目标有很高的要求。然而，当今市面上提供用来帮助诊断/外科规划的软件产品，但它们的可持续发展受制于若干重要缺陷：
80.数据安全性：健康数据现在受到严格控制并且必须托管在不妨碍数据复制控制中的某种不透明的经认证的服务器上。在转移和传输阶段(此时这些数据经历需要中间记录并因此需要存储的若干连续算法处理操作)尤其如此。
81.技术限制：目前对于基于云计算的使用的解决方案的使用出现了几个问题，其共同原因不是因为构造了集成式解决方案，而是因为有时强制采用了最初不是针对这些目的开发的技术部件。
82.3d场景的实时渲染：为了使得外科医生能够执行将解剖数据的简单可视化与外科步骤的复杂模型相组合的高级3d规划，渲染必须忠实、流畅并且对于场景的所有操作者和观察者而言都是高质量的，并且不依赖于计算机终端(计算机、平板计算机、智能电话、虚拟或增强现实可视化系统等)的性能，这是最常见的情形并且还解释了数据简化的使用。
83.3d可视化引擎：行业遵循的满足交互式3d可视化方面的需要的初始做法是沿用在性能方面具有非常高要求的视频游戏的3d引擎。尽管这些引擎在视频游戏中的效率很高，然而，这种效率并不是通过简单地移植在其他领域就能获得，特别是在与云计算技术相关
的领域。它们在设计时根本没有考虑到这些需求，并且如果不进行升级，就不是经得起时间考验的解决方案。
84.协同方法：云计算的主要关注点之一是数据的实时共享。就外科手术而言，特别是从由外科医生或医生团队执行的外科规划或远程评价活动的角度来看，提供用于共享3d形式场景的可访问的高效技术是必要的。如今，这是扩展基于云计算gpu的解决方案的基础，云计算gpu的性能综合考虑了基础设施(云gpu、电信网络、运营商设备)的质量和可用性以及软件架构的选择，以便以尽可能短的延迟(延迟是指计算机数据的分组通过网络从源行进到目的地所需的时间)支持这些解决方案。
85.在过去，并且面临缺乏开发利用云计算技术本身的解决方案的情况，优选的做法是适应应用程序，即，将应用程序设计成利用计算机终端的硬件资源，然后经由虚拟机将应用程序带入云，虚拟机最后被同步以便可视化相同的三维场景(例如：以通过mri获得的3d形式重建的心脏)。虚拟机是由模拟硬件资源的存在的仿真软件创建的计算机机器的幻象。所遇到的问题是移植到云的软件不是为了最好地利用云功能而开发的(这将需要巨大的重新编程工作来匹配gpu技术的要求)，因此不仅造成同步问题，还由于需要部署每个操作者和每个连接具有一个gpu的虚拟机而造成高操作成本问题。
86.对情况的这种综合分析表明，尽管提供的产品很多，但提供在考虑操作者的期望、报销系统和健康法规的同时允许使用云计算技术来支持诊断/外科规划链的流畅化的实际解决方案方面如今似乎非常不令人满意。运行基于云的解决方案不是简单地将初始解决方案放在容器中传输，以便在远程服务器上的租赁虚拟机中运行。正是在这种背景下，通过允许3d场景共享分布的新型复杂架构专门针对云gpu的利用设计了新解决方案。自从云gpu在2017年进入市场以来，在该领域中专门利用云gpu的先进解决方案成为用于3d渲染和算法(www.3dverse.com)的计算的云类型群形式的协同平台。因此，该解决方案用作经由云计算特意构建的第一3d引擎，从而取代需要个性化设备的资源的模型。因此，该新型解决方案的部署构成了用于实施交叉项目的有利基础，诸如支持外科患者护理的数字化的解决方案的线性化，从而开发出符合适用于医疗装置的国际法规要求的创新通信应用和模型。
87.如前所述，在解决外科性质的商业问题之前，我们必须理解允许在外科医生层级实施“一体化”解决方案的技术结构。到目前为止，已经通过应用诊断辅助(阶段1)、外科规划(阶段2)以及最终植入式医疗装置或用于辅助外科规程的辅助器械的建模辅助(阶段3)描述了该具体实施。然而，这种致力于个性化治疗的途径的必然结果是需要向外科医生提供足够的信息，以允许他植入和/或使用具有最大安全性的特定器械，并且因此引导他的外科规程。两种历史途径是计算机辅助外科(也称为外科“导航”)和外科机器人，两者都被使用并且可从关注了到现在为止提到的所有考虑因素的外科规划阶段开始使用。取决于其复杂性和自主性程度，这些系统可集成人工智能算法，主要用于解剖识别。为了更广泛地使用外科规划并且实现在手术室中具有比导航工作站或机器人更低要求的具体实施，作为外科规程的辅助的第三种途径应运而生：增强现实。
88.为外科医生服务的全息辅助
89.就外科规程辅助而言，多年来采取的主要途径是允许外科医生使用计算机系统来辅助和监视其规程的所谓的“计算机辅助”外科。然后我们谈及外科“导航”或“引导”，因为
这些系统的原理是允许外科医生遵循经验证的术前规划的全部或部分，具体方式是使用在外科操作期间在患者身上测量的特定数据来实时地比较该术前规划。因此，骨关节修复外科手术(髋、膝、脊柱等)在超过30年前开始采用这种技术，实现面向导航工作站的交互式辅助，例如基于由传感器(可能为红外线类型)对由外科医生确定的固定解剖标志进行检测的原理进行操作，从而最初允许他校准场景的“元素”(患者、外科医生的器械、解剖学元素)的空间位置。其次，系统允许外科医生通过使用特定触觉器械的触诊(可能由相同的传感器检测)以记录患者的3d解剖数据。
90.系统已经记录了固定参考系的空间坐标，因此能够动态地重建由外科医生处理的区域，然后将它们与在规程的上游执行的初始规划进行比较，并且在主要集中于植入式医疗装置(例如，全膝关节假体部件)的尺寸选择的决策阶段提供辅助。该示例可扩展到其他专科，诸如神经外科或心脏外科；用于检测的技术可取决于所讨论的工作站的制造商而变化(例如，qr码)。初始检查也可以不同(磁共振成像、计算机断层摄影血管造影术等)，但原理仍然类似。为了改善这种外科引导的性能而开发的一种方法涉及使用一种未来技术：增强现实，也称为混合现实。为了方便起见，在本文档的其余部分中将仅使用术语“增强现实”。
91.增强现实被定义为现实与由计算机系统实时计算的元素的叠加。这些元素可具有多种性质：声音、视频图形、触觉、二维、三维等。对于电影或视频游戏而言众所周知的是，支持性技术的可靠性不断提高，为增强现实开辟了高要求但通常是高度规范的专业途径，诸如工业或医疗领域。尽管这些领域的吸引力最初是操作者第一次面对最近仍被归类为虚构的技术而感到震惊的直接结果，但今天情况已不再如此。实际上，采用增强现实的视觉设备(示例：)的可靠性与改善的表现和收益的前景相结合，导致现在已出现许多感兴趣使用场景，诸如工业中的技术检查或医疗领域中的外科辅助。
92.这些可视化系统由单独的装置组成，可能为头盔、面罩、眼镜的形式，并且更一般地讲，由搁置在头部上并同时被头部(耳朵、鼻子、颅骨等)保持的框架(诸如头戴式耳机)组成的任何系统可以通过中性或自适应光学透镜或投影在所述透镜上或经由屏幕来可视化由与现实并置的全息图组成的3d场景。与增强现实不同，虚拟现实的原理是配备有可视化系统的人完全沉浸在由计算机系统实时计算但不叠加在现实上的场景内，并且因此不能用于患者介入情形。然而，虚拟现实可以是非常适合于外科规划的技术。
93.与计算机辅助外科工作站相比，增强现实通过简化原理和优化性能为阶段3(术中)期间的外科引导带来高潜在价值。实际上，全息外科导航的使用以将在外科规划的阶段2期间构建的3d场景叠加在现实上的方式呈现在外科医生的外科术野中，从而取代了被动式辅助工作站的繁重且需要较多器械的迭代操作。因此，外科医生使用自己的手或甚至声音来操纵全息图，以便使3d场景适应自己的喜好并使用所提供的信息来引导自己。该技术的主要优点之一是不对患者造成伤害：除了医生必须佩戴的可视化系统之外，不需要另外的设备，从而降低了手术室中的污染风险。当然必须验证增强现实可视化系统的人体工程学与所讨论的用途的兼容性，以免引入由于存在全息图而妨碍外科规程的任何风险。
94.因此，外科医生发现自己处于这样一种情况，即他可将步骤整合到通过外科规划在诊断和引导其外科行为之间建立直接联系的患者护理过程中，使用来自成像的患者数据集来完成此过程。外科医生还可根据自己的需要选择使用外科规划来制造用于辅助特定于
患者解剖结构的外科行为的植入式医疗装置或辅助器械。阶段1至3的过程的结构化性质因此意味着较强的彼此相关性。它们必须是链中尽可能线性的环节，以便将性能和安全性相结合，这是医疗装置法规的两个主要要求。
95.从工业4.0到外科4.0
96.因此，这种构建患者护理的流动过程的新方法的特征在于整体理解连续操作问题，整合技术要求和医疗要求，同时寻求利用最先进计算机技术的优势。所得的概念因此非常类似于工业4.0的概念图，目的在于通过围绕数字建模将虚拟领域和现实领域结合在一起而实现强大且创新的工业可持续性。
97.通过操作链中的元素和执行者之间的持续实时通信，这种融合因此允许以受控的成本实现强大的定制功能，尽管产出量很小。行业4.0对应于机械化(第1代)、大规模生产(第2代)和自动化(第3代)之后的第4次工业革命，其重点在于推广所谓的“未来”工厂，该“未来”工厂将建模、个性化生产和通信技术天然地集成在一起用于其操作：3d模拟、云计算、人工智能、增材制造、虚拟现实、增强现实等。这些原理被移植到本发明的关注领域，以便在包括或不包括植入式或辅助医疗装置的制造的情况下构建从规划到手术室中引导的患者护理，从而得到作者称为“外科4.0”的概念。
98.该概念可推广到使用3d成像(直接生成或经由2d元素的编译生成)的任何类型的外科。在本公开解决的最具代表性的难题中，要求最高的医学专科中的一者是矫形外科和创伤外科(在下文中可使用单个普遍接受的术语“矫形外科”来共同指代)，在整个现有技术分析中对此均有提及。该非限制性示例足以具体说明补救上文描述的现有技术的全部或部分缺点的需要以及本发明所提供的解决方案。
99.该指导是针对人类患者撰写的。也可结合另一种动物物种的患者描述相同的缺点。
100.系统
101.图1示出了用于帮助对经历医疗和外科护理的患者实施个性化治疗方法的系统100。系统100包括：(i)数据处理基础设施200，用于处理数据；(ii)数据处理和显示模块300，用于处理和显示数据；以及(iii)制造设施模块500，用于制造植入物或辅助器械类型的医疗装置，无论是标准的还是特定于患者的解剖结构或所述患者的解剖学元素。
102.数据处理基础设施200包括计算装置和数据存储装置。数据处理基础设施200可连接到云应用平台中的分布式通信网络，诸如互联网的分布式通信网络，从而允许经由云计算解决方案通过远程服务器上的数据存储装置在互联网上利用和递送资源和服务。在其他应用中，可在单个计算机上的本地数据存储装置中实现存储。
103.图2是数据处理基础设施200的示例性框图。数据处理基础设施200包括(i)计算架构202；(ii)数据存储装置，包括医疗数据204(健康数据库)；(iii)模块206，用于使用数值数学建模进行物理系统模拟；(iv)人工智能模块208，包含旨在实现能够模拟操作者的智能的算法函数的计算机程序；(v)可由第三方系统访问的接口210，以及(vi)用于制造装置的数字文件导出模块212，其中装置具体地是医疗、植入式或辅助装置，可特定于患者的解剖结构或者非特定于或特定于所述患者的解剖学元素。在本文档的其余部分，非特定装置被定义为“标准”。
104.在本说明书中，患者可指人或其他动物物种。根据至少一个实施方案，数据处理架
构可以不包括使用数值数学建模进行物理系统模拟的模块206。根据至少一个实施方案，数据处理架构可以不包括人工智能模块208。
105.计算架构202是采用共享资源、统一数据的类型，并且可由一个或多个同时软件客户端远程访问。共享资源使解决方案能够响应于越来越多的使用而演进。统一数据可以保证其完整性，从而防止通过连续复制对初始数据进行的欺诈性修改或劣化而有意或无意地改变初始数据。架构的可访问性可以通过网络类型的开放api(应用编程接口)实现，从而可以确保架构的正确分布。
106.计算架构202可例如包括机器群，每台机器包括cpu(中央处理单元)，并且能够集成旨在操作基于云的3d渲染和计算群的gpu(图形处理单元)(示例：3dverse solution www.3dverse.com)。
107.部署在架构202的框架内的gpu可例如包括具有集成图形处理功能的专业nvidia ampere型图形处理器，从而可以提供3d渲染以便满足大规模并行化计算的要求。
108.图3是计算机架构202的示例性框图。计算架构202更具体地包括(i)虚拟或物理机器的群2022，以及(ii)数据存储装置2024。计算架构202旨在提供以下服务：3d渲染引擎2026、用于计算机辅助成像数据的三维重建处理模块2028、数据处理模块20210和算法。
109.虚拟机或物理机器的群2022可通常包括具有若干teraflops的计算能力的旨在运行渲染引擎2026及处理和算法模块20210的虚拟机。机器在几个操作者之间共享，并且机器的数量可基于需求和同时操作者的人数而自动增长。典型地，机器可为一个或多个操作者提供3d渲染引擎2026和模块20210的服务，并且基于同时操作者的人数来缩放组件2022。
110.存储装置2024允许根据用户账户、计算架构202的3d场景、构成3d场景的资产的二进制文件的管理来存储和管理项目。这些资产具体地可以是体素中、网格中的3d对象、2d或3d纹理或材料、用于由模块20210执行的算法的代码文件。
111.3d渲染引擎2026可以能够由特殊图形卡(硬件类型)执行的软件或算法函数的形式实现，该特殊图形卡通过恢复3d投影、纹理(被可视化对象的表面的外观)、照明效果(阴影、反射等)、或甚至物理行为(诸如柔软主体、刚性主体的变形)、特定行为或甚至流体(液体、气体等)行为来计算3d场景。该整体构成功能链，以形成用于从原始数据到操作者终端的图形信息的传播和连续处理的相干通道(图形流水线)。3d渲染引擎的类型包括但不限于采用软件加速的引擎和采用硬件加速的驱动器。
112.在本公开的范围内，优选的是使用该机器组或群2022的计算能力来实现采用硬件加速的马达。计算架构202的3d渲染引擎结合在单个3d场景中显示的体素类型数据和网格类型数据，同时考虑它们相应的比例。
113.3d渲染引擎2026被配置为利用输入数据生成3d场景。3d引擎的输入数据可来自存储装置2024。3d引擎的输入数据可来自由处理模块20210生成的数据。
114.其对象包含在存储装置2024中的3d场景可经由计算架构202的导出接口2002导出，计算架构可通过模块210访问。由3d渲染引擎2026生成的3d场景可经由流生成接口2004以流式传输形式广播到模块300的一个或多个实例。
115.计算机辅助成像数据三维重建处理模块2028具有用于接收数据的输入接口，以及用于传输经处理的数据的输出接口。输入数据接收自存储装置或数据库204，这些数据继而由来自医学成像检查的文件馈送并由应用程序的操作者下载到远程服务器。输入数据是来
自采用经由反向投影算法的3d重建的体积成像检查的数据，反向投影算法例如是dicom类型的断层摄影术性质(例如，x射线断层摄影术或mri)。
116.输出数据是体素类型数据(3d纹理)。处理模块还能够将体素类型数据变换成将对象的外部部分表示为体素的网格类型数据。处理包括例如利用dicom类型数据计算对应于身体、人或动物的区域的三维场景。作为处理模块的输出以二进制文件形式获得的体素类型和网络类型对象以及场景组成信息都托管在存储装置2024内。
117.图4是处理和算法模块20210的示例性框图。处理和算法模块20210被配置为接收输入数据、处理输入数据以及生成输出数据。经处理的数据存储在存储装置2024中。
118.数据处理模块20210包括：子模块202102，用于分割感兴趣的生物元素；子模块202104，用于识别和测量工具以帮助表征患者的病理；子模块202106，用于作为外科处理的单一元素的外科序列的3d模拟；以及子模块202108，用于利用子模块202106的输出数据生成对应于对于患者解剖或解剖学元素可能是标准的或特定的植入式医疗装置和/或用于外科辅助的辅助器械的体积。
119.为了执行各种处理操作，模块20210使用群2022的计算能力。输出数据可被寻址到存储装置2024。
120.用于从医学成像数据分割感兴趣的生物元素的子模块202102被配置为从输入数据确定分割。在由3d重建模块2028以dicom格式处理患者的初始成像检查之后，这些输入数据构成优选地以体素存储在数据库2024中的3d对象，用于保持对患者解剖结构的高水平保真度。
121.子模块202102执行以下操作：根据每个体素的强度水平生成表示不同类型的感兴趣元素诸如例如不同类型的组织(骨、肌肉、空气等)的若干3d纹理，并且通过各种可能的方法在应用于骨科或上颌面外科的背景下提取单个解剖学元素诸如特定骨(股骨、胫骨、桡骨、椎骨、颌等)，各种可能的方法的不完全列表包括：使用手动追踪工具剪切操作者的体素选择、连续体素选择、传播/扩展选择、识别凹形以界定关节表面、形状识别、以统计学方式共同定位解剖部分以便预测体素是否属于有机组织。任选地，该方法可利用3d结构的平滑或校正操作来处理和细化分割。
122.例如，分割可涉及任何种类的组织(骨、肌腱、表皮、牙齿、血管组织等)、解剖学元素(诸如单个骨(股骨、胫骨等))或甚至器官(诸如肝脏、胰腺、前列腺或心脏)，具体取决于所讨论的医学专科。在图7所示框图的步骤a2中，使用分割子模块202102。
123.识别和测量子模块202104被配置为帮助操作者例如根据输入数据或根据由数据分割子模块202102分割的输入数据来表征患者的病理。根据对体素中的初始3d对象的观察和/或根据源自子模块202102的存储在存储装置2024中的分割元素来执行该表征。然而，操作者可选择对由模块2028的处理产生并托管在存储装置2024中的非分割输入数据进行操作。
124.操作者还可在该步骤中添加输入数据，以通过在系统中输入另外信息来构建过程的其余部分。例如，这可构成对3d解剖场景的注释(另外病理识别、解剖标志识别等)。术语“标记”也常用于描述注释动作，特别是针对训练人工智能算法的目的。
125.根据一个特性，在应用于矫形外科时，识别和测量子模块202104例如提供通过矫正截骨术对骨变形进行外科处理的参数化所必需的信息，包括：通过比较(如果适用的话)
患者右侧和左侧上的相同类型骨来识别是否存在骨变形。这适用于以下情况：例如，哺乳动物诸如人或狗的附肢系统的所谓“长”骨，例如胫骨、股骨、肱骨、桡骨、尺骨，以及相同的骨类型、相对于健康的未变形骨模型具有相同性质的骨。
126.识别和测量子模块202104还提供测量病理性骨和健康骨(如果适用的话)的长度、识别和测量病理性骨的解剖轴线、识别和测量矫正骨的机械轴线、测量矫正骨与附接到关节的骨之间的所述关节运动角度、注释关于病理性骨的解剖标志以及注释用于规划过程的其余部分的必要信息(可能是三维图)所需的信息。在图2所示框图的步骤a3中，具体地使用识别和测量子模块202104。
127.用于模拟外科序列s(i)的子模块202106被配置为计算对应于操作者设想的外科规程的步骤的3d序列；该序列也通过表述“操作时间”来标识。在本文档的其余部分中使用术语“外科规程”。外科处理建模子模块202106使用来自模块2028的输入数据或由数据分割子模块202102分割的输入数据、或由子模块202104生成的患者识别和测量数据。外科序列模拟子模块202106被配置为根据来自子模块202102和202104的分割感兴趣元素、存储在存储装置2024中的元素来执行以下操作：(1)允许操作者操纵来自子模块202102和202104的各种元素，以及(2)提出用于对针对操作规划的外科处理建模的辅助序列s(i)。该序列必须允许操作者验证或调整所述操作的建模的参数化。
128.自动或非自动步骤的模拟与所规划的医疗规程直接相关，每个规程能够自然地划分成从一个医学专科到另一个医学专科的不同子阶段。每个子阶段对应于步骤s(i)，变量“i”的最大值对应于要模拟的序列的总数(按照惯例，1《i≤n)。
129.因此，根据应用于针对通过切骨术矫正骨变形的处理的矫形外科的第一特征，这可对应于n＝4的以下序列系列。s(1)也称为第一序列，包括3d场景的计算和显示，该3d场景示出一个或多个骨矫正切割平面的计算(公式、定位等)以及这些平面在变形骨上的定位。
130.s(2)也称为第二序列，包括以下步骤：计算并显示s(1)中显示的骨截面在变形的病理性骨上的应用结果，以使操作者能够看到虚拟变形矫正行为的可视结果。s(3)也称为第三序列，包括显示3d场景，该3d场景示出了由病理性骨的切片生成的不同感兴趣骨段之间的接触表面的水平根据这些骨段的操纵变化。该步骤可以对调整要在手术室中执行的骨矫正的外科行为进行虚拟建模。s(4)也称为第四序列，包括在用于接骨阶段的植入式医疗装置和辅助器械的建模上游在s(3)中执行的矫正之后对骨进行可视化，接骨阶段将使得矫正随时间推移而固定。
131.对于所有场景s(i)，操作者交互是动态的并且可以实时观察对所显示结果的计算的输入数据的修改的结果。
132.根据应用于血管外科的第二特征，这可对应于构成在以3d形式重建的血管系统内的静脉血栓(因出现被称为血栓的血块引起的静脉管阻塞)的治疗的步骤。这种被称为溶栓的治疗可例如通过序列s(1)切开、s(2)机械崩解、s(3)通过血栓导管进行抽吸、s(4)闭合(n＝4)来模拟。
133.根据应用于肝脏外科的第三种可能性，这可以是在表征肿瘤(尺寸、解剖位置)并用腹腔镜器械(用于介入腹腔的医学内窥镜技术，也称为腹腔镜)模拟切除的连续外科规程s(i)之后进行的肝肿瘤切除治疗的建模。在图7所示框图的步骤a4中，使用用于模拟外科规程s(i)的子模块202106。
134.用于医疗装置dm(j)(标准的或特定于患者解剖结构的)的数字生成的子模块202108被配置为变换来自子模块202104和/或子模块202106的输出数据。该子模块允许操作者以添加到主场景s(n)的3d对象的形式生成“j”个植入式装置和/或辅助性外科辅助器械。因此，这涉及生成标准医疗装置或特定于患者解剖形态的医疗装置的三维表示，患者解剖形态的形状可取决于由操作者以高精度水平再现其形态而限定的感兴趣解剖区域的特性。这样的再现可包括生成任何种类的几何体积，无论是唯一的还是通过组合这些体积，这可以是具有对称轴线的标准形状(立方体、球体、圆柱体等)或特定的并根据来自子模块202104和202106的输出数据生成的形状。
135.根据一个特征，所得到的植入式装置是适于病理性骨(骨折的骨、变形的骨、然后经矫正的骨)的形貌的接骨板，或甚至是适于溶栓后待处理的血管解剖结构的支架设计类型的血管内假体，例如，产生具有适当性质和几何形状的凹槽，无论是否有开口，例如旨在用于接收由同一子模块生成的医疗装置或由操作者从预先计算的形状库中选择的医疗装置，后者托管在存储装置2024中并预计在外科植入时与初始医疗装置永久性结合。
136.这还可以优化3d形状，以便减小所建模的医疗装置与参考解剖学元素之间的接触表面。对于矫形外科和创伤外科，这可以例如是螺钉型骨锚定系统，根据它们的类型和尺寸从数字化库的部件元件中选择，以包括在用于接骨术的骨板内，或甚至是骨固定外科钉类型的临时固定装置。根据一个特定特征，用于外科辅助的辅助件可由通用术语“外科引导件”表示，并且可能由例如整合了植入式装置的定位和/或取向、生物组织的切割或骨钻孔的功能的一个或多个元件组成，具体取决于外科类型(矫形外科、创伤外科、血管外科、心脏外科、神经外科等)。
137.根据矫形外科和创伤外科中的特性，这可以是定制的切割引导件，该切割引导件的形状符合骨在由操作者通过相同地再现其形态而限定的一个或多个位置处的表面，具体地包括用于引导外科切割工具(例如摆锯)的一个或多个支撑平面，和/或可能用于外科钉类型的临时固定装置的孔。
138.在各种实施方案中，这可包括定制的钻孔引导件，该钻孔引导件的形状符合骨在由操作者通过相同地再现其形貌而限定的一个或多个位置处的表面，具体地包括可能用于引导在骨中钻孔以专门接收螺钉类型的骨锚固系统的孔，以及可能用于外科钉类型的临时固定装置的孔。
139.在各种实施方案中，这可包括生成定制的取向引导件，该取向引导件的形状符合经矫正的骨在由操作者通过相同地再现其形貌而限定的位置中的表面，具体地包括用于外科钉类型的临时固定装置的若干孔，和/或可能反向成形以引导定制骨板的定位。
140.在图7所示框图的步骤a5中，使用用于数字生成标准的或特定于患者解剖结构的医疗装置dm(j)的子模块202108。
141.健康数据库存储装置204具体地允许将操作者账号的管理连接到图1所示的模块300。健康数据库存储装置204还包括从医疗成像信息导出的与患者相关联的医疗信息、与医疗成像信息相关联的元数据以及由外科操作者通过模块302和304输入的术后评价类型的信息，如图5所示。
142.健康数据库存储装置204还包括与患者相关联的计算机化3d重建医学成像信息以及在步骤g4中输入的术后评价信息。健康数据库存储装置204还包括具体地用于操作者、患
者文件和文档(订单、发票等)的管理的非医疗数据。
143.用于使用数字数学建模进行物理系统模拟的模块206使用来自用于模拟外科序列s(i)的模块202106或用于生成装置体积的模块202108的输出数据作为医学处理建模的输入。该模块执行算法，使得能够模拟和可视化由于患者的身体活动引起的机械应力而在元件的组件内引起的应力和变形。该模块使用有限元分析方法来模拟组件的行为并识别应力最大区域。
144.用于模拟外科序列s(i)的子模块202106可与用于使用数值数学建模进行物理系统模拟的模块206组合工作，以便使用感兴趣解剖部分的物理完整性作为输入数据。该组合可以映射感兴趣解剖部分的脆弱区域并向操作者提供在规划外科手术时要考虑的附加信息。当应用于肿瘤切除术时，不论涉及哪个器官或组织，这可因此通过在对所涉及解剖部分的标准应力建模时模拟脆弱区域的定位来提供关于切除规程对消融区域周围组织的影响的信息。在图7所示框图的步骤a4中，用于模拟外科规程s(i)的子模块202106与用于使用数值数学建模进行物理系统模拟的模块206组合使用。
145.用于模拟外科序列s(i)的子模块202108可与用于使用数值数学建模进行物理系统模拟的模块206组合工作，以便使用感兴趣解剖部分的物理完整性作为输入数据。该组合可以映射感兴趣解剖部分的脆弱区域并向操作者提供在规划外科手术时要考虑的附加信息。当应用于骨折处理的创伤外科时，这可因此能够通过考虑病理性受体骨的质量来对植入式骨板型接骨装置建模。当将螺钉型骨锚定系统定位在实体区域中时，需要特别注意多碎片骨。按照推论，因此必须对一种板建模，该板特定于螺钉的该定位，并且一旦与受体骨相关联则能够最大化组件(骨、螺钉型骨锚定系统、骨板类型)的长期稳定性。对应于哺乳动物患者正常肢体使用(例如，用下肢行走)的约束的建模能够评估该稳定性随时间推移的变化并且(在必要时迭代地)验证标准医疗装置或特定于患者解剖结构的医疗装置的设计。在图7所示框图的步骤a5中，用于以数字方式生成适于患者解剖结构的标准或特定医疗装置dm(j)的子模块202108与用于使用数值数学建模进行物理系统模拟的模块206组合使用。
146.人工智能模块208从存储装置204和2024获取数据作为输入。它包括注释工具以对包含在存储装置204和2024中的信息进行分类和标注，典型情况是对构成人工智能算法所使用的数据集的单一元素进行分类。另外，子模块202102、202104、202106和202108可经由api类型的接口调用机器学习和深度学习算法，以在自动模式下模拟由操作者并因此由外科医生在手动或半手动模式下执行的复杂任务。因此，模块208使得能够以“智能”模式对这些子模块的动作进行分类，以被分解成不需要操作者干预即可表征输入数据并将输入数据变换成输出数据的子任务或一组自动化子任务。
147.这些子任务包括基于不同元素的子模块202102的自动分割，这些不同元素诸如为不同类型的组织(表皮、血管、骨等)或骨架的骨(股骨、胫骨、椎骨、骨盆等)(图2中的步骤a2)。
148.这些子任务还包括基于子模块202104的识别和自动测量，以执行3d模型的分析，从而允许操作者通过在过程期间的部分自动辅助以自动或半自动模式观察外科规程来准确地表征患者的病理。在本公开的一个可能性中，该模块向操作者提供必要的信息，操作者随后将能够基于其训练和外科经验更有力地支持其诊断思考，以便继续外科规划过程。在另选的可能性中，模块208直接向操作者提供操作者将需要确认或拒绝的病理的表征，以便
继续进行外科规划的下一个步骤(图7的步骤a3)。
149.这些子任务还包括根据子模块202106的输出数据对基于子模块202104的操作的外科序列s(i)进行自动3d模拟。这种模拟允许操作者在过程期间通过部分自动辅助来执行自动或半自动模拟。在本公开的一种可能性中，该模块允许操作者预先定义选择标准，诸如保留骨折骨的解剖轴线和机械轴线，以便模拟矫形专科内的接骨术的外科序列(图7中的步骤a4)。
150.这些子任务还包括根据子模块202106的输出数据基于子模块202108来自动数字生成标准医疗装置或特定于患者解剖结构的装置dm(j)。因此，与模块208的关联使得能够以自动或半自动模式(具体取决于辅助程度)得到并定位植入式医疗装置或用于外科辅助的辅助器械，例如接骨系统(骨板、骨锚定系统)，以便在骨折修复的情况下获得组件的最佳稳定性，以及所有相关联的外科引导件。也可以自动地模拟血管支架(图7的步骤a5)。
151.根据图7至图9的内容，子模块202102、202104、202106和202108的这些智能版本中的一个或多个的组合允许将外科规划的全部或部分自动化，包括：病理表征、对外科行为建模以及对标准医疗装置或特定于患者解剖结构的医疗装置建模。
152.接口模块210由一组功能组成，该组功能允许并促进数据处理基础设施200与第三方应用程序之间的通信，目的是彼此交换服务或数据。这些接口可以是但不限于api、web服务或文件交换类型接口。
153.用于导出数字文件的模块212用于制造植入物或辅助器械类型的医疗装置，无论是标准的还是特定患者的解剖结构或所述患者的解剖学元素。用于制造植入式医疗装置或辅助性外科辅助器械(无论是标准的还是特定于患者解剖结构212或解剖学元素的)的数字文件导出模块212在步骤a1、a2、a3、a4和a5中从存储装置204和2024获取数据作为输入。其执行为模块500生成文件的一组算法，这些文件可具体地包括数字文件、元数据文件、2d表示。
154.数字文件表示根据患者解剖结构建模的植入式装置(例如，矫形外科中的骨板)；也根据患者解剖结构建模的辅助性外科辅助器械，可能是定制的“引导”类型；或甚至解剖学元素。这些文件通常是可以具体地是stl(立体光照型技术的缩写)、amf(增材制造文件格式)或甚至obj(对象文件)格式的。
155.元数据文件可包括制造所必需的附加信息(尺寸标记、特定几何信息、控制信标、旨在接收供外科需要的持久或临时植入系统的特定位置的定位和类型)。2d表示使得能够生成可直接用于制造的工业型定义规划。在图7所示框图的步骤a6中，使用模块212。
156.图5是数据处理和显示模块300的示例性框图。用于处理和显示针对操作者的数据的模块300包括用于针对任何类型的计算机终端处理和显示数据的模块302。不完全列表包括：计算机、智能电话、平板电脑、虚拟现实设备、增强现实设备。数据处理和显示模块300还包括用于针对允许实现增强现实可视化的任何类型计算机终端进行处理和显示的模块304。
157.图6是说明系统的不同模块之间的连接的功能框图。模块302或304的若干同时执行可与模块200连接在一起，并且可视化和操纵相同的信息和对象。因此，作为本文档主题的系统所提供的这种可能性允许若干操作者之间的远程或本地协作，可能共享外科规划和外科引导的经验，而且还用于医疗领域中的同行、专业人员之间的协助，以便辅助评估病理
情况或医疗训练。
158.操作者终端模块302是安装在操作系统上的重客户端类型(本地)或可通过互联网浏览器访问的轻客户端类型的应用程序的形式。例如可从计算机终端(计算机、智能电话、平板电脑、虚拟现实显示设备、增强现实显示设备等)访问该操作者终端模块302。该操作者终端模块302具体地包括：流形式的3d场景接收接口3022、使得能够通过接口210与200交互的显示和操作模块3024。
159.不论是哪个医学专科，接口模块210都允许操作者经由以下操作、经由图7中表示的一系列步骤来执行外科规划。步骤p1包括：经由接口210将例如dicom类型的医学成像文件上传到可包括健康数据库204的存储装置。该数据随后被模块2028处理，以便以三维方式生成并构成整个过程的初始3d场景，整个过程由模块202以3d场景的形式可视化并通过流生成接口2004接收。
160.构成该过程的其余部分的所有步骤p2至p5允许通过依赖于由基础设施200提供的接口210，利用所使用的计算机终端(计算机、智能电话、平板计算机等)的操作者接口设备来操纵和创建3d场景的3d对象。
161.步骤p2包括通过连续地并且可能迭代地执行以下两个子模块来表征影响患者的病理：通过利用由基础设施200提供的接口210调用子模块202102来进行组织分割，通过利用由基础设施200提供的接口210调用子模块202104来进行识别和测量。
162.步骤p3包括通过利用由基础设施200提供的接口210“i”次调用(1≤i《n)外科序列s(i)的3d模拟子模块202106来对外科规程建模。类似于步骤p2，可因此进行若干次连续调用以模拟规划感兴趣病理所需的外科序列数。每次调用生成与前一个场景(n个场景)不同的3d场景。
163.步骤p4(如果适用的话)包括通过用于利用由基础设施200提供的接口210“j”次调用(1≤j《n，m对应于所建模装置的数量)以数字方式生成标准医疗装置或特定于患者解剖结构的医疗装置dm(j)的子模块202108来对标准医疗装置或特定于患者解剖结构的医疗装置建模。类似于步骤p2和p3，可因此进行若干次连续调用以模拟所建模医疗处理所需的医疗装置数量。步骤p5包括通过可视化不同的步骤p2至p4(或p3)来审核和验证规划。
164.接口还使得能够在外科引导的步骤g4(图7)输入来自术后评价的信息，该信息可具体地包括通过接口210传送到健康数据库存储装置204的口述或键入的文本，或者通过接口210传送到模块2028的可能是dicom类型的医学成像文件。
165.根据本公开的一种可能性，步骤p2可整合用于经由模块2002导出由操作者以数字格式显示或选择的元素以供设施500生产的功能，并且可能是在介绍部分中陈述的那些功能。根据本公开的一种可能性，步骤p4是任选的，并且外科行为的规划可以是足够的，以便随后执行外科引导。
166.返回到图5，增强现实模块304是嵌入增强现实系统的软件应用程序的形式。模块304包括：接口3042，用于以流形式接收3d场景；显示和操作模块3044，其使得能够通过接口210与200交互；3d场景导入接口3046，其连接到接口2002以潜在地通过在步骤g2中使用的接口210导出计算架构202；数据处理单元3048，其被布置成从3d场景导入接口3046接收数据以及从3d场景导入接口3044以流形式接收数据。
167.数据处理单元3048被配置为生成供全息显示终端显示的操作者界面。该单元还处
理来自例如可以是深度相机、红外传感器或发射器的传感器的信息，以便确定空间参考系之间的对应关系并且允许将全息图投影在患者的解剖参考区域上以尽可能好地引导操作者并且特别是外科医生(例如：信息、测量结果、在规划期间建模的3d对象等的投影)。
168.该界面允许操作者以类似于先前描述的方式执行外科规划，具体地经由针对步骤p2、p3、p4、p5的全息可视化中的以下操作。全息可视化包括由模块202生成并通过流接收接口3042和流生成接口2004接收的3d场景的可视化，或通过导入由模块202生成并通过3d场景导入接口3046作为流接收和导出接口2002接收的3d场景。全息可视化还包括依靠由基础设施200提供的数据处理单元3048和接口210，用手或专用设备操纵来自3d场景的3d对象。
169.然后，更具体地，对于每个外科规划步骤，步骤p2包括通过连续地并且可能迭代地执行以下两个子模块来表征影响患者的病理：通过利用由基础设施200提供的接口210调用子模块202102来进行组织分割，以及通过利用由基础设施200提供的接口210调用子模块202104来进行识别和测量。
170.步骤p3包括通过利用由基础设施200提供的接口210“i”次调用(1≤i《n)外科序列s(i)的3d模拟子模块202106来对外科规程建模。类似于步骤p2，可因此进行若干次连续调用以模拟规划感兴趣病理所需的外科序列数。每次调用生成与前一个场景(n个场景)不同的3d场景。
171.步骤p4(如果适用的话)包括通过利用由基础设施200提供的接口210“j”次调用(1≤j《m≤n)标准医疗装置或特定于患者解剖结构的医疗装置dm(j)的数字生成子模块202108来对标准医疗装置或特定于患者解剖结构的医疗装置建模。类似于步骤p2和p3，可因此进行若干次连续调用以模拟所建模医疗处理所需的医疗装置数量。步骤p5包括通过可视化不同的步骤p2至p4(或p3)来审核和验证规划。根据本公开的一种可能性，步骤p4是任选的，并且外科行为的规划可以是足够的，以便随后执行外科引导。
172.模块304还被配置为向外科医生提供实时可视化工具，该工具可以手动或采用自动模式嵌入一个装置，该装置优选地是如上所述的单个装置，与在外科规程期间在手术室中的使用兼容，用于全息引导目的，以在执行预先规划的并在步骤p5中验证的操作期间辅助操作者从业者。该外科引导工具采用操作者界面的形式，使得能够执行以下步骤。
173.步骤g1包括通过选择在该第一步骤期间预先规划的操作来发起外科引导过程，该操作可能呈现为与所述操作相关的文件，明确地或匿名地提及操作所涉及的患者，和/或外科手术的预期日期。模块304随后经由流接收接口3042连接到3d渲染引擎2026以显示从步骤p1至p5得到的对象，可能以顺序模式，或任选地通过在该步骤期间从导出接口2002导入数据(图2的步骤a6)。
174.步骤g2包括可视化先前完成并在步骤p5中验证的外科规划，通常采用全息图形式，具体地包括医学成像检查的2d或3d表示，可能以两种格式类型的组合呈现，从而允许基于操作者的输入(例如根据在医学成像中用于文件分析(例如ct扫描)的多平面重构模型)在这些多个表示中同时导航。全息图还包括来自病理表征步骤的3d场景，作为用于组织分割的子模块202102和用于识别和测量的子模块202104的输出数据。全息图还包括来自外科行为建模步骤的3d场景，作为用于外科序列s(i)的3d模拟的子模块202106的输出数据。这可能包括感兴趣解剖学元素在外科处理(如果适用的话)之前和之后的3d视图(例如：作为矫形外科中的骨折处理的一部分的重构之前和之后的骨)以及在规划期间输入或计算出的
信息和注释。
175.如果适用，全息图还包括来自对标准医疗装置或特定于患者解剖结构的医疗装置建模的步骤的3d场景，作为用于标准医疗装置或特定于患者解剖结构的医疗装置dm(j)的数字生成的子模块202108的输出数据。在创伤外科中的骨折修复的情况下，这例如对应于螺钉类型的骨锚定系统、外科钉类型的临时固定装置(例如：克氏针(kirschner wire))、骨板或甚至外科引导件。
176.全息图还包括通过依赖于由基础设施200提供的接口210用手或借助专用设备来操纵3d对象，以及执行测量操作，例如全息图上或患者身上的距离和角度。
177.步骤g3包括在由外科规划产生的并以全息图形式以3d示出的元素的介入期间自动定位在患者身上的功能。在创伤外科中的骨折修复的情况下，这例如对应于自动定位标准医疗装置或特定于患者解剖结构的医疗装置：螺钉类型的骨锚定系统、外科钉类型的临时固定装置(例如：克氏针)、接骨板或甚至外科切割、取向或钻孔引导件。全息图在患者身上的这种所谓的“重新校准”定位可例如通过人工智能模块208的算法来完成。这些算法将患者的来自用于外科规划的初始医学成像检查的解剖信息与来自传感器的信息进行实时比较，传感器可以例如是在外科规程期间来自增强现实显示装置的视频系统。这些算法可例如根据计算机视觉的原理操作以确定空间参考系之间的对应关系，并且允许将全息图投影在患者的解剖参考区域上以便最佳地引导外科医生(例如：信息、测量结果、在规划期间建模的3d对象等的投影)。
178.步骤g4包括输入来自操作报告的信息，该信息可具体地包括：在外科操作期间由增强现实可视化系统完成的图像或视频序列形式的捕获。这些捕获通过由操作者触发(例如通过语音或通过手势)而获得，或通过由操作者在外科规划期间执行的先前参数化而自动获得。这些捕获通过接口210被传输到健康数据库存储装置204，使用虚拟键盘口述或键入的文本通过接口210被传输到健康数据库存储装置204。
179.设施500用于制造医疗装置，诸如植入物或辅助器械，标准的或特定于患者的解剖结构或所述患者的解剖学元素。在上述实施方案中，系统100包括设施500。根据本公开的变型，系统100不包括设施500。设施500允许使用来自导出模块212的数字格式文件，根据需要制造特定于患者的解剖结构或所述患者的解剖学元素的植入物类型的医疗装置或辅助器械。设施500可以是能够对标准医疗装置或特定于患者解剖结构的医疗装置成形的减材(例如，机械加工)或增材(例如，3d打印)制造方法。所使用的满足健康用途的材料可以是金属、陶瓷、塑料、有机材料或复合材料。
180.设施500还整合了标准医疗装置或特定于患者解剖结构的医疗装置的所有后处理步骤，以使得它们能够将来在外科中使用。这些步骤通常(但不限于)如下：一个或多个热处理步骤、一个或多个表面处理步骤、一个或多个医疗级清洁步骤、在具有或不具有受控气氛的环境中进行的一个或多个包装步骤、针对成品的灭菌步骤。
181.在适当的情况下，该设施还使得能够制造解剖学元素，诸如器官或器官的部分，或甚至骨元件(碎片、个体化骨等)。
182.使用根据本公开的架构的用例
183.根据本公开的架构由外科医生在规划、制造和引导的三个步骤期间实施。在制造步骤期间，可制造一个或多个解剖学元素、一个或多个植入式医疗装置和/或一个或多个辅
助器械医疗装置。根据本公开的架构还可在上述各个步骤中的一个或多个步骤期间以协作形式设施。
184.根据第一可能性，根据本公开的架构可被实现用于具有远程术前辅助的外科手术，对于该外科手术，外科医生在规划步骤期间远程地请求一个或多个第三人来辅助准备外科手术，例如同一专科的一位同事、来自另一专科的同事，例如放射科医生。外科医生还可寻求其他技术专家的建议(例如，支持使用新的外科设备)。所有第三方咨询也可被组合以便帮助使用该解决方案的外科医生操作者采用最佳治疗方法。在一些健康系统(诸如法国系统)中，在医学成像时请求第三方协助以确认或拒绝诊断的行为被称为“远程辅助”行为。这种行为在放射科医生之间或在外科医生与放射科医生之间以更传统的方式频繁出现。
185.根据第二可能性，根据本公开的架构可被实施用于具有远程术中辅助的外科手术，对于该外科手术，外科医生在规程期间请求一个或多个第三方进行远程外科辅助，例如同一专科的一位同事、或来自另一专科的同事，例如放射科医生。外科医生还可寻求其他技术专家的建议(例如，支持使用外科设备)。
186.根据第三可能性，可将根据第一可能性描述的术前辅助和根据第二可能性描述的术中辅助组合在一起。
187.根据第四可能性，根据本公开的架构仅在规划步骤期间由外科医生实施，其中制造步骤减少到解剖学元素的制造，并且没有术中引导步骤。这种使用场景允许外科医生利用由解剖学元素形成的视觉辅助来解释他对患者所设想的后果。结果可能不进行操作。
188.当提供制造步骤的实施时，前述可能性中的每一种可能性产生其中从所述可能性中移除制造步骤的新使用场景。
189.如将容易理解的那样，本公开不限于刚才已经描述的示例，并且可在不脱离本公开的范围的情况下对这些示例做出许多修改。另外，本公开的各种特征、形式、变型和实施方案可以各种组合分组在一起，前提是它们不是不相容的或互相排斥的。
190.图8是概述用于执行外科规划的特定步骤(p2至p4)的另一个示例性流程图。当在步骤804上传医学成像文件(例如诸如扫描的ct文件)时，控制开始。在步骤808，控制确定扫描是否可接受。如果否，则控制进行到812以请求重新扫描。然后控制返回到804。否则，如果扫描是可接受的，则控制继续到步骤816以基于所上传的扫描来构建三维模型。控制进行到步骤820以观察三维模型。在步骤824，控制在三维模型上执行组织分割。在步骤828，控制确定操作者是否已接受组织分割。如上所述，如果需要，操作者/外科医生可调整分割。如果分割未被接受，则控制继续到步骤832以接收操作者的校正并返回到步骤824。
191.如果分割被接受，则控制继续到步骤836以在分割的三维模型上执行外科模拟。控制继续到步骤840以确定操作者是否已接受模拟。如果否，则控制继续到步骤844以允许操作者校正并返回到步骤836。否则，控制继续到步骤848以使用外科模拟对植入物建模。控制进行到步骤852以确定操作者是否已接受所建模的植入物。如果否，则控制进行到步骤856以允许操作者校正并返回到步骤848。否则，控制进行到步骤860以执行所建模的植入物的验证。
192.在步骤864，控制确定操作者是否已接受植入物的验证。如果否，则控制继续到868以接收操作者的校正并返回到步骤860。否则，控制进行到步骤872以生成并传输用于制造
植入物的数字文件。然后，控制结束。
193.图9是概述用于执行外科引导的特定步骤(g1至g4)的另一个示例性流程图。控制例如通过操作者选择操作者界面上的启动按钮来开始引导。在步骤904，控制审核用于引导的扫描。在步骤908，控制审核组织分割。控制继续到步骤912以将三维对象定位在患者身上。控制进行到步骤916以确定操作者是否已接受患者身上的三维对象的记录。如果否，则控制继续到步骤920以接收操作者校正并返回到步骤912。否则，控制进行到步骤924以执行外科引导。控制继续到步骤928以执行植入物定位引导。
194.图10是系统100的具体实施的高级表示。如在整个本文中所述，系统100经由分布式通信网络或包括处理器和存储器的数据处理基础设施200来实施。数据处理基础设施200从扫描设备1000(诸如扫描仪)接收医学图像文件，并且生成外科引导和数字植入物文件。外科引导可被传送到多个操作者或设备，诸如计算机终端模块302和增强现实模块304(诸如流式耳机)。另外，提供用于构造植入物(使用应用于特定患者的外科引导功能开发的)的指令的数字植入物文件可被传送到可现场构造植入物的制造设施模块500。
195.图11是使用系统100引导的外科手术的操作者视图的图形表示。具体地，增强现实模块304显示在混合现实视图中，示出了针对特定患者的外科引导(其也可以是植入物)以帮助引导操作者(示为手)。
196.结论
197.前述描述仅是为了进行示意性说明，并不旨在以任何方式限制本公开、应用或使用。本公开的一般教导内容可以各种形式实施。因此，尽管本公开包括特定示例，但其实际范围不应被如此限制，因为在研究附图、说明书和权利要求之后，其他修改将变得显而易见。应当理解，方法的一个或多个步骤可以不同顺序(或同时)执行，而不会改变本公开的原理。此外，虽然上文将实施方案中的每个实施方案描述为具有某些特征，但关于本公开的任何实施方案描述的那些特征中的一个或多个特征可在任何其他实施方案的特征中实现和/或与任何其他实施方案的特征组合，即使没有明确描述该组合。换句话讲，所公开的实施方案不是相互排斥的并且其间的一个或多个实施方案的变换仍然在本公开的范围内。
198.元件之间(例如，模块、电路元件、半导体层等之间)的空间和功能关系使用各种术语来描述，包括“连接”、“接合”、“耦合”、“相邻”、“旁边”、“上方”、“下方”和“布置”。除非明确描述为“直接”，否则当在以上公开内容中描述第一构件和第二构件之间的关系时，该关系可以是其中在第一元件和第二元件之间不存在其他居间构件的直接关系，但也可以是其中在第一元件和第二元件之间存在一个或多个居间元件(在空间上或功能上)的间接关系。
199.在包括以下定义的本公开中，术语“模块”或术语“控制器”可由术语“电路”替代。术语“模块”可指以下项、是以下项的一部分或包括以下项：专用集成电路(asic)；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列(fpga)；执行代码的处理器电路(共享、专用或群组)；存储由处理器电路执行的代码的存储器电路(共享、专用或群组)；提供所述功能的其他适当硬件部件；或上述项的一些或全部的组合，诸如在片上系统中。
200.模块可包括一个或多个接口电路。在一些示例中，接口电路可实施连接到局域网(lan)或无线个域网(wpan)的有线或无线接口。lan的示例是电气和电子工程师协会(ieee)标准802.11-2016(也称为wifi无线联网标准)和ieee标准802.3-2015(也称为以太网有线
网络标准)。wpan的示例是ieee 802.15.4标准(包括zigbee联盟的zigbee标准)以及来自蓝牙特别兴趣小组(sig)的蓝牙无线联网标准(包括蓝牙sig基本规范的版本3.0、4.0、4.1、4.2、5.0和5.1)。
201.模块可使用接口电路与其他模块通信。尽管模块在本通信中可被描述为在逻辑上直接与其他模块通信，但在各种具体实施中，模块可实际上通过通信系统通信。通信系统包括物理和/或虚拟联网设备，诸如集线器、交换机、路由器和网关。在一些实施方案中，通信系统连接到或通过诸如互联网的广域网(wan)。例如，通信系统可包括使用诸如多协议标签交换(mpls)和虚拟专用网络(vpn)的技术通过互联网或点对点租用线路互连的多个局域网。
202.在各种实施方案中，模块的功能可分布在经由通信系统连接的若干模块中。例如，若干模块可实现由负载平衡系统分布的相同功能。在另一个示例中，模块功能可在服务器模块(也称为远程或云模块)与客户端(或操作者)模块之间拆分。例如，客户端模块可包括在客户端设备上运行并与服务器模块进行网络通信的本地或web应用程序。