《Nature machine intelligence》智能医疗元宇宙的发展

arrarpetahack

来源：小桔灯网
作者：动力彩虹


元宇宙融合了物理和虚拟现实，使人类及其化身能够在高速互联网、虚拟现实、增强现实、混合和扩展现实、区块链、数字孪生和人工智能（AI）等技术支持的环境中进行交互，所有这些都由有效的无限数据充实。元宇宙最近成为社交媒体和娱乐平台，但扩展到医疗保健可能会对临床实践和人类健康产生深远影响。


近日，来自美国的研究团队在杂志Nature machine intelligence上发表了一篇题为“Development of metaverse for intelligent healthcare”的文章。在文章中，作为一组学术、工业、临床和监管研究人员，研究团队发现了医疗保健领域元宇宙方法的独特机会。“医疗技术和人工智能”（MeTAI）的元宇宙可以促进基于人工智能的医疗实践的开发、原型设计、评估、监管、转化和完善，特别是医学图像引导的诊断和治疗。研究团队介绍了元宇宙应用，包括虚拟扫描、原始数据共享、增强的监管科学和元宇宙医疗干预。另外还讨论了MeTAI元宇宙生态系统的相关问题，包括隐私、安全和差异。以及还确定了协调努力的具体行动项目，以构建MeTAI元宇宙，提高医疗质量、可及性、成本效益和患者满意度。

图片来源：Nature machine intelligence

一、MeTAI元宇宙概念
元宇宙是“一个计算机生成的环境，用户可以在其中与他人及其周围环境进行交互，一个虚拟世界”。元宇宙经常被误传为仅仅是计算机游戏和社交媒体的延伸。为了充分体现其好处，元宇宙需要整合所有支持技术的能力（包括5G/6G、VR、AR、混合现实（MR）、扩展现实（XR）、数字孪生、触觉、全息、安全计算和人工智能（AI）），使人们能够在自己之间以及与化身、AI和算法以及医疗设备和设施进行交互。这里设想了一个“医疗技术和人工智能”（MeTAI）生态系统，如下图所示，包括关键要素，如在患者化身上使用数字孪生扫描仪进行虚拟对比扫描、安全医疗数据访问（包括原始断层图像数据共享）、适应这种转变的增强监管框架，以及“元宇宙”医疗干预，以实现前所未有的可及性和卓越的性能。

MeTAI生态系统医疗保健应用。图片来源：Nature machine intelligence

二、MeTAI应用程序
鉴于元宇宙可以在医疗保健领域发挥革命性的作用，确定了四个重要的应用，重点是医学成像，它们是MeTAI的例证：虚拟对比扫描、原始数据共享、增强的监管科学和元宇宙的医疗干预。


虚拟对比扫描
人体和机器的先进计算机模型的不断发展，最终形成了数字孪生计算范式，将物理和虚拟物体的数据集成。为了进一步利用这些创新进行医学成像，需要构建虚拟断层扫描仪，具有可由扫描仪解析的解剖特性的个体化计算化身，以及AI支持的图形工具，以插入、删除和修改这些化身中的疾病。此外，可以3D打印和扫描物理化身，以模拟真实扫描并改进相关模型和分析。MeTAI部署的XR相比孤立XR的一个优势是基于大规模协作的工作流可用性，从而可以公平地比较和完善各种品牌的硬件和软件，并在患者和专业人员之间进行生动和及时的交互。


上述情况将带来明显的临床益处。凭借虚拟扫描功能，全面的性能评估将有力推动成像和AI技术的改进。最终的混合数据集位于云端，将支持更大的虚拟和混合临床试验，以评估成像设备和算法的准确性、鲁棒性、不确定性和通用性。最终，面临多种选择的患者将启动平行世界来评估其结果。


原始数据共享
医学成像数据的主要来源是医学断层扫描仪，它生成大量的多维测量值，并使用复杂的算法重建成图像。缺乏对断层图像原始数据（如CT正弦图）的研究访问一直是研究人员的一个长期问题，许多数据共享和开源的努力在许多情况下尚未获得太大的吸引力。从行业角度来看，共享测量数据的主要挑战是不愿意公开专有信息。例如，每个CT供应商都制定了自己的系统校准和数据校正方法。为了解决这些问题，需要学术和工业合作来定义数据共享和转换协议。


在MeTAI中，虚拟CT扫描仪可以扫描数字患者，以产生虚拟的“原始”数据。然后可以在虚拟数据和图像中执行AI分析。在不披露供应商特定敏感信息的情况下，此类真实模拟数据应比真实机器的原始数据更易于共享。MeTAI可以是一个很好的促进器，可以直接在数据和图像中对真实和真实模拟的原始数据进行基于深度学习的分析。


强化监管科学
去年，美国食品和药物管理局（FDA）发布了一项行动计划，旨在进一步监督基于AI的医疗器械软件（SaMD）。需要多样化、高质量和经济高效的大数据集来优化从数据采集、图像重建和分析到诊断发现的整个工作流程。在实践中，获取大型临床数据集的成本很高。在这种情况下，上述虚拟扫描将是非常宝贵的。作为数字孪生技术价值概念的证明，FDA的一个团队模拟了监管评估虚拟成像临床试验（VICTRE）研究，其中创建了2986名虚拟患者，以评估数字乳腺体层合成（DBT）作为乳腺癌筛查全数字化乳腺摄影替代品的性能，如下图。研究表明，模拟工具可能是成像设备监管评估的可行证据来源。


为了增加在监管提交中使用计算建模的信心，FDA发布了“评估医疗器械提交中计算建模和仿真的可信度”的指南草案。此外，FDA还启动了“医疗器械开发工具”（MDDT）计划。非临床评估模型（如动物或计算模型数据集）可被鉴定为MDDT。医疗器械供应商和开发人员可以在指定的环境中使用合格的工具来支持其产品的上市前审查，而无需进一步的验证证据。沿着这个方向，MeTAI可以更全面地从患者、患者化身生成数据集，无缝集成这些数据集，广泛共享信息，并支持基于AI的SaMD的动态评估。在MeTAI等前所未有的混合环境中使用计算方法可能比传统的临床试验（无论是真实的还是虚拟的）更具信息量、更稳健、负担更少，以评估医疗设备的性能。

FDA 监管评估虚拟成像临床试验研究的代表性结果。图片来源：Nature machine intelligence

元宇宙医学干预
MeTAI最深远的影响将是医生和患者可使用医疗数据和应用工具来了解疾病、选择治疗方法和进行干预。在MeTAI中，外科医生可以在化身上尝试不同的方法（例如，整形手术）。放射治疗是另一个例子。未来，通过利用模拟器和纳入元宇宙的临床知识库，可以大大减少放射治疗期间对处于危险中的器官的伤害。


三、MeTAI生态系统
随着上述和其他用例的实现，MeTAI可以成为医疗保健的变革性支柱。重要的是，MeTAI生态系统与其他医学成像模拟管道的区别在于无与伦比的数据集数量和类型，其巨大的社会规模，以及对用户沉浸、交互和协作的重视。因此，元宇宙需要一个和谐地整合患者、医生、研究人员、算法、设备和数据的架构和基础设施。鉴于MeTAI的革命性，显然存在可预见的挑战，需要我们迅速采取行动，为MeTAI元宇宙的发展制定最佳路线。


隐私和安全
隐私和保密对MeTAI至关重要。在元宇宙中获取的一些医疗数据必须受到现有或未来隐私立法的保护。设计良好的具有安全计算的MeTAI系统可以利用原始数据，而不会泄露敏感或私人信息。研究团队主张患者在区块链技术的支持下控制自己的数据和化身，以便他们自己的数字医疗属性可以按自己的意愿共享。


网络安全是一个成熟的领域，不断发展以应对不断涌现的新挑战。在MeTAI中，骚扰可以表现为对算法的对抗性攻击、对化身的修改和传统的人类行为不端。这些都是所有元宇宙中固有的。正在制定解决这些问题的方法和规则。例如，Meta建立了一个四英尺的个人区域来阻止VR探索。MeTAI与任何其他软件或硬件产品一样受到安全问题的影响。但所有这些问题都可以逐步得到解决。


管理和投资
当使用XR和其他工具进行基于元宇宙的交互和干预时，设想的基于元宇宙应用程序和新场景将带来额外的责任和运营开销。随着人工智能越来越先进，人类对MeTAI衍生图像和分析的审查需求可能会减少或消除，而MeTAI提供的信息将成为指导医疗保健的关键。分布式、云和边缘计算系统非常适合容纳各种各样的海量数据集。需要有关数据共享和元宇宙开发的立法。


采用MeTAI需要在软件、硬件和基础设施方面进行投资。MeTAI的开发和采用将分阶段进行，每个阶段的资金来源可能不同。首先，在探索阶段，公司和大学需要开发许多实现MeTAI的技术。在这一阶段，资金主要来自政府和行业的赠款。一旦确定了可行性，MeTAI就进入了早期采用阶段，由于其直接价值和潜在的财务节约，老牌公司和风险投资家将有强烈的动机为MeTAI开发提供资金。在下一阶段，将采用更多的MeTAI技术，以获得较高的潜在回报，但可能存在风险。这些努力很可能通过风险投资获得资金。技术创新者和早期采用者将开发、测试和证明利益，以证明和吸引投资。


结论
元宇宙是迅速而深刻的技术和社会学发展的汇合点。它包含代表我们的化身，复制我们周围的许多物体，如医疗成像设备，并有可能涵盖许多学科。除了娱乐和社交网络，元宇宙应用还包括专业培训、K-12（从幼儿园到12年基础教育）和大学教育、供应链、房地产营销、和MeTAI。新冠肺炎疫情期间远程医疗增长了38倍，这表明元宇宙的元素能够以迅速获得牵引力。我们相信医疗元宇宙MeTAI最终将成为现实。现在是发起集体努力开创这种元宇宙的时候了。这些努力包括但不限于收获低风险成果，如基于XR的先进医疗体验，展示新元宇宙应用的可行性，如虚拟比较扫描和原始数据共享，开发MeTAI，使其具有成本效益、用户友好、高性能、可靠、安全、公平和道德。