数字神经外科】虚拟现实、增强现实和混合现实在手术模拟中的应用综述：对不同类型手术的扩展
数字神经外科学包括神经外科有限元分析、神经影像后处理、神经外科数字解剖(三维重建)、神经外科虚拟仿真手术、神经外科快速成型技术、神经外科逆向工程技术、计算机辅助设计与制造(CAD/CAM)技术、术前规划、计算机辅助神经外科导航手术、神经外科远程手术及神经外科机器人手术等。
本综述的目的是对VR、AR和MR在不同外科学科的应用进行全面概述，包括颌面外科和神经外科。讨论了这些领域目前的发展，以及未来的潜在方向。该篇文章发表于《Expert Review of Medical Devices》。
◀
虚拟现实、增强现实和混合现实在手术模拟中的应用综述：对不同类型手术的扩展
▶
Abel J Lungu , Wout Swinkels , Luc Claesen , Puxun Tu , Jan Egger & XiaojunChen
关键词
虚拟现实·增强现实·混合现实·手术模拟·手术培训
背景
研究证明，培训外科住院医师的金标准——学徒制模式已经过时。为此，人们不断努力开发高保真手术模拟器来替代学徒制模式。在手术模拟器中应用虚拟现实、增强现实(AR)和混合现实(MR)增加这些模拟器的保真度、沉浸和整体体验感。
虚拟现实
虚拟现实是一种沉浸式的体验，虚拟世界取代了物理世界。通过手持式控制器、触觉反馈装置和触觉手套等输入设备，用户可以与这个虚拟世界进行交互。通过光学跟踪、激光跟踪或旋转编码器测量这些器械的位置。当用户在物理世界中移动输入设备时，其平移和旋转被跟踪并应用于虚拟手术器械。这确保了物理世界和虚拟世界中的平移和旋转之间的一一对应的关系。用于实现高保真VR体验的两个关键技术是视觉渲染和触觉渲染。
图1显示了具有触觉反馈和相关组件的虚拟手术模拟器，能够模拟上颌骨切割手术。
增强现实
增强现实是通过将视觉信息叠加到用户视野上，用虚拟数据增强物理世界的技术。高保真AR体验的实现基于三个关键技术：视觉渲染、跟踪和图像配准。
混合现实
AR和MR之间的区别并不总是明确的。虽然这两种技术都使用虚拟数据来增强物理世界，但区别在于数据的表示和纳入物理世界的方式。Sauer等人将AR定义为视觉信息叠加到用户视野上，将MR定义为图像与显示器后的场景或物体融合。换句话说，AR将数据叠加到现实世界中，MR将虚拟数据锚定到物理世界中。因此，AR是将信息叠加到现实世界上的技术。该信息与用户头部运动无关，并将始终出现在用户视野的相同区域中。对于MR，将跟踪用户的头部运动，当旋转远离虚拟物体时，物体将向相反方向移动。
临床应用
VR、AR和MR领域的先进技术和算法使神经外科医师能够执行准确的手术计划、术中控制和术后跟踪。因此，已经开发了几种交互式3D VR应用来模拟外科手术（图2）。VR模拟已被应用于不同的医学领域，如内窥镜神经外科手术和脑肿瘤手术。
图2
口腔颌面外科(Oral and Maxillofacial Surgery，OMS)是指涉及口、颈、面和颌骨区域外科手术的临床专科。随着基于模拟的手术技术的进步，OMS领域采用了手术模拟器的使用以及VR、AR和MR用于模拟外科手术的受益，如图3所示。
图3
图4描述了腹腔镜输卵管切除术期间设置的腹腔镜VR培训。Bernhardt S.等人概述了截至2016年AR在腹腔镜手术领域的应用。如Lau L.等人和Prevost G.等人所示，腹腔镜肝脏手术一直是VR和AR的主要应用之一。如Akladios C.等人所述，VR和AR也被应用于远端腹腔镜胰腺切除术和妇科腹腔镜手术中，用于术中输尿管的检测。
图4
专家意见
1.虚拟现实面临的挑战
VR的挑战是尽可能现实地表示呈现的场景，同时仍然保证实时的交互性。然而，目前需要在现实世界和实时互动之间进行权衡。这种权衡需要在几个方面进行，包括视觉渲染和触觉渲染。除这些方面外，还存在实施液体模拟和使用模拟实际手术器械外观和感觉的触觉反馈器械的挑战。
2.增强现实和混合现实面临的挑战
对于跟踪，通常选择光学跟踪器或电磁跟踪器。第一个缺点是当视线受阻时，跟踪丢失。另一方面，电磁跟踪器的主要缺点是其工作空间与光学跟踪器相比，工作空间受到一定限制。此外，校准是一个繁琐的过程，增加了一层复杂性。无标记跟踪可能是该问题的解决方案，如Microsoft HoloLens中使用的由内向外跟踪。然而，在能够根据手术模拟器的要求将计算机生成的图像精确叠加到器官上之前，其跟踪技术需要改进。
3.评价指标的挑战
基于VR、AR和MR的手术模拟器的评价指标存在挑战。大多数手术模拟器是基于主观问卷进行评估的，这损害了在不同的用户研究中比较不同手术模拟器的可能性。因此，需要标准化、针对目标和客观的评价指标来简化模拟器评估。
免责声明：本文来自腾讯新闻客户端创作者