。

提出了GazeSAM系统#xff0c;使放射科医生能够在图像诊断过程中通过简单地查看感兴趣的区域来收集分割掩模。

该系统跟踪放射科医生的眼球运动…摘要

本研究探讨眼动追踪技术与SAM的潜力以设计一个协同的人机交互系统自动化医学图像分割。

提出了GazeSAM系统使放射科医生能够在图像诊断过程中通过简单地查看感兴趣的区域来收集分割掩模。

该系统跟踪放射科医生的眼球运动并利用眼球注视数据作为SAM的输入提示符自动实时生成分割掩码。

该系统使用眼动追踪技术识别放射科医生感兴趣的roi然后提示SAM模型根据眼睛注视点对图像进行相应的分割。

该系统具有用户友好、准确、快速生成分割结果的特点。

值得注意的是这是首次利用眼动追踪数据和SAM的力量实现医学图像实时分割过程自动化的研究。

贡献点

本文提出了一种将眼动追踪技术与SAM相结合的人机协作系统GazeSAM用于放射科医生的实时医学图像分割。

GazeSAM系统采用基于屏幕的眼动仪与Meta虚拟现实团队使用的基于眼镜的眼动仪相比它为放射科医生提供了更高的准确性和更大的舒适度。

此外大多数眼动数据集是使用基于屏幕的眼动仪收集的这使得我们的系统更适合于标准的眼动数据集收集。

3.我们的系统具有独特的2D和3D图像操作能力这通常用于医疗环境。

这是第一个为提高放射科医生在日常临床实践中的工作效率而开发的。

数据收集本研究使用Tobii

Nano屏幕眼动仪。

它是一款体积小、重量轻、使用方便的眼动仪长度为170mm重量为59g采样率为60Hz。

在实验之前需要对眼动仪进行校准以确保准确跟踪眼球运动并使屏幕上的凝视坐标与用户所看的位置保持一致。

在这里在Tobii

Pro眼动仪管理器中采用五点校准程序。

标定完成后眼球注视数据以屏幕上位置坐标的形式采集。

提示工程眼球注视数据可以被认为是一组离散点序列这些散点与眼球随时间的运动相对应。

因此可以将人眼注视数据转换为一个点或一个点序列作为SAM的点提示。

如下图所示选择的提示有两种第一种选择是使用随时间收集的整个眼球注视点序列这可以提供更全面的用户注视轨迹表示。

第二种选择是使用最后一个时间点采集到的眼球注视点作为提示。

当需要单个对象的粗分割掩码时这种方法更合适。

值得注意的是SAM可能并不总是产生完美的分割掩码特别是对于边界区域。

为了优化生成的掩码用户需要手动向这些区域添加点这可能是繁琐和耗时的。

在第一个选项中GazeSAM简化了这个过程允许用户通过简单地查看所需的区域来添加点。

这样提供了一种更有效的分割掩码细化方法有可能极大地提升整个流水线的用户体验和速度。

通过预先计算的图像嵌入和人眼注视数据转换的提示SAM可以近乎实时地生成分割掩码使其成为一种利用眼动追踪技术的交互式分割系统。