European Radiology：人工智能在低患病率健康筛查环境下的应用

现阶段，人工智能（AI）算法的性能已被多项研究所证实，许多AI算法已经获得了监管部门的批准，目前有几个商业上可用的基于AI的诊断辅助软件（AI软件）程序已引入临床。潜在临床应用的一个重要领域是解释胸部X光片（CXRs）的人工智能软件。然而，该应用在技术成就和临床采用该技术之间仍有很大差距。

造成人工智能通用性弱的原因是临床实践中先天的多样性和变异性造成的数据转移，如实践模式随时间变化、不同的实践模式、人口统计学差异、基因型/表型差异、数据采集的硬件/软件差异以及环境/社会/政治/文化差异。因此，为了弥合技术成就和临床采用技术之间的差距，需要进行外部验证。从这个角度来看，到目前为止，大多数的人工智能算法还没有得到充分的评估。

由于各种原因，CXR是日常临床实践中使用最广泛的影像学检查，有些是由专家级的放射科医生/呼吸科医生解读，而有些则是由经验不足的基层普通医生解读。

Lunit INSIGHT for CXR是一款商业人工智能软件，主要应用于检测胸腔疾病。基于许多研究中令人信服的结果（独立的AUROCs，0.771-0.994），该应用得到了韩国食品和药品安全部的批准，并获得了CE标志。然而，目前还没有任何研究对这一软件的外部验证进行评估。

近日，发表在European Radiology杂志的一项研究利用两个医疗中心的诊断队列，从外部验证了商业人工智能软件程序的CXR异常检测性能，并评估了人工智能软件在大规模医疗中心的适用性。

本项研究在2018年1月-12月期间从两个初级保健中心共收集了3047张CXR，其特点是疾病流行率低。所有的CXRs都根据CT结果被标记为正常或异常。四名放射科住院医生在有AI协助和没有AI协助的情况下两次读取所有CXR。在接受者操作特征曲线下的面积（AUROC）、敏感性和特异性方面衡量了AI和有无AI协助的读者的表现。 

具有临床意义的病变的发生率为2.2%（3047例中的68例）。AI的AUROC、敏感性和特异性分别为0.648（95%置信区间[CI]0.630-0.665）、35.3%（CI，24.7-47.8）和94.2%（CI，93.3-95.0）。AI发现了41个肺炎中的12个、5个结核中的3个以及22个肿瘤中的9个。AI未检测到的病变往往比真正的阳性病变小。读者的AUROCs在不使用AI时为0.534-0.676，使用AI时为0.571-0.688（所有P值均<0.05）。对于所有读者来说，在人工智能的帮助下，平均阅读时间延长了2.96-10.27秒（所有P值都<0.05）。 

图 一个56岁女性，患有肺炎但未被发现（假阴性）。 a 在胸部计算机断层扫描轴位图像中，右肺上叶出现了提示肺炎的斑片状密度增高区（箭头）

研究表明，商业人工智能在这些高容量、低普及率的环境中的表现比预期的要差，尽管它适度地提高了经验不足的读者的诊断性能及表现。研究提示，人工智能在实验环境中表现出的技术实力和监管机构的批准可能无法直接转化为现实世界的实践，特别是在对人工智能协助需求最高的地方。

原文出处：

Cherry Kim,Zepa Yang,Seong Ho Park,et al.Multicentre external validation of a commercial artificial intelligence software to analyse chest radiographs in health screening environments with low disease prevalence.DOI:10.1007/s00330-022-09315-z.