OCR 2024 | 洪楠教授：深度学习在骨肿瘤的研究进展

2024年8月24-25日，第十四届东方放射学会议（OCR）在上海隆重举行，本次大会邀请国内外相关领域的著名专家进行分享和交流，共享影像学研究成果，共话影像学发展前景。大会涵盖传统影像、精准医疗、大数据及云医疗、人工智能及介入治疗等多个交叉学科的最新进展和临床应用，力求达到传承经典、聚焦前沿、融合创新、引领发展的目标，为参会者开视野、领略前沿、拓展思路、穷实基础提供一个精彩纷呈的学习交流平台。

在本次大会上，来自北京大学人民医院的洪楠教授对“深度学习在骨肿瘤的研究进展”进行了详细的分享，本文梳理重点内容，以分享各位同道。

1.骨肿瘤概述

骨肿瘤是发生于骨骼或其附属组织的肿瘤，广义上包括骨肿瘤瘤样病变、骨良性肿瘤、骨恶性肿瘤。骨肿瘤具有多种组织学亚型，根据肿瘤起源于细胞或基质进行分类可分为骨性、软骨性、纤维性、肌源性、脂肪源性、血管源性以及未明确性质等。鉴于恶性骨肿瘤的罕见性，由于不同病变的好发年龄和部位存在一定重叠，且临床症状和体征隐匿多样，很少具有特异性，“同病异影，异病同影”的现象普遍存在，导致术前诊断具有一定的挑战性。

2.深度学习概述

深度学习是机器学习的一个子领域，其核心思想是模仿人脑的神经网络结构和学习方式，通过构建多层次的神经网络模型，实现对大规模复杂数据的表征和学习。深度学习自20世纪40年代至今已经历了三代神经网络的发展，自2012年发展进入爆发期。

常见的神经网络包括深度神经网络（DNN）、卷积神经网络（CNN）、递归神经网络(RNN)、深度信念网络（DBN）、生成式对抗网络（GAN）等。卷积神经网络（CNIN）的核心是卷积层和池化层，卷积层通过应用一系列的卷积核(卷积滤波器)对输入数据进行特征提取，池化层用于减小数据的空问维度，全连接层将卷积层和池化层的输出连接到输出层，并进行分类或回归等任务。

深度学习具有以下优点:

1）高度自动化：深度学习能够自动学习和提取特征，减少了手工特征工程的成本和时间；

2）对大规模数据的处理能力强：深度学习模型具有较强的泛化能力，可以处理大规模数据集，识别出更复杂的模式和规律；

3）对非线性关系的建模能力强：深度学习模型通过多层神经元的组合，可以对非线性关系进行建模，能够捕捉到更复杂的数据特征；

3.深度学习在骨肿瘤的应用

近年来，深度学习已应用于骨肌系统病变的检测与分割、疾病的诊断与分类、化疗反应评估、预测复发等方面：

1）诊断支持：通过训练深度学习模型，可以将医学影像数据(如X射线、CT扫描、MRI等)与疾病或病理信息相关联，从而帮助医生进行更准确的疾病诊断

2）疾病预测和进展：深度学习可以利用医学影像数据的时空信息，建立预测模型，用于预测疾病的发展趋势、预后以及治疗效果

3）医学影像重建：通过训练深度学习模型，可以从模糊或低质量的影像数据中重建出更清晰和高分辨率的图像

4）病灶检测和分割：深度学习可用于检测医学影像中的病变和异常，可以自动标记和定位病灶，并将其与正常组织进行区分

von Schacky CE等基于1045例患者的数据开发和验证了一种多任务深度学习模型，利用X线平片的数据，对原发性骨肿瘤进行分割和分类(良、恶性);该模型的分类性能超过了放射科住院医师的水平，与高年资骨放射科医师的水平相当，可以提高诊断的准确性，从而改善原发性骨肿瘤患者的诊断工作流程。

von schacky等基于976例患者的X线平片开发和验证机器学习模型，以区分良性和恶性骨病变，结果显示基于影像组学特征和临床特征相结合的人工神经网络(ANN)的表现最佳，与高级放射科医生相比，该模型的准确性较低，而与初级住院医师相比，该模型的准确性更高。

Eweje等回顾性纳入（5个中心）1060例患者，判别骨病变的良恶性。首先，使用EfficientNet-B0分别基于术前T1WI和T2WI构建两个深度学习模型。之后，基于患者的性别、年龄和病变位置构建一个临床逻辑回归模型。最后，构建了最终的投票集成模型（Voting ensemble model），并将该模型的性能与放射科医生的分类性能进行了比较。结果表明，二者准确性相近，但投票集成模型有助于改变工作流程，并能减少不必要的活检。

Noguchi 等基于319位骨转移患者（共1499处骨转移）和463位无骨转移的人群建立一个基于CT数据的深度学习算法，自动检测骨转移病变。该算法由三个卷积神经网络组成：1）基于2D UNet的骨区域分割网络；2）基于3D UNet的骨转移区域分割网络；3）基于3D ResNet的骨转移分类网络。与9名放射科医生的标注结果进行比较表明，在该算法的帮助下，放射科医生在骨转移检测方面的整体表现得到了提高，同时读片时间明显减少。

Li等基于两个中心的1085张骨肿瘤X线片和345张正常骨X线片，开发基于You Only Look Once (YOLO)的医学深度学习模型，对X线片上的骨病变进行自动检测和分类(正常、良性、中间性或恶性)，并与两名放射科医生的诊断性能进行比较。结果表明，YOLO深度学习模型可用于辅助放射科医师在全视野骨X线片中各个阶段的骨病变检测和分类。

Xiong等基于3个中心(846名患者/2111例硬化性骨病变/10662张图像)的CT图像建立2D(single-slice input)和2.5D(three-slice input)深度学习模型鉴别成骨性骨转移和骨岛。结果表明，2.5D深度学习模型性能最佳，可以提高成骨性骨转移的预测能力，有助于临床决策。

Wennmann等基于102个患者的106张全身MRI进行一项多中心回顾性研究，基于深度学习(nnU-Net)进行全身骨髓的自动分割，Dice系数为0.88/0.87/0.83(不同中心)，进一步构建多发性骨髓瘤（MM）的影像组学表型，并揭示MM的异常MRI表现和影像组学特征之间的联系。最后根据影像组学表型建立影像组学预测模型，患者的预测身高、体重与实际身高、体重显著相关（P =0.002和P =0.003)。

Chen等纳入197例患者的胸部低剂量CT。首先，基于ResNet50训练自动分割模型分割胸椎体，自动分割的Dice系数为0.87±0.01。其次，基于SVM进行影像组学纹理分析，基于从椎体中提取的影像组学特征开发一个两级分类器（正常组vs异常组；如果异常，骨量减少组vs骨质疏松组）一级和二级分类器的预测准确率分别为0.92±0.04和0.94±0.05。该开发的方法可整合到当前的临床工作流程中，在肺癌LDCT筛查时同时评估是否存在骨质疏松。

Zhong等纳入144例经新辅助化疗（NAC）的骨肉瘤患者，首先建立一个基于nnUNet的深度学习自动分割网络进行ROI的勾画，深度学习分割模型的平均Dice系数分别为0.866和0.869(训练集/测试集)。其次，基于临床和MRI影像组学构建诺莫图预测骨肉瘤患者对NAC的治疗反应，诺莫图的AUC分别为0.872和0.793(训练集/测试集)，可以为骨肉瘤患者术前预测NAC病理缓解提供参考依据。

Li等比较了深度信念网络(DBN)算法与其他6种机器学习（DT, GBM，LR，NBC，RF and XGBoost)算法的性能以预测骨肉瘤患者的肺转移。此外，将基于DBN的肺转移预测模型作为参数整合到Cox比例风险模型中，预测骨肉瘤患者的总生存期。

来自洪楠教授团队近期构建了深度学习模型，用于评估骨肉瘤新辅助化疗疗效。研究发现，深度学习影像组学(DLR)模型可以作为一种实用的预测工具，能够识别新辅助化疗反应较差的骨肉瘤患者，协助制定临床治疗决策。

同时，还比较了9种机器学习模型、1个基于卷积神经网络(CNN)模型和1个三维3D CNN模型的性能，并提出了一个两步nnU-Net模型，用于骨肉瘤和尤文肉瘤的自动分割和识别。

4.局限性与展望

首先，深度学习需要依赖大规模的数据集。然而，由于骨肿瘤的发病率和患病率相对较低，而目前开源数据库中未涵盖骨肿瘤的临床数据，这对建立深度学习模型造成了一定的影响。

1）基于深度学习的特征具有“黑盒子”的特点，无准确、完整的公式与定义，因此缺乏生物学可解释性

2）目前普遍缺乏高质量的训练数据:

● 现有的数据集标准多样、系统偏差较大，缺乏对疾病的统一认识

● 缺乏对数据和标注数据统一且清晰的标准化描述，导致机器学习与数据之间产生交互障碍、机器错误解数据的真实含义

3） 模型的泛化性差:

● 可能的原因有很多，如数据的样本量、样本的多样性不足

● 特征筛选方法欠佳，未能找到反映肿瘤异质性的稳定且通用的特征

4）研究现状存在以下不足:

● 原发性骨肿瘤相对比较少见、样本量小且种类繁多，深度学习算法的应用受限，目前针对每种特定肿瘤类型的研究相对较少

● 由于骨结构复杂、边界模糊和形状不规则以及影像伪影和噪声大，导致骨肿瘤相对于其他解剖区域(如肺和脑)在自动分割上更具挑战性，目前针对骨肿瘤自动分割的研究相对较少

● 使用的数据都是回顾性收集的，可能存在选择偏差

未来，基于深度学习能在提升骨肿瘤的识别的能力，需要进行多中心、大样本、前瞻性研究。采用全自动或半自动标注方式，可提高标注的一致性。多种算法的融合(传统组学/深度学习，特征融合/结果融合等)也是未来研究趋势。此外，可解释性方法的开发(SHAP图，Grad-CAM图等)，多模态(联合MR、PET、CT)及多组学(联合临床、病理、基因、蛋白组学、代谢组学)数据的融合也是未来一大趋势。