彭佳杰/郝建业/艾建忠团队《自然·通讯》：强化学习识别肾透明细胞癌的风险基因

肾透明细胞癌（clear cell renal cell carcinoma, ccRCC）是肾细胞癌（renal cell carcinoma, RCC）的一种，占所有RCC病例的80%，是一种在全球范围内较为常见的肿瘤类型。相比其他亚型，ccRCC具有更强的侵袭性。此外，超过30%的ccRCC患者在确诊时或病程中会出现转移，而转移是导致患者死亡的重要原因。尽管目前已有多种药物用于治疗ccRCC，但治疗效果仍然有限。因此，深入理解ccRCC的发病机制并识别关键风险基因，对于实现早期诊断和靶向治疗具有重要意义。

2025年4月15日，西北工业大学计算机学院彭佳杰课题组、天津大学郝建业课题组、四川大学艾建忠课题组在《Nature Communications》期刊联合发表了题为“Identifying potential risk genes for clear cell renal cell carcinoma with deep reinforcement learning”的论文。该工作提出了一种基于强化学习的癌症风险基因识别新范式，并用于识别ccRCC的风险基因。

癌症是一种复杂疾病，其发生和发展与驱动基因的突变的积累密切相关。传统癌症风险基因识别方法主要基于突变频率识别风险基因，但某些关键驱动基因（如 PIK3CA）在ccRCC患者中突变频率较低（不足5%），并且由于癌症的遗传基础极其多样，不同患者间的突变模式存在显著差异，导致基于突变频率的方法和无监督方法在泛化性和准确性上受限。监督学习方法依赖大量已知高置信度风险基因作为训练样本。然而，目前已知的ccRCC高置信风险基因数量有限，限制了这类方法的应用和性能。为克服上述挑战，研究团队提出了一种基于深度强化学习的癌症风险基因识别方法RL-GenRisk，将其应用于ccRCC风险基因识别。

图1. 总体框架图

与传统的监督学习方法不同，RL-GenRisk引入了强化学习框架。具体来说，RL-GenRisk将ccRCC风险基因的识别建模为一个序列决策问题，形式化为马尔可夫决策过程（Markov Decision Process, MDP）。这种建模方式使得RL-GenRisk能够自然地融合强化学习算法，有效应对已知风险基因数量稀缺的挑战。RL-GenRisk以蛋白质-蛋白质相互作用（PPI）网络和基因突变数据为输入（图1. A）。其中，PPI网络被表示为一个无向图，节点代表基因，边代表基因间的相互作用。基因突变数据则包含每个基因在ccRCC患者中是否发生突变的信息。RL-GenRisk将包含突变信息的PPI网络视为环境，状态由一个带有节点特征的子图构成，动作则是在当前子图的邻接节点中选择一个节点加入子图。因此，风险基因的识别问题被转化为在PPI网络中进行节点选择的马尔可夫决策过程。RL-GenRisk的核心是一个策略网络，用于与环境进行交互。该策略网络以当前状态为输入，输出所有可能动作的Q值，代表动作的优劣程度。RL-GenRisk的策略网络由两部分组成：一是图卷积网络（GCN），用于学习状态表示；二是节点评估网络，用于计算动作的概率分布（图1. B）。为了提升状态的表达能力，RL-GenRisk采用GCN来提取PPI网络中节点的表示。节点的初始特征来自于PPI网络的拓扑结构和ccRCC患者的突变信息。策略网络通过最大化奖励来优化动作选择。在本研究中，研究团队设计了一种数据驱动的奖励机制，聚焦于当前采样子图，同时考虑PPI网络结构和基因突变信息，期待采样子图能够“cover”更多的癌症患者（即携带采样子图中至少一个基因的突变的患者数目尽可能多），同时引入基因长度信息，避免长度过长的基因由于偶然携带乘客突变影响模型的识别能力。在最终的识别阶段，通过将采样子图设置为空，所有节点都包含在动作空间中，对所有节点计算Q值并排序，得到最终的风险基因列表。通过与现有的癌症风险基因识别方法进行对比，结果表明RL-GenRisk的表现优于现有方法（图2 A-F）。

图2. RL-GenRisk和现有方法的对比实验结果

随后，该研究分析了RL-GenRisk所识别的与ccRCC相关的Top20风险基因。富集分析结果表明RL-GenRisk所识别的Top20基因显著富集在“Clear cell renal cell carcinoma pathways”通路上（图3. A）。差异表达分析发现RL-GenRisk所识别出的基因中，EGFR在bulk和single-cell层面都呈现出了显著的差异表达，并且EGFR在bulk和single-cell层面都呈现出在癌组织、癌细胞中显著的高表达（图3. B,E,F,G）。此外，通过生存分析发现，EGFR所编码蛋白质的表达量和ccRCC患者的生存存在显著关联，EGFR所编码蛋白质表达量高的患者，其生存会相对更差（图3. C,D）。

图3. 独立数据集分析

为了进一步验证RL-GenRisk所识别的ccRCC风险基因，探索ccRCC的潜在治疗靶点，彭佳杰教授团队与四川大学华西医院艾建忠研究员团队进行合作，验证了RL-GenRisk所识别出的两个基因，EGFR和PCLO。首先通过体外实验验证EGFR表达对ccRCC进展的影响。实验结果表明EGFR的下调显著抑制了ccRCC细胞活性和迁移能力，EGFR表达的降低显著促进了ccRCC细胞的凋亡，并抑制了细胞的克隆形成能力（图4）。其次，通过小鼠体内实验发现，EGFR抑制剂厄洛替尼能有效抑制ccRCC细胞的迁移和生长，并促进其凋亡（图5）。最后，通过生物实验发现，PCLO表达下调显著抑制了ccRCC细胞活力，促进了细胞凋亡，抑制了细胞的克隆形成能力、迁移能力和侵袭能力（图 6）。此外，PCLO表达下调还影响了ccRCC细胞的形态和运动能力，敲低PCLO显著减少了ccRCC细胞在多个时间点的长度和宽度，细胞的面积和周长也明显减小，同时还导致细胞的运动速度降低，累积运动距离缩短（图 6）。这些结果表明RL-GenRisk所识别出的风险基因具有作为ccRCC潜在治疗靶点的潜力。

图4. EGFR失调在体外实验中显著影响ccRCC的进展

图5. 抑制EGFR表达在体外和体内实验中抑制ccRCC的进展

图6. PCLO失调显著影响ccRCC的进展

综上所述，研究人员设计了一种基于强化学习的癌症风险基因识别方法：RL-GenRisk，应用于ccRCC风险基因识别。RL-GenRisk的核心思想在于引入强化学习框架，将风险基因识别建模成一个节点选择过程，通过结合生物学先验知识设计数据驱动的奖励函数指导神经网络模型训练，从而设计了癌症风险基因识别的新范式。此外，该研究通过结合生物实验对模型的识别结果进行了有效验证，证明了其提出的方法具备识别ccRCC潜在风险基因的能力。

西北工业大学博士生鹿大智、天津大学副教授郑岩、四川大学华西医院博士生易贤颜翎为该论文的共同第一作者。天津大学教授郝建业、四川大学研究员艾建忠和西北工业大学彭佳杰为共同通讯作者。本研究受到国家自然科学基金等项目资助。

原文链接：

https://www.nature.com/articles/s41467-025-58439-5