Nature Medicine：智能诊疗新纪元：DeepDR-LLM系统提升糖尿病视网膜病变筛查效率

引言

在糖尿病护理领域，糖尿病视网膜病变(Diabetic Retinopathy, DR)的筛查仍然是一个重要的公共卫生挑战。全球有超过5亿人患有糖尿病，其中80%生活在低收入和中等收入国家(LMICs)。这种日益增加的患病率在这些资源有限的地区带来了巨大的公共卫生挑战。LMICs中，医疗资源不足和缺乏经过培训的初级保健医生(Primary Care Physicians, PCPs)是主要障碍，导致糖尿病的普遍漏诊、初级糖尿病管理不善以及不充分或不适当的专科转诊。这不仅影响个人健康结果，还带来了更广泛的社会经济后果。

糖尿病视网膜病变是糖尿病最常见的并发症，影响30-40%的糖尿病患者，是劳动力人群失明的主要原因。DR的存在还预示着其他并发症的高风险，例如肾脏、心脏和大脑。因此，定期进行DR筛查被普遍推荐为初级糖尿病护理的重要组成部分。然而，由于基础设施、人力和可持续的成本效益筛查项目的匮乏，DR筛查在LMICs中常被忽视。

为了应对这些挑战，近年来出现了多种数字技术，包括远程医疗、人工智能(AI)辅助血糖监测与预测、基于眼底图像的深度学习模型以及低成本的便携式眼底相机。然而，这些解决方案通常侧重于增强糖尿病管理或提供DR筛查，但很少结合这两方面的内容。此外，这些技术的使用还需要具备相关技能的PCPs，而在资源有限的环境中，训练有素的PCPs数量较少。

为了弥补这一空缺，7月19日Nature Medicine的报道“Integrated image-based deep learning and language models for primary diabetes care”，开发了一种集成图像与语言的系统（DeepDR-LLM），该系统结合了大语言模型(Large Language Model, LLM)和基于图像的深度学习(Deep Learning, DL)模型（DeepDR-Transformer），旨在为PCPs提供个性化的糖尿病管理建议。在回顾性评估中，LLM模块在英语测试中表现与PCPs和内分泌学住院医师相当，在中文测试中表现优于PCPs且与内分泌学住院医师相当。在识别需转诊的DR方面，PCPs在未使用辅助工具的情况下，准确率为81.0%，而在使用DeepDR-Transformer辅助下，准确率提升至92.3%。

此外，研究人员还进行了单中心的真实世界前瞻性研究，部署了DeepDR-LLM系统。结果显示，在未使用辅助工具的PCP组(n=397)和使用PCP+DeepDR-LLM辅助工具组(n=372)中，新诊断糖尿病患者在使用辅助工具组中表现出更好的自我管理行为(P<0.05)。对于需转诊的DR患者，使用辅助工具组更有可能遵循转诊建议(P<0.01)。此外，DeepDR-LLM的部署提高了管理建议的质量和同理心水平。鉴于其多方面的表现，DeepDR-LLM有望成为增强初级糖尿病护理和DR筛查的数字解决方案。

DeepDR-LLM系统在糖尿病初级护理中的应用，特别是在资源有限的环境中，能够显著改善患者的健康管理行为，并为医生提供有效的辅助工具，最终提升整体医疗质量。

糖尿病视网膜病变(Diabetic Retinopathy, DR)是糖尿病患者常见的并发症之一，严重者可导致视力丧失。据估计，2021年全球有超过5亿人患有糖尿病，其中80%生活在低收入和中等收入国家(LMICs)。在这些地区，医疗资源的匮乏和训练有素的初级保健医生(Primary Care Physicians, PCPs)的缺乏，导致糖尿病的普遍漏诊、初级糖尿病管理不善以及不充分或不适当的专科转诊。这不仅影响个人健康结果，还带来了更广泛的社会经济后果。

为了应对这些挑战，研究人员开发了一种集成图像与语言的系统（DeepDR-LLM），该系统结合了大语言模型(Large Language Model, LLM)和基于图像的深度学习(Deep Learning, DL)模型（DeepDR-Transformer），旨在为PCPs提供个性化的糖尿病管理建议和实时的DR筛查服务。

该研究包含了14个独立的横断面数据集和7个便携式眼底图像数据集。这些数据集来自中国、新加坡、印度、泰国和英国等国家，包括多种族和多国数据。用于标准眼底图像的数据集包括上海糖尿病预防项目(Shanghai Diabetes Prevention Program, SDPP)和多种族糖尿病视网膜病变进展研究(Diabetic Retinopathy Progression Study, DRPS)等。而便携式眼底图像数据集则包括中国东部便携式筛查研究(Chinese Portable Screening Study for Diabetic Retinopathy-East, CPSSDRE)和乌兹别克斯坦糖尿病视网膜病变研究(Uzbek Diabetic Retinopathy Study, UDRS)等。标准眼底图像用于开发和内部验证DeepDR-Transformer模块，而便携式眼底图像则用于外部验证。

DeepDR-LLM系统由两个核心模块组成：LLM模块和DeepDR-Transformer模块。LLM模块提供个性化的糖尿病管理建议，而DeepDR-Transformer模块负责图像质量评估、DR病变分割和DR分级。系统可以在医生参与和自动化两种模式下运行，提供基于图像和其他临床数据的综合管理建议。

DeepDR-LLM系统的架构（Credit: Nature Medicine）

LLM模块：提供个性化的糖尿病管理建议。结合临床数据和图像数据，生成管理建议。

DeepDR-Transformer模块：执行图像质量评估。进行DR病变的分割。对标准和便携式眼底图像进行DR分级。

系统集成模式：

医生参与集成模式：DeepDR-Transformer模块的输出（如眼底图像的可用性、病变分割结果、DR和DME（糖尿病性黄斑水肿）分级）可以辅助医生生成DR/DME诊断结果。

自动化集成模式：DeepDR-Transformer模块直接生成的DR/DME诊断结果及其他临床元数据将输入到LLM模块中，生成个性化的糖尿病管理建议。

系统工作流程：从标准或便携式眼底图像中提取和处理信息。通过模块间的数据传输，实现图像分析和管理建议的生成。

研究人员对LLM模块进行了回顾性评估，通过与非微调的LLM（如LLaMA）和PCPs进行对比，评估其在提供糖尿病管理建议方面的表现。对于DeepDR-Transformer模块，在多种族数据集上进行了验证，评估其在标准和便携式眼底图像上的DR分级表现。

在前瞻性研究中，研究人员在中国的一个高容量初级护理机构进行了单中心的真实世界两臂研究。研究包括两个组：未使用辅助工具的PCP组(n=397)和使用PCP+DeepDR-LLM辅助工具组(n=372)。通过对比这两组新诊断糖尿病患者的自我管理行为和需转诊DR患者的转诊遵从情况，评估DeepDR-LLM系统的实际应用效果。

DeepDR-LLM系统评估的研究设计概述（Credit: Nature Medicine）

糖尿病管理建议的对比评估：

对比对象：DeepDR-LLM系统、未微调的LLaMA模型、PCPs和内分泌学住院医师。

评估语言：英文和中文。

评估方法：使用从中国国家糖尿病并发症研究（CNDCS）中随机选择的100个病例，对各方法生成的管理建议进行评估。

DeepDR-Transformer模块的多种族验证：

数据集：来自中国、新加坡、印度、泰国和英国的标准眼底图像和便携式眼底图像。

验证内容：DR分级的性能，包括早期到晚期DR的检测和便携式眼底图像的可转诊DR检测。

DeepDR-Transformer作为辅助工具的效用评估：

评估对象：PCPs和专业的非医师阅片员。

评估内容：在有无DeepDR-Transformer辅助情况下，评估阅片的准确性和时间效率。

数据来源：城市和农村地区的标准和便携式眼底图像。

DeepDR-LLM系统在实际临床工作流中的前瞻性研究：

研究设计：两臂真实世界前瞻性研究。

研究对象：患者的电子健康记录和眼底图像。

比较组：未使用辅助工具的PCP组和使用PCP+DeepDR-LLM辅助工具组。

随访内容：新诊断糖尿病患者的自我管理行为和需转诊DR患者的转诊遵从情况。

LLM模块的性能

通过回顾性评估，研究人员发现LLM模块在提供糖尿病管理建议方面表现出色。在英语测试中，LLM模块的表现与PCPs和内分泌学住院医师相当；在中文测试中，LLM模块的表现优于PCPs且与内分泌学住院医师相当。在识别需转诊的DR方面，PCPs在未使用辅助工具的情况下，准确率为81.0%，而在使用DeepDR-Transformer辅助下，准确率提升至92.3%。

DeepDR-Transformer的多种族验证

DeepDR-Transformer模块在不同国家和地区的数据集上进行了验证，结果显示该模块在标准和便携式眼底图像上的DR分级表现稳健。具体而言，标准眼底图像的AUC值范围为0.892-0.933，便携式眼底图像的AUC值范围为0.896-0.920。这表明该模块在低分辨率的便携式眼底图像上也能达到最佳性能，有望在资源有限的环境中实现DR筛查。

前瞻性真实世界研究

在前瞻性研究中，使用PCP+DeepDR-LLM辅助工具组的新诊断糖尿病患者在随访期间表现出更好的自我管理行为。例如，患者减少了精制谷物和酒精的摄入，增加了全谷物和新鲜蔬菜的摄入，增加了体育活动，并更好地遵循药物治疗（所有P<0.05）。在需转诊的DR患者中，使用辅助工具组更有可能在两周内遵循转诊建议并预约眼科医生（77.78% vs 58.44%；P=0.001）。此外，使用辅助工具组的患者预约眼科医生的时间显著缩短（4天 vs 7天；P<0.001）。

该研究开发的DeepDR-LLM系统通过集成LLM和DL技术，为初级糖尿病护理提供了全面的解决方案。系统在多个方面表现出色，包括个性化管理建议、实时DR筛查和提高患者的自我管理能力。特别是在资源有限的环境中，DeepDR-LLM系统有望显著改善患者的健康管理行为，并为医生提供有效的辅助工具，最终提升整体医疗质量。

DeepDR-LLM系统结合了大语言模型和深度学习技术，为糖尿病视网膜病变的筛查和管理提供了创新的数字解决方案。该系统在多种族、多数据集上的验证结果显示出其在真实世界中的应用潜力，特别是在资源有限的环境中。该研究为糖尿病视网膜病变的初级护理提供了一种新的思路和方法，有望在全球范围内推广应用。

参考文献

Li J, Guan Z, Wang J, Cheung CY, Zheng Y, Lim LL, Lim CC, Ruamviboonsuk P, Raman R, Corsino L, Echouffo-Tcheugui JB, Luk AOY, Chen LJ, Sun X, Hamzah H, Wu Q, Wang X, Liu R, Wang YX, Chen T, Zhang X, Yang X, Yin J, Wan J, Du W, Quek TC, Goh JHL, Yang D, Hu X, Nguyen TX, Szeto SKH, Chotcomwongse P, Malek R, Normatova N, Ibragimova N, Srinivasan R, Zhong P, Huang W, Deng C, Ruan L, Zhang C, Zhang C, Zhou Y, Wu C, Dai R, Koh SWC, Abdullah A, Hee NKY, Tan HC, Liew ZH, Tien CS, Kao SL, Lim AYL, Mok SF, Sun L, Gu J, Wu L, Li T, Cheng D, Wang Z, Qin Y, Dai L, Meng Z, Shu J, Lu Y, Jiang N, Hu T, Huang S, Huang G, Yu S, Liu D, Ma W, Guo M, Guan X, Yang X, Bascaran C, Cleland CR, Bao Y, Ekinci EI, Jenkins A, Chan JCN, Bee YM, Sivaprasad S, Shaw JE, Simó R, Keane PA, Cheng CY, Tan GSW, Jia W, Tham YC, Li H, Sheng B, Wong TY. Integrated image-based deep learning and language models for primary diabetes care. Nat Med. 2024 Jul 19. doi: 10.1038/s41591-024-03139-8. Epub ahead of print. PMID: 39030266.

https://www.nature.com/articles/s41591-024-03139-8