摘要
超宽视场(UWF)成像是一种很有前途的方式，与传统的眼底摄影相比，它可以捕获更大的视网膜视场。先前的研究表明，深度学习模型对于检测UWF图像中的视网膜疾病是有效的，但主要考虑的是不太现实条件下的个体疾病(不包括带有其他疾病、人工因素、共病或边缘病例的图像;以及平衡健康和患病图像)，并且没有系统地调查UWF图像的哪些区域与疾病检测相关。在这里，我们首先通过提出一个深度学习模型来改进该领域的现状，该模型可以在比之前考虑的更现实的条件下识别多种视网膜疾病。然后，我们使用全局解释性方法来确定模型通常关注UWF图像的哪些区域。我们的模型表现非常好，在内部测试集中，健康和患病视网膜之间的接受者工作特征曲线(AUC)下的面积为0.9196(±0.0001)，在具有挑战性的外部测试集中，AUC为0.9848(±0.0004)。在诊断特定疾病时，该模型会关注我们预计这些疾病会发生的区域。我们进一步以纯数据驱动的方式将后极确定为最重要的区域。令人惊讶的是，后极周围10%的图像足以在所有标签上实现与完整图像可用的相当性能。
这是订阅内容的预览，通过你所在的机构访问
访问选项
订阅《自然》+
立即在线访问《自然》和其他55种《自然》杂志
29.99美元
每月
订阅期刊
获得1年的完整期刊访问权限
99.00美元
每期只要8.25美元
所有价格均为净价格。
增值税稍后将在结帐时添加。
税务计算将在结账时完成。
买条
在ReadCube上获得时间限制或全文访问。
32.00美元
所有价格均为净价格。
数据可用性
数据来自Hitoshi Tabuchi和Tsukazaki Optos公共项目的其他作者，受当前出口限制，这是在撰写本文时由日本立法实施的。以前，它是通过一个项目网站公开访问的，我们在那里获得了本研究中使用的副本。一个子集，包含在以前的研究中使用的健康眼睛和患有RP的眼睛的图像15是否可直接在网上查阅https://figshare.com/authors/Masahiro_Kameoka/6020591．我们从美国视网膜专家学会视网膜图像库(https://imagebank.asrs.org)、RetinaRocks图像库(https://www.retinarocks.org/)和Optos recognition Pathology资源(https://recognizingpathology.optos.com/)，详见补充章节3.以充分详细地再现数据集。我们还注意到，该数据集在社区中是众所周知的(例如，参考文献。16，26）.
代码的可用性
这个项目的代码，一个列出所有使用的库及其版本的requirements.txt文件，以及经过训练的模型，可以在以下网站上获得https://github.com/justinengelmann/UWF_multiple_disease_detection．
参考文献
视力与生活质量。反式。点。Ophthalmol.Soc。97， 473-511(1999)。
Pezzullo, L.， Streatfeild, J.， Simkiss, P. & Shickle, D.视力丧失和失明对英国成年人口的经济影响。BMC运行状况服务决议．18， 63(2018)。
帕特尔，S. N.， Shi, A.， Wibbelsman, T. D. & Klufas, M. A.超宽视场视网膜成像:最新进展。其他。放置角膜切削。12，https://journals.sagepub.com/doi/10.1177/2515841419899495(2020)。
Nagiel, A.， Lalane, R. A.， sada, S. R. & Schwartz, S. D.超宽视野眼底成像:临床应用综述和未来趋势。视网膜36， 660-678(2016)。
棕褐色,T.-E。，Ting, D. S. W., Wong, T. Y. & Sim, D. A. Deep learning for identification of peripheral retinal degeneration using ultra-wide-field fundus images: is it sufficient for clinical translation?安。Transl。地中海。8， 611(2020)。
Matsuba, S.等人。超宽视野眼底镜辅助深度学习(一种机器学习技术)检测年龄相关性黄斑变性的准确性。Int。角膜切削。39， 1269-1275(2019)。
Nagasato, D.等。深度学习分类器与超宽视场眼底镜检测视网膜分支静脉阻塞。Int。j .角膜切削。12， 94-99(2019)。
Nagasato, D.等。基于深度神经网络的超宽视场眼底镜检测视网膜中央静脉阻塞的方法。j .角膜切削。2018， 1875431(2018)。
Tabuchi, H.， Masumoto, H.， Nakakura, S.， Noguchi, A. & Tanabe, H.通过dcnn模型从超广角眼底图像中比较完整或局限于视盘的青光眼的辨别能力。在计算机视觉亚洲会议229-234(施普林格，2018)。
Masumoto, H.等人。深度学习分类器与超宽视场扫描激光检眼镜检测青光眼视野严重程度。j .青光眼27， 647-652(2018)。
Nagasawa, T.等人。深度学习的准确性，一种机器学习技术，使用超宽视野眼底镜检测特发性黄斑洞。PeerJ6， e5696(2018)。
Nagasawa, T.等人。超宽视野眼底镜辅助深度学习检测治疗初发性糖尿病视网膜病变的准确性。Int。角膜切削。39， 2153-2159(2019)。
Ohsugi, H.， Tabuchi, H.， Enno, H. & Ishitobi, N.深度学习的准确性，一种机器学习技术，使用超宽视野眼底镜检测孔源性视网膜脱离。科学。代表。7， 9425(2017)。
Masumoto, H.等人。神经网络模型集成视网膜脱离筛查。在计算机视觉亚洲会议251-260(施普林格，2018)。
Masumoto, H.等人。深度卷积神经网络在超宽视场视网膜色素变性检测中的准确性。PeerJ7， 6900(2019)。
Antaki, F.等人。自动机器学习在超宽视场假彩色眼底图像中分类视网膜病理的准确性。Br。j .角膜切削。https://bjo.bmj.com/content/early/2021/08/02/bjophthalmol-2021-319030.info(2021)。
Hemelings, R.等人。对眼底图像的深度学习可以检测视盘以外的青光眼。科学。代表。11， 20313(2021)。
Duker, J. S.等。国际玻璃斑牵引研究组对玻璃斑粘连、牵引、黄斑孔的分类。眼科学120， 2611-2619(2013)。
比德，E.等。以人为本的深度学习系统的评估部署在诊所检测糖尿病视网膜病变。在2020年CHI计算系统中的人为因素会议论文1-12(计算机械协会，2020)。
Selvaraju, R. R.等。梯度- cam:通过基于梯度的定位，来自深度网络的视觉解释。在IEEE计算机视觉国际会议618-626 (ieee, 2017)。
恩格尔曼，J.， Storkey, A. & Bernabeu, M. O.对齐图像模态的全局可解释性。预印在https://arxiv.org/abs/2112.09591(2021)。
威尔金森，C. P.，辛顿，D. R.，萨达，S. R. &魏德曼，P.。瑞恩的视网膜第6版(爱思唯尔健康科学，2018)。
德格雷夫，A. J.贾尼泽克，J. D. &李，S.-I。射线COVID-19检测人工智能选择捷径而不是信号。Nat,马赫。智能。3.， 610-619(2021)。
波普林，R.等人。基于深度学习的视网膜眼底照片心血管危险因素预测。Nat,生物医学。Eng。2， 158-164(2018)。
Yamashita, T.等。彩色眼底照片中可被人类用来确定个体性别的因素。Transl。粘度科学。抛光工艺。9， 4(2020)。
可汗，s.m.等。对眼科影像公开数据集的全球回顾:获取、可用性和通用性的障碍。数字出版的《柳叶刀》杂志上。健康3.， e51-e66(2021)。
González-Gonzalo, C.， Liefers, B.， van Ginneken, B. & Sánchez, C. I.深度可解释性框架中弱监督病灶定位的视觉证据迭代增强:应用于彩色眼底图像。IEEE Tran。医疗成像。39， 3499-3511(2020)。
Quellec, G, Charrière, K.， Boudi, Y.， Cochener, B. & Lamard, M.用于糖尿病视网膜病变筛查的深度图像挖掘。医学影像肛门。39， 178-193(2017)。
张宏，西塞，M, dauphen, Y. N. & Lopez-Paz, D. mixup:超越经验风险最小化。预印在https://arxiv.org/abs/1710.09412(2017)。
何凯，张晓霞，任松，孙娟。基于深度残差学习的图像识别方法。在IEEE计算机视觉与模式识别会议770-778 (ieee, 2016)。
Ioffe, S. & Szegedy, C.批量归一化:通过减少内部协变量移位加速深度网络训练。在机器学习国际会议448-456 (pmlr, 2015)。
怀特曼，R, Touvron, H. & Jégou, H. ResNet反击:改进的训练程序在时间。预印在https://arxiv.org/abs/2110.00476(2021)。
贝罗，我等人。重温ResNets:改进培训和扩展策略。预印在https://arxiv.org/abs/2103.07579(2021)。
何凯，张旭，任松，孙杰。深入研究整流器:在ImageNet分类上超越人类水平。在IEEE计算机视觉国际会议(ieee, 2015)。
邓，J.等。ImageNet:一个大规模的分层图像数据库。在2009年IEEE计算机视觉与模式识别会议(电子工程学报，2009)。
Loshchilov, I. & Hutter, F. SGDR:随机梯度下降与热重启。预印在https://arxiv.org/abs/1608.03983(2016)。
Izmailov, P.， Podoprikhin, D.， Garipov, T.， Vetrov, D. & Wilson, A. G.平均权重会导致更广泛的优化和更好的泛化。预印在https://arxiv.org/abs/1803.05407(2018)。
钟志，郑亮，康国强，李胜，杨勇，随机擦除数据增强。在AAAI人工智能会议第34卷，13001-13008(人工智能发展协会，2020年)。
Srivastava, N.， Hinton, G.， Krizhevsky, A.， Sutskever, I. & Salakhutdinov, R. Dropout:一种防止神经网络过拟合的简单方法。j·马赫。学习。Res。151929-1958(2014)。
Szegedy, C.， Vanhoucke, V.， Ioffe, S.， Shlens, J. & Wojna, Z.重新思考计算机视觉的初始架构。在IEEE计算机视觉与模式识别会议(ieee, 2016)。
Müller, R.， Kornblith, S. & Hinton, G.什么时候标签平滑有帮助?预印在https://arxiv.org/abs/1906.02629(2019)。
克劳斯，J.等。评价糖尿病视网膜病变机器学习模型的分级可变性和参考标准的重要性。眼科学125， 1264-1272(2018)。
随机森林。马赫。学习。45， 5-32(2001)。
弗里德曼，J.等人。统计学习的要素第1卷(施普林格系列统计，施普林格，2001)。
Paszke等人。PyTorch:一个命令式的高性能深度学习库。神经导过程。系统。32， 8024-8035(2019)。
Wightman, R. PyTorch图像模型。GitHubhttps://github.com/rwightman/pytorch-image-models(2019)。
哈里斯，C. R.等。使用NumPy进行数组编程。自然585， 357-362(2020)。
Pedregosa, F.等人。Scikit-learn: Python中的机器学习。j·马赫。学习。Res。12， 2825-2830(2011)。
亨特，J. D. Matplotlib:一个2D图形环境。第一版。Sc, Eng。9， 90-95(2007)。
M. L. seaborn:统计数据可视化。J.开源软件。6， 3021(2021)。
确认
我们感谢H. Masumoto和H. Tabuchi以及D. Nagasato、S. Nakakura、M. Kameoka、R. Aoki、T. Sogawa、S. Matsuba、H. Tanabe、T. Nagasawa、Y. Yoshizumi、T. Sonobe、T. Yamauchi和他们在Tsukazaki医院的所有同事发布TOP数据集。这是对眼科人工智能研究的巨大贡献，我们非常感谢。我们也感谢美国视网膜专家学会提供的视网膜图像库，以及RetinaRocks提供的图像库。我们进一步感谢所有用户提交图像用于这些在线存储库或其他地方的研究用途。这项工作得到了英国研究与创新(资助EP/S02431X/1)，爱丁堡大学信息学学院UKRI生物医学AI博士培训中心的支持。出于开放获取的目的，作者已对任何作者接受的手稿版本应用了创作共用署名(CC BY)许可。这项工作得到了爱丁堡皇家外科学院、苏格兰视觉、RS Macdonald慈善信托基金、首席科学家办公室和爱丁堡&洛锡安健康基金会的支持，通过SCONe项目的概念证明奖。资助EP/S02431X/1: J.E. SCONe项目资助:A.D.M.和E.P.
作者信息
作者及隶属关系
贡献
J.E.负责这项工作的所有方面，包括概念化、研究设计/方法、实验、分析、解释、数据和写作。A.S.和M.O.B.共同监督并为这项工作的各个方面做出了贡献。a.d.m.、I.J.C.M.和E.P.提供了眼科和超宽视场成像领域的专业知识，评估了前20个假阳性，并对结果的解释提供了反馈。
相应的作者
道德声明
相互竞争的利益
作者声明没有利益竞争。
同行评审
同行评审信息
自然机器智能感谢Edward Korot和其他匿名审稿人对这项工作的同行评审所做的贡献。
额外的信息
出版商的注意施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。
扩展数据
扩展数据图1 9张图片中的6张显示了同一病人的同一只眼睛。
九张图片中有六张显示了同一病人的同一只眼睛。所有图片根据标签显示DR。虽然图像在人工制品和病理方面存在一些差异，但病理的一般模式在图像之间是一致的，并且可以被模型记忆。
权利和权限
根据与作者或其他权利持有人签订的出版协议，自然或其许可方(例如，社会或其他合作伙伴)对本文拥有排他性权利;作者对这篇文章接受的手稿版本的自我存档仅受此类出版协议的条款和适用法律的约束。
关于本文
引用本文
恩格尔曼，J.，麦克特拉斯蒂，a.d.，麦考密克，I.J.C.et al。在超宽视野眼底成像中检测多种视网膜疾病，并利用深度学习对信息区域进行数据驱动识别。Nat Mach intel(2022)。https://doi.org/10.1038/s42256-022-00566-5
收到了：
接受：
发表：
DOI：https://doi.org/10.1038/s42256-022-00566-5
