【韩国仁川】仁川国立大学研究以近乎完美的准确率革新皮肤癌检测

【编者按】

AI医疗再获突破!韩国科研团队成功开发出融合皮肤图像与临床数据的深度学习模型,将黑色素瘤检测准确率提升至94.5%。这项技术突破不仅展现了多模态数据融合在医疗诊断中的巨大潜力,更标志着智能医疗系统在癌症早筛领域迈出关键一步。当人工智能与临床经验深度协同,我们或将见证更多生命在疾病早期被成功挽救的奇迹。

Researchers from Incheon National University Unpack Audience Costs in US Allies' Foreign Policy Choices
突破性AI模型融合图像与临床数据

韩国仁川,2025年11月17日 /美通社/ — 黑色素瘤是最致命的皮肤癌类型,每年导致数千人死亡,但早期检测可显著提高生存率。如今,科学家开发出一种先进的人工智能模型,通过结合皮肤图像和患者元数据,能够更准确地检测黑色素瘤。该研究达到94.5%的准确率,标志着AI驱动的黑色素瘤早期检测取得突破,从而推进智能医疗系统发展。

多模态融合提升诊断精度

一个国际研究团队开发的新型深度学习系统通过融合皮肤镜图像和患者元数据(如年龄、性别和病变位置),以94.5%的准确率检测黑色素瘤。该方法通过智能医疗技术提高了诊断精度、透明度和早期皮肤癌检测的可及性。
黑色素瘤仍然是最难诊断的皮肤癌之一,因为它经常模仿无害的痣或病变。虽然大多数人工智能工具仅依赖皮肤镜图像,但它们往往忽略了可以提高诊断准确性的关键患者信息(如年龄、性别或病变在身体上的位置)。这凸显了能够实现高精度诊断的多模态融合模型的重要性。

国际合作开发深度学习模型

为弥补这一差距,韩国仁川国立大学嵌入式系统工程系的Gwangill Jeon教授与西英格兰大学(英国)、安格利亚鲁斯金大学(英国)和加拿大皇家军事学院合作,创建了一个整合患者数据和皮肤镜图像的深度学习模型。该研究于2025年6月6日在线发布,并将于2025年12月1日发表在《信息融合》期刊第124卷。

“皮肤癌,特别是黑色素瘤,是一种早期检测对决定生存率至关重要的疾病,”Jeon教授说。”由于仅凭视觉特征难以诊断黑色素瘤,我认识到需要能够同时考虑成像数据和患者信息的AI融合技术。”
卓越性能超越传统模型

研究团队使用包含超过33,000张皮肤镜图像及配套临床元数据的大规模SIIM-ISIC黑色素瘤数据集,训练其AI模型识别皮肤表现与患者特征之间的微妙联系。该模型达到94.5%的准确率和0.94的F1分数,优于ResNet-50和EfficientNet等流行的纯图像模型。
研究人员还进行了特征重要性分析,使系统更加透明和稳健。研究发现,病变大小、患者年龄和解剖部位等因素对准确检测有重要贡献。这些见解可以帮助医生理解并为信任AI执行的诊断提供路线图。

“该模型不仅仅是为学术目的设计的。它可以用作改变现实世界黑色素瘤筛查的实用工具,”Jeon教授说。”这项研究可以直接应用于开发一个AI系统,分析皮肤病变图像和基本患者信息,以实现黑色素瘤的早期检测。”
未来应用前景广阔

未来,该模型可为基于智能手机的皮肤诊断应用、远程医疗系统或皮肤科诊所的AI辅助工具提供支持,有助于降低误诊率并改善医疗服务的可及性。

“这项研究代表了通过AI融合技术向个性化诊断和预防医学迈出的一步,”Jeon教授解释说。

该研究强调了多模态AI如何弥合机器学习与临床决策之间的差距,为更准确、可及和值得信赖的皮肤癌诊断铺平道路。

None
查看全文: 点击查看原文 |
⏰ 发布时间: 2025年11月17日

【韩国仁川】仁川国立大学研究实现皮肤癌检测近乎完美准确率

【编者按】

人工智能在医疗领域的应用正不断深化。国际研究团队将皮肤镜图像与患者年龄、性别等元数据相结合,开发出新型深度学习系统,显著提升了黑色素瘤的诊断准确率。这一突破不仅弥补了传统AI模型仅依赖图像分析的局限,更为早期筛查提供了更可靠的技术支持,展现出多维度数据融合在医疗诊断中的巨大潜力。

突破性进展

一个国际研究联盟在黑色素瘤检测领域取得了突破性进展,推出了一种新型深度学习系统,该系统将皮肤镜成像与关键患者元数据相结合,显著提高了诊断准确性。这种创新方法将视觉数据与年龄、性别和病变位置等背景患者信息相融合,解决了主要依赖图像的传统AI模型的关键缺陷。

研究背景

黑色素瘤因其对良性痣和病变的欺骗性模仿而臭名昭著,持续挑战着全球临床医生。早期识别至关重要,因为晚期诊断的生存率会急剧下降。传统诊断技术常常因黑色素瘤微妙多变的视觉表现而受阻。此外,现有的AI诊断系统主要孤立分析皮肤镜图像,忽略了可以显著改进诊断的细微但显著的临床变量。

研究方法

研究人员利用了广泛的SIIM-ISIC黑色素瘤数据集,该数据集包含超过33,000张高分辨率皮肤镜图像,并与全面的临床元数据精心配对。这个存储库使模型能够学习像素模式之间以及患者人口统计和解剖因素之间的复杂关联,促进了更丰富、更具上下文感知的分析。

“该模型实现了令人印象深刻的94.5%准确率和0.94的F1分数,超越了ResNet-50和EfficientNet等基准卷积神经网络。”
None
核心创新

一个核心创新在于模型执行特征重要性分析的能力,阐明了哪些参数对其决策最关键。这一方面通过揭示病变大小、解剖部位和患者年龄是准确检测黑色素瘤的主要影响因素,增强了透明度并培养了临床医生的信任。

临床应用前景
“全权教授强调,这个模型超越了学术好奇心,有望实现切实的临床应用。”

这种融合方法为嵌入现实世界筛查流程的实用工具铺平了道路,可能在护理点彻底改变黑色素瘤诊断。通过整合视觉和患者数据,该模型体现了一个全面的诊断助手,可以减少误诊并加快干预时间表。

未来展望

展望未来,这种多模态模型的可扩展性预示着令人兴奋的可能性,特别是在移动健康和远程医疗领域。配备皮肤镜附件的智能手机与这种AI结合可以普及黑色素瘤筛查,特别是在缺乏专业皮肤科服务的服务不足或偏远地区。

None
伦理考量

研究人员仍然意识到在临床环境中部署AI所固有的伦理和实践考虑。他们的工作包括严格的验证、特征可解释性以及遵守透明报告,以促进监管批准和临床接受。

查看全文: 点击查看原文 |
⏰ 发布时间: 2025年11月15日

人工智能在癌症领域的应用:应用、挑战与未来展望

【编者按】

人工智能正以前所未有的速度重塑肿瘤学研究范式。从深度学习算法突破到海量医疗数据应用,AI技术正在癌症预防、诊断和治疗各环节展现出变革性潜力。本期专题聚焦人工智能在肿瘤学领域的前沿应用,既呈现AI技术在解析复杂生物机制、提升临床决策精度方面的突破性成果,也深入探讨其规模化应用面临的伦理规范与技术挑战。这场医学与人工智能的深度交融,正在为精准医疗开启全新可能。

figure 2
摘要
“人工智能正在迅速改变肿瘤学研究的格局,推动个性化临床干预措施的进步。在三个相互关联领域的进展——包括AI模型训练方法和算法的开发、专用计算硬件的演进,以及对大量癌症数据(如影像学、基因组学和临床信息)获取的增加——已经汇聚在一起,催生了AI在癌症研究中前景广阔的新应用。”

人工智能应用根据特定癌症类型和临床领域进行系统组织,涵盖生物机制的阐明和预测、临床数据模式的识别和利用以改善患者预后,以及流行病学、行为学和真实世界数据集中固有复杂性的解析。当以符合伦理和科学严谨的方式应用时,这些AI驱动的方法有望加速癌症研究的进展,并最终促进所有人群健康结局的改善。我们回顾了展示AI在肿瘤学中整合的实例,重点介绍了深度学习熟练应对曾被认为不可逾越挑战的案例,同时讨论了促进这些技术更广泛采用必须克服的障碍。

引言

癌症仍然是全球主要的死亡原因[1]。预测估计到2050年将有约3500万病例[2]。这一惊人的增长凸显了加速癌症研究和治疗策略开发的紧迫性。

figure 1

在过去十年中,由于先进深度学习算法的出现、计算硬件的显著进步以及用于临床决策的数据快速增长[3,4,5],医学领域对人工智能整合的兴趣重新燃起并日益增长。此外,其在肿瘤学中的应用展现出显著且不断扩大的潜力,涵盖基础科学追求(如蛋白质折叠预测[6,7])、转化计划(如生物标志物发现[8,9])以及临床试验组织和管理的临床进展[10,11]。
在本综述中,我们旨在全面概述AI在肿瘤学领域的现状和不断发展的格局。我们首先总结主要类型的AI模型和输入数据模态来展开讨论。接下来,我们回顾AI在六个关键领域的最新进展,包括癌症筛查和诊断、精准治疗、癌症监测、药物发现、医疗保健服务以及癌症机制。最后,我们重点介绍了阻碍AI广泛临床整合的主要障碍,并提出了战略性的、可操作的方法来促进这一快速发展领域的未来创新。

figure 3
AI模型和数据模态
“人工智能使系统能够从数据中学习、识别模式并做出决策[12]。在肿瘤学中,AI使用多样化的数据模态,包括医学影像、基因组学和临床记录,以应对复杂挑战[13]。”

AI模型的选择取决于数据类型和临床目标[3]。结构化数据如基因组生物标志物和实验室值通常使用经典机器学习模型进行分析,包括逻辑回归和集成方法,用于生存预测或治疗反应等任务[14]。影像数据包括组织病理学和放射学利用深度学习架构如卷积神经网络来提取空间特征,实现肿瘤检测、分割和分级[15]。顺序或文本数据如基因组序列和临床记录采用变换器或循环神经网络来建模长程依赖关系,促进生物标志物发现或电子健康记录挖掘等任务[16]。大型语言模型(如GPT-5)的最新进展增强了从科学文献和临床文本中提取知识的能力,加速了癌症研究中的假设生成。

查看全文: 点击查看原文 |
⏰ 发布时间: 2025年10月30日

通过联邦深度学习和可解释AI实现隐私保护的皮肤癌诊断

【编者按】

在医疗AI快速发展的今天,如何在保障患者隐私的前提下提升诊断效率成为关键课题。本研究创新性地将联邦学习与可解释AI技术相结合,为皮肤癌诊断构建了既保护数据隐私又具备透明决策机制的新范式。这种兼顾技术效能与伦理规范的研究路径,为医疗AI的合规发展提供了重要参考,也展现了跨学科协作解决临床痛点的巨大潜力。

figure 4
摘要

本研究深入探讨了人类皮肤疾病的分类,特别是良性和恶性皮肤癌,重点关注数据隐私保护。传统的皮肤疾病视觉诊断通常具有主观性,并且因病变的颜色、纹理和形状各异而变得复杂。为应对这些挑战,我们提出了一种隐私保护且可解释的深度学习架构,该架构利用分布式医疗数据源上的安全联邦学习,无需暴露患者隐私信息,确保符合数据保护法规。

通过将皮肤图像数据集分为两类并分配给三个客户端来模拟现实世界的去中心化场景。采用联邦平均方法在25轮联邦通信中训练VGG19模型——一个成熟的卷积神经网络——该模型已在ImageNet上进行预训练并针对二元分类进行了微调。为增强鲁棒性和多样性,皮肤病学数据集(如Kaggle)通常用于类似研究中进行性能评估。此外,还结合了可解释AI技术,如梯度加权类激活映射,以提高透明度并帮助临床医生可视化和解释模型的决策过程。

实验结果表明,联邦学习方法在保持数据隐私的同时实现了高分类性能。这项工作凸显了将可解释性与联邦学习相结合,为皮肤病诊断开发可靠且注重隐私的AI解决方案的潜力。

引言

每年有数百万新发皮肤癌病例被诊断出来,使其成为全球最普遍的癌症类型之一。黑色素瘤作为一种恶性皮肤癌,如果不及早发现可能特别致命。皮肤作为内脏器官和结构的保护屏障,强调了即使是微小扰动也可能对身体系统产生重大影响。皮肤病变的不同外观和严重程度反映了皮肤疾病的多样化病因。

尽管早期检测对于提高患者生存率至关重要,但传统诊断方法主要依赖于皮肤科医生主观且易出错的可视评估。良性和恶性(黑色素瘤)都是皮肤癌的形式,如果及早发现,几乎总是可以治愈的。对受影响的皮肤区域进行物理检查以排除其他可能原因是诊断黑色素瘤的第一步。全球估计表明,2020年将有1000万人因癌症丧生。

计算技术在皮肤癌诊断中的应用越来越受欢迎,人工智能和图像处理的进步对于精确的病变评估和早期识别至关重要。当与机器学习算法结合使用时,包括数字乳腺摄影、组织病理学和皮肤断层合成在内的技术显著提高了诊断准确性。

过去几年中,黑色素瘤病例一直在稳步上升。如果癌症及早发现,小型外科手术可以提高康复机会。皮肤科医生经常采用流行的非侵入性皮肤镜成像方法来评估色素性皮肤病变。通过放大病变的位置或表面,皮肤镜检查使皮肤科医生更容易检查结构。

人工智能,特别是深度学习的最新发展极大地促进了自动化和精确诊断系统的开发。皮肤癌分类是医学成像任务之一,其中卷积神经网络已展现出卓越的性能。其中,VGG16作为一种已在ImageNet上预训练的深度卷积神经网络,因其强大的特征提取能力和简洁的架构而被广泛用于迁移学习。通过在皮肤镜图像数据集上优化VGG16,研究人员能够以高准确度区分良性和恶性病变。

在传统的医疗保健系统中,中央代理负责提供原始数据。由于这个原因,该系统仍然存在严重的风险和问题。其中最紧迫的问题包括安全和隐私。与人工智能结合使用时,该系统将拥有多个代理协作者,它们可以有效地与其目标主机通信。生物数据包含每个患者的特定信息,包括血液活动、皮肤反应、呼吸反应、心脏活动、大脑活动、面部表情以及各种其他生命信号的信息。由于信息可能作为国家研究项目的一部分被收集,这对个人和国家隐私都构成风险,因此这类数据引发了严重的隐私担忧。

figure 1
查看全文: 点击查看原文 |
⏰ 发布时间: 2025年10月15日

通过EViT-Dens169混合注意力融合视觉Transformer和CNN特征增强皮肤癌早期检测

【编者按】

人工智能正为皮肤癌诊断带来革命性突破。本期推介的研究创新性地将视觉Transformer与DenseNet169深度融合,通过全局注意力机制与局部特征提取的协同作用,在皮肤镜图像分类领域取得重要进展。这种兼顾整体与细节的混合模型架构,为提升皮肤病变诊断的准确性和可靠性开辟了新路径,展现了AI在医疗影像分析中的巨大潜力。

figure 2
摘要
“皮肤癌的早期诊断仍然是皮肤病学和肿瘤学实践中的一个紧迫挑战。AI驱动的学习模型已成为利用皮肤镜图像自动分类皮肤病变的有力工具。本研究引入了一种新颖的混合深度学习模型——增强视觉Transformer(EViT)与Dens169相结合,用于准确分类皮肤镜皮肤病变图像。”

所提出的架构将EViT与DenseNet169集成,以利用全局上下文和细粒度局部特征。EViT编码器组件包括六个基于注意力的编码器块,由多头自注意力(MHSA)机制和层归一化赋能,实现高效的全局空间理解。为了保留在补丁分割过程中丢失的局部空间连续性,我们引入了空间细节增强块(SDEB),包含三个并行卷积层,后接融合层。这些层重建了边缘、边界和纹理细节,这些对病变检测至关重要。经过修改以适应皮肤镜数据的DenseNet19骨干网络提取局部特征,补充全局注意力特征。EViT和DenseNet169的输出被展平并通过逐元素相加融合,随后通过多层感知器(MLP)和softmax层进行七个皮肤病变类别的最终分类。

“在ISIC 2018数据集上的结果表明,所提出的混合模型实现了卓越性能,准确率达到97.1%,灵敏度为90.8%,特异性为99.29%,AUC为95.17%,优于现有的最先进模型。”

混合EViT-Dens169模型通过有效融合全局和局部特征,为早期皮肤癌检测提供了稳健解决方案。

引言

皮肤癌是世界上最常见的癌症类型之一,主要由阳光中的紫外线(UV)辐射引起。常见的皮肤癌形式包括基底细胞癌(BCC)、鳞状细胞癌(SCC)和恶性黑色素瘤,这些因其快速转移能力而具有侵袭性。尽管有从手术切除、放射治疗到免疫治疗等多种治疗方法可用,但检测仍然是降低早期死亡率的重要因素。传统上,皮肤癌的诊断基于皮肤科医生的视觉检查,有时使用皮肤镜成像作为支持,以放大肉眼可能看不见的皮肤特征和结构。皮肤镜使皮肤科医生能够观察一组皮肤病变特有的模式、颜色和纹理,从而提高了诊断准确性。然而,使用皮肤镜进行手动诊断存在若干限制。首先,许多早期恶性病变由于其高度视觉相似性经常被误诊为良性。医生诊断存在显著程度的变异性,特别是在皮肤科培训有限的普通医生中。经验丰富的皮肤科医生短缺是提供适当及时评估的重要障碍,特别是在农村或资源受限的环境中。近年来,人工智能系统,特别是深度学习模型,已成为医学图像分析的工具。深度学习模型具有分析大量皮肤图像数据集的卓越能力,能够独立学习指示不同皮肤状况的模式。这些系统提供一致的评估,减少主观解释,并扩大诊断范围。CNN由于能够提取分层特征而在特征提取方面非常有效。这些多个卷积和池化层使卷积神经网络能够捕获低频或高频特征。初始层提取基本形状和纹理,如颜色和纹理。相比之下,更深层提取复杂特征,如不规则病变边界、不对称性和色素异常,这些对皮肤病学诊断是必要的。然而,CNN仅限于提取局部特征。为了解决这个问题,ViT模型被引入。与CNN不同,ViT将图像分成一系列不重叠的补丁,附加到其线性嵌入中,馈入自注意力机制。这种能力使ViT模型能够捕获全局空间关联,从而考虑整个图像中的长距离依赖性和细微结构变化。CNN和ViT技术的互补性导致了混合模型的发展。

figure 1
查看全文: 点击查看原文 |
⏰ 发布时间: 2025年10月06日

AI在皮肤癌检测中如何改变患者护理

【编者按】

皮肤癌虽为全球最高发的癌症,但早期发现治愈率极高。本文通过权威数据揭示了及时筛查的关键价值——早期黑色素瘤五年生存率可达95%以上,而晚期则骤降至30%。随着人工智能技术在皮肤病变识别领域的突破性进展,深度学习算法正为癌症早筛提供全新可能。我们期待科技与医学的深度融合,能够为大众健康构筑更坚实的防线。

How AI in Skin Cancer Detection Is Changing Care for Patients
皮肤癌检测的重要性

皮肤癌是全球最常见的癌症,每年新增病例超过所有其他癌症的总和。幸运的是,如果早期发现,大多数皮肤癌都是高度可治疗的。挑战在于在它们扩散之前发现它们。对于最危险的皮肤癌类型黑色素瘤,早期诊断的五年生存率超过95%,但一旦转移,生存率急剧下降至约30%(美国癌症协会,2024年)。

AI在皮肤癌检测中的工作原理

AI系统基于深度学习算法构建,这是一种机器学习形式,计算机通过处理大量图像来学习模式。对于皮肤癌检测,AI在包含数百万张皮肤病变照片的数据库上进行训练,这些照片由皮肤科医生标记并经活检确认。
当呈现新图像时,AI将病变与其学习到的模式进行比较,并计算恶性概率。在临床环境中,这个概率可以帮助皮肤科医生决定是否需要进行活检。

“Esteva等人(2017年)在《自然》杂志上发表的一项里程碑研究表明,卷积神经网络(CNN)在皮肤病变分类方面的表现与21名获得委员会认证的皮肤科医生相当。”
ai-in-skin-cancer-detection
AI在诊所中的应用:协助皮肤科医生

在皮肤科诊所中,AI被整合到数字皮肤镜系统中。当皮肤科医生拍摄痣的图像时,AI软件会立即分析并提供恶性风险评分。皮肤科医生然后将这些信息与他们自己的临床判断结合使用。

“研究表明,人类专业知识与AI支持的结合产生了最高的准确性。《柳叶刀·肿瘤学》发表的一项多中心研究(Tschandl等人,2020年)证明,AI辅助的皮肤科医生在正确识别皮肤癌方面优于单独工作的皮肤科医生。”
AI在家中的应用:智能手机应用和远程皮肤病学

除了诊所,AI也进入了消费者健康领域。几款智能手机应用允许用户拍摄痣的照片并接收风险评估。虽然这些工具可以提高意识,但它们的可靠性各不相同。

“《JAMA皮肤病学》2020年的一项研究(Han等人,2020年)评估了多款皮肤癌检测应用,发现准确性不一致。一些应用的灵敏度高达90%,而其他应用则漏掉了危险的黑色素瘤。”
ai-in-skin-cancer-detection
AI对患者的好处

AI在皮肤癌检测中为患者提供了几个潜在优势。
首先,它改善了早期检测,这是生存的最重要因素。通过分析肉眼看不见的细微模式,AI可以帮助在癌症扩散之前发现它们。其次,它减少了假阳性。许多患者接受了活检,结果却是良性的。通过使风险评估更加准确,AI减少了不必要的程序、疤痕和焦虑。
第三,它提供了更快的结果。患者可能立即获得评估结果,而不是等待数天的专家审查。最后,AI扩大了获得护理的机会。在皮肤科医生较少的地区,AI辅助筛查可以帮助非专科医生识别可疑病变,从而实现早期转诊和治疗。

患者应了解的局限性

尽管前景广阔,但AI也有局限性。

ai-in-skin-cancer-detection

AI依赖于训练数据的质量和多样性。许多早期系统主要针对较浅肤色进行训练,导致在检测较深肤色类型的癌症时准确性较低(Adamson & Smith,2018年,《JAMA皮肤病学》)。
这引发了关于癌症护理公平性的担忧。目前正在努力创建更具包容性的数据集。

查看全文: 点击查看原文 |
⏰ 发布时间: 2025年09月20日

高光谱视网膜成像作为眼部和全身疾病的生物标志物

【编者按】

高光谱成像技术正为医学诊断带来革命性突破。这项前沿技术通过同时捕捉光谱与空间数据,为识别传统影像难以发现的生物标记物提供了全新视角。特别是在视网膜成像领域,它不仅揭示了疾病发生发展的新机制,更开创了无创诊断与监测的新路径。本期将带您深入了解这一技术如何重塑医疗影像的未来图景。

figure 1
摘要
“高光谱成像是医学影像学技术领域的前沿。它可同时收集光谱和空间数据。编码于这些数据中的结构和生理信息可用于识别和定位典型的难以捕捉的生物标记物。视网膜高光谱成像研究为疾病的病理生理学提供了新的见解,为视网膜和全身疾病的非侵入性诊断和监测提供了新方法。”
引言

我们对视觉世界的感知与光和物质独特而特定的相互作用密切相关。这种相互作用随着物质组成和照明光物理特性的变化而变化。在实验室中,通过研究这种相互作用来了解物体的组成是光谱学的基础。在更简单的层面上,传统摄影通过宽带光与视网膜的相互作用提供了对视网膜结构的洞察,这种相互作用由模拟人类视锥细胞敏感度的三通道(红、绿、蓝)传感器检测,因此可以重现眼睛所看到的内容。虽然这种方法在临床上很有用,但其本质上受到限制。通过研究光与组织的波长特异性相互作用,可以获得关于视网膜结构的更详细信息。这对大多数临床医生来说很直观——绿色(无红色)滤光片通常用于裂隙灯生物显微镜检查以突出视网膜出血,部分原因是血液中的血红蛋白是绿光的强吸收体。高光谱成像是这种方法的延伸,它涉及在不同波长的光下获取一系列视网膜图像。以这种方式获取的高维信息有可能改变一系列眼部和全身疾病的生物标志物检测,并推进对病理生理学的理解。

高光谱成像原理

高光谱成像起源于地理空间科学[1],但经过几十年的发展,其应用已扩展到艺术保护[2]、食品质量与安全控制[3,4]、制药[5]、农业[6]、法医学[7,8]和医学[9,10]等领域。高光谱成像类似于传统摄影,然而它不是使用单一的宽带(白光)闪光,而是在连续的离散波长范围内捕获一系列图像。这些图像随后被堆叠以产生一个称为超立方体的三维数据集,该数据集由两个空间维度(x和y)和一个光谱维度(λ)组成(图1)[11]。超立方体中的每个位置或像素都有其自己的光谱特征(反射率作为波长的函数),指示其组成[12],并且可以进一步分析以识别各个组分(称为端元)。

图1:高光谱成像示意图
“高光谱成像相机(标记为HS)使用窄带宽可调光源在通常不到一秒的时间内照亮视网膜。然后从视网膜反射的光由图像传感器收集。获取高光谱图像有多种模式,但通常通过扫描源波长来获取不同的帧以生成数据立方体(HS Cube)。每个图像都包含空间和光谱信息,每个像素都有相应的光谱特征。使用深度学习图像分析方法分析图像。这里展示了一个卷积神经网络(CNN)。CNN模型由输入层、隐藏层和输出层组成。隐藏层完全连接,由多个卷积、池化和激活堆栈组成,实现自动特征提取、分类和回归。训练CNN模型需要准确的真实数据,此处为说明目的描绘了正电子发射断层扫描(PET)、光学相干断层扫描(OCT)和光学相干断层扫描血管成像(OCTA)扫描。该模型的输出包括疾病生物标志物。”
采集模式

已经开发了多种高光谱成像方法[11,13,14,15,16]。由于成像传感器通常收集二维信息,而高光谱成像数据是三维的,因此两个维度是同时捕获的,而第三个维度是通过扫描获得的。空间扫描方法,通常称为推帚式扫描仪,涉及在空间维度上以“扫掠”运动逐点或逐行扫描。这通常导致低帧率和较长的采集时间[14]。

查看全文: 点击查看原文 |
⏰ 发布时间: 2024年05月22日

【中国】优化皮肤病诊断:利用对比学习和聚类技术挖掘在线社区数据

【编者按】

人工智能正重塑皮肤科诊疗格局。研究表明,大多数皮肤科医生已准备好拥抱AI工具,以提升诊疗效率与精准度。对患者而言,AI驱动的图像识别技术能实现皮肤病变的早期筛查,为及时干预赢得宝贵时间。这种技术革新不仅优化了医疗资源配置,更构建起从临床诊断到公共卫生管理的智能闭环,标志着皮肤病防治进入精准医疗新阶段。

figure 4
研究背景
“研究表明,大多数皮肤科医生愿意采用AI工具来提高时间效率、诊断准确性和患者管理。”

此外,对于普通患者而言,在线论坛为他们提供了讨论健康问题(包括皮肤病)的平台。使用基于图像的适当AI工具可以让患者及早发现和治疗潜在疾病。及时诊断和治疗罕见及传染性皮肤病具有重要的临床价值,因为它们可以促使皮肤科医生制定适当的治疗方案,改善患者体验,降低长期后遗症的风险,并减少严重皮肤不良反应或侵袭性皮肤癌的发生率和死亡率。在宏观层面,这将有助于医疗资源的最佳利用,包括针对性治疗和适当转诊至专科医生。这可以缓解医疗系统的压力,并最大限度地减少医疗资源的浪费。此外,AI诊断信息可以更直接、系统地整合到其他系统中,为公共卫生干预、政策制定和资源分配提供信息。

figure 1
研究摘要

皮肤病在中国构成了重大挑战。互联网健康论坛为数百万用户提供了讨论皮肤病和分享图像以进行早期干预的平台,留下了大量有价值的皮肤病学图像。然而,数据质量和标注问题限制了这些资源在开发诊断模型方面的潜力。在本研究中,我们提出了一种深度学习模型,利用来自不同在线来源的未标注皮肤病学图像。我们采用对比学习方法从未标记图像中学习通用表示,并对来自互联网论坛的粗略标注图像进行微调。我们的模型能够分类22种常见皮肤病。为了提高标注质量,我们使用了一种聚类方法,配合少量标准化验证图像。我们在由来自15家三甲医院的33名经验丰富的皮肤科医生收集的图像上测试了该模型,并实现了45.05%的top-1准确率,比已发布的基线模型高出3%。准确率随着额外验证图像的加入而提高,在每类50张图像时达到49.64%。我们的模型还展示了对新任务的可迁移性,例如检测猴痘,在训练过程中仅使用50张额外图像就实现了61.76%的top-1准确率。我们还在基准数据集上测试了我们的模型,以展示其泛化能力。我们的发现凸显了在线论坛中未标注图像在未来皮肤病学应用中的潜力,并证明了我们的模型在早期诊断和潜在疫情缓解方面的有效性。

figure 3
引言

皮肤病在中国构成了重大挑战。每年有多达2.4亿次皮肤科就诊,其中80%是针对黑色素瘤以外的皮肤病。然而,医疗资源分布不均和皮肤科医生短缺可能导致误诊和医疗成本上升。为了改善预后并降低社会成本,准确、便捷地诊断皮肤病至关重要。由于摄影在诊断中的广泛使用,人工智能在皮肤病学中显示出巨大潜力。然而,大多数AI应用专注于良性和恶性病变的诊断,使得AI在更广泛皮肤病领域的潜力在很大程度上尚未被探索。

figure 5

使用机器学习方法及其基于照片的卷积神经网络深度学习分支进行皮肤病诊断已受到广泛关注。虽然高质量图像对于训练AI模型至关重要,但收集这些图像的人工成本可能极其昂贵。幸运的是,自监督对比学习的最新进展提供了一个解决方案。这些方法能够使用大量未标记或非严格标记的图像对模型进行预训练,并在各种任务中表现出色。先前已有研究探索对比学习在皮肤病诊断中的应用,强调其提取一致表示以及增强泛化能力和诊断准确性的能力。

查看全文: 点击查看原文 |
⏰ 发布时间: 2024年02月08日