【编者按】
人工智能正为皮肤癌诊断带来革命性突破。本期推介的研究创新性地将视觉Transformer与DenseNet169深度融合,通过全局注意力机制与局部特征提取的协同作用,在皮肤镜图像分类领域取得重要进展。这种兼顾整体与细节的混合模型架构,为提升皮肤病变诊断的准确性和可靠性开辟了新路径,展现了AI在医疗影像分析中的巨大潜力。

所提出的架构将EViT与DenseNet169集成,以利用全局上下文和细粒度局部特征。EViT编码器组件包括六个基于注意力的编码器块,由多头自注意力(MHSA)机制和层归一化赋能,实现高效的全局空间理解。为了保留在补丁分割过程中丢失的局部空间连续性,我们引入了空间细节增强块(SDEB),包含三个并行卷积层,后接融合层。这些层重建了边缘、边界和纹理细节,这些对病变检测至关重要。经过修改以适应皮肤镜数据的DenseNet19骨干网络提取局部特征,补充全局注意力特征。EViT和DenseNet169的输出被展平并通过逐元素相加融合,随后通过多层感知器(MLP)和softmax层进行七个皮肤病变类别的最终分类。
混合EViT-Dens169模型通过有效融合全局和局部特征,为早期皮肤癌检测提供了稳健解决方案。
皮肤癌是世界上最常见的癌症类型之一,主要由阳光中的紫外线(UV)辐射引起。常见的皮肤癌形式包括基底细胞癌(BCC)、鳞状细胞癌(SCC)和恶性黑色素瘤,这些因其快速转移能力而具有侵袭性。尽管有从手术切除、放射治疗到免疫治疗等多种治疗方法可用,但检测仍然是降低早期死亡率的重要因素。传统上,皮肤癌的诊断基于皮肤科医生的视觉检查,有时使用皮肤镜成像作为支持,以放大肉眼可能看不见的皮肤特征和结构。皮肤镜使皮肤科医生能够观察一组皮肤病变特有的模式、颜色和纹理,从而提高了诊断准确性。然而,使用皮肤镜进行手动诊断存在若干限制。首先,许多早期恶性病变由于其高度视觉相似性经常被误诊为良性。医生诊断存在显著程度的变异性,特别是在皮肤科培训有限的普通医生中。经验丰富的皮肤科医生短缺是提供适当及时评估的重要障碍,特别是在农村或资源受限的环境中。近年来,人工智能系统,特别是深度学习模型,已成为医学图像分析的工具。深度学习模型具有分析大量皮肤图像数据集的卓越能力,能够独立学习指示不同皮肤状况的模式。这些系统提供一致的评估,减少主观解释,并扩大诊断范围。CNN由于能够提取分层特征而在特征提取方面非常有效。这些多个卷积和池化层使卷积神经网络能够捕获低频或高频特征。初始层提取基本形状和纹理,如颜色和纹理。相比之下,更深层提取复杂特征,如不规则病变边界、不对称性和色素异常,这些对皮肤病学诊断是必要的。然而,CNN仅限于提取局部特征。为了解决这个问题,ViT模型被引入。与CNN不同,ViT将图像分成一系列不重叠的补丁,附加到其线性嵌入中,馈入自注意力机制。这种能力使ViT模型能够捕获全局空间关联,从而考虑整个图像中的长距离依赖性和细微结构变化。CNN和ViT技术的互补性导致了混合模型的发展。
