吴 俊
(宣城职业技术学院护理系,安徽 宣城 242000)
医学图像的自动分割是指在正常人体组织结构和病灶等部位的医学影像图中提取感兴趣区域。目前常见的影像图图像分割技术为人工分割、半人工分割、自动分割。深度神经网络避免了传统图像分割中计算复杂等问题,成为了目前影像图像分割中最成熟的方法。Unet网络是一种在医学图像分割领域最常用到的网络结构,现阶段Unet网络已经被优化为Attention-Unet,Dense-Unet等。高翾等学者分析了深度学习方法的原理及其在医学影像学领域的研究现状,着重讨论了其在医学影像学领域运用的影响因素[3]。蒋启红等研究人员分析了目前影像组学在肝细胞癌诊疗中的研究进展,包括肝细胞癌的诊断及鉴别诊断、基因表型及分子标记物的预测、疗效监测及预后预测、基于深度学习应用方面的研究[4]。鉴于医学影像图语义简单、多模态、数据量少等特点,研究以脑部肿瘤影像为例,提出应用改进Unet网络进行图像分割,旨在为影像图像分析提供建设性的参考意见。
1.1 密集跳跃连接和残差网络改进
跳跃链接对完整空间分辨能力的恢复具有的积极的意义,它使得全卷积的方法在语义分割中具有较高的适用性。跳跃连接在密集网络、残差网络等神经网络中有着广泛的应用。传统的L神经网络的连接个数为L,密集跳跃连接的连接L×(L+1)/2,每层和前面所有层进行紧密连接,即密集连接。密集跳跃连接认为,输入为每个图层前面图层的要素图,而每个图层的要素图可作为输入传递给后续的图层[5-7]。密集跳跃连接的正向传播还包括跨层连接xl,计算公式为式(1):
xl=Hl([x0,x1,…xl])
(1)
式(1)中,[x0,x1,…xl]是指所有前面层的输出串联值,Hl是指l层的非线性变换。密集跳跃连接能极大程度避免学习复杂特征,通过低级和高级特征两者之间的信息流得到更好的性能。与此同时,密集跳跃连接能处理梯度消失的问题,这能强化特征的传播。
目前残差网络在网格深度优化方面,训练集的准确率会随着网络层数的增加而增加,这种现象被称为退化问题[8-10]。为了优化梯度爆炸和梯度消失问题,研究提出了一种结合注意力机制、残差网络、软阈值函数的改进残差网络。改进的残差网络通过注意力机制关注到非重要特征和软阈值函数设置0方式,能有效从图像中获取有价值的特征。设置阈值阶段需满足正数、小于输入的最大值两个条件。软阈值的计算公式为式(2):
(2)
式(2)中,x和y分别指输入值和输出值,τ是指阈值。根据软阈值化导数公式可知,导数值为0和1,这和Relu函数的性质相似。软阈值化不仅能降低深度学习算法中的梯度弥散和梯度消散,还能避免网络噪声的影响。
图1 注意力机制和改进残差模块的示意图
研究采用的注意力机制为Squeeze-and- Excitation Networks(SENet)模型,该模型将小型网络学习获得的权值系数应用在各个特征通道的加权。首先,利用Squeeze操作完成特征映射聚合,并形成channel描述符。然后利用Excitation操作完成对channel描述符的重新加权,使得无用的信息能够快速被排除和保障有用的信息。最后,通过scale操作的reweight channel完成特征图输入的加权。SENet模型的具体来说,输入包含W*H*C的特征图,其一,完成Squeeze操作。通过global average 池化层对特征图进行压缩处理,得到输出结果为1*1*C。其二,完成Excitation操作。通过全连接层+Relu+全连接层+Sigmoid对特征图进行非线性或线性变换得到每个channel的weight。采用两个全连接层的目的是学习到每个channel的相关性。依据前人的研究经验,压缩比例设置为16时,计算量和整体性能最为平衡。其三,利用channel的weight 进行处理,完成对特征图的加权。注意力机制的结构如图1(a)所示。改进的残差网络为多层残差,每一层都包括一个3×3的卷积层、归一化层FRN(Filter Response NormaLization)、激活层TLU(Thresholded Linear Unit),具体结构如图1(b)所示。
1.2 改进Unet网络的脑部肿瘤影像图像分割
脑部肿瘤分割目前的挑战主要来源两种,分别是采集图像过程中核磁共振成像(Nuclear Magnetic Resonance Imaging,NMRI)中普遍存在噪声和运动伪影和肿瘤的解剖变异和正常组织提升了分割难度。但相较于电子计算机断层扫描图像,NMIR图像的图像分割具有以下优点。其一,NMRI图像的三维图像能获取冠状面、轴面、矢状面的信息,最大程度确保相邻切片间脑组织的信息连续性。其二,NMRI图像通过多模态成像给每个体素提供多种模态信息。Unet网络的核心思想是借助连续层扩充普通的收缩网络,包括特征提取和上采样两个部分,能将领域内的状态信息传递给更高分辨率层,这通过更大数量的特征通道实现。但Unet网络的层数越深越容易导致网络性能的退化,且不能很好排除拍摄角度或病灶区域等噪声[11-13]。研究提出一种改进Unet网络的脑部肿瘤影像图像分割方法,即残差-密集跳跃连接-Unet网络。将原始卷积模块优化为密集跳跃连接和残差模块,具体表现为解码路径、跳跃连接、编码路径,这不仅能提高网络的性能,也能提升特征的采集率。网络仍然为传统的Unet网络结构,即端对端的网络结构。编码器组成为最大池化层和多个残差模块。每个残差块包括2个3×3的卷积层,2个FRN,2个TLU,1个软阈值函数,1个注意力机制。最大池化层设置为2×2,能对特定维度进行池化处理,大小设置为2×2,。跳跃连接采用密集跳跃连接,其可分为短连接和长连接。长连接可对同一行首尾的残差块进行连接;短连接能完成同一行中间部分的残差块连接。解码器通过残差块、上采样层组成,其中,上采样的尺寸为2×2。
表1 改进Unet网络的改进策略
卷积网络训练分为向前传播、损失计算、反向传播、权重更新四个环节。目前常见的深度学习训练模型为批量归一化 BN(Batch Normalization)层,但BN层在训练过程中过度依赖训练批次。当训练批次较小时,模型的性能较差[14-15]。但受限于硬件条件的限制,当训练模型较大时,训练批次难以增大。研究采用FRN作为标准层,FRN层包含激活层TLU和归一化层FRN。FRN标准层能防止训练模型过程中对训练批次的依赖,且在较大训练模型的情况下表现出较大的优势。训练模型过程中,FRN层能很好完成缩放和平移。但由于FRN缺乏均值操作,这会造成归一化处理的最终结果偏向0,基于此,研究采用阈值化的Relu 函数,计算表达式为式(3):
z=max(y,τ)=Relu(y-τ)+t
(3)
式(3)中,可学习的参数为t。
模型的损失函数为结合Dice系数损失和交叉熵损失的混合损失函数。混合损失函数Loss的计算公式为式(4):
(4)
式(4)中,N指表示训练批次中的像素的数量,C是指类的数量,第n个像素和第c类的预测概率用pn,c指代,第n个像素和第c类的目标标签用yn,c指代。
研究选取BraTS2018数据集中的部分数据进行肿瘤影像图像分割效果分析,数据集包括低级别和高级别胶质瘤两种患者的NMRI图像,数据集包括背景、坏死、水肿、增强肿瘤四个标签。为了便于图像分割效果评价,研究划分为三个二元子区域,分别是增强肿瘤 (Enhancing tumor core,ET)、肿瘤核心(Tumor core,TC) 、全肿瘤(The whole tumor ,WT) 区域。设置训练批次为80,学习率为0.001。低级别和高级别胶质瘤患者的分割图如图2所示。从图中可知,Unet网络能实现分割背景和分割任务,但整体肿瘤区域边缘模糊,部分肿瘤区域分割出现错误,分割效果一般。残差-Unet网络的分割效果在边缘分割方面较为理想,但存在过度分割的现象。而研究提出的残差-密集跳跃连接-Unet网络具有极高的分割效率,能降低特征信息的丢失,有效分割出边界区域。
研究采用Hausdorff距离、敏感度、特异性、Dice系数四个评价指标对肿瘤分割效果进行评价,结果如图3所示。整体来看,相较于Unet、残差-Unet两种网络,残差-密集跳跃-Unet在Hausdorff距离、敏感度、特异性、Dice四个指标方面均具有极高的性能,这是因为研究所提出的方法将解码器和编码器改进成了残差网络,且通过密集跳跃连接避免学习复杂特征进而降低参数的数量,解决梯度消失的问题。分割结果显示,WT,TC,ET的Dice分别为0.846,0.813,0.804。而对于Unet、残差-Unet两种网络来说,残差-Unet网络的性能更优于Unet网络,这主要表现为特异性、Dice,Hausdorff距离。
为了进一步验证所提出的肿瘤影像图像分割效果,研究采用的对比影像图像分割方法为标记不确定的密集连接神经网络(方法1)、注意力信息和上下文信息的神经网络(方法2)、测试时间增强的神经网络(方法3),结果如图4所示。相较于其他影像图像分割算法,残差-密集跳跃-Unet网络(新方法)的Hausdorff距离、敏感度、特异性、Dice四个指标均更佳。Hausdorff距离的降低值范围为0.139～1.061,灵敏度的提升取值范围为0.006～0.999,特异性的提升取值范围为0.017～0.092,Dice的提升取值范围为0.013～0.110。因此,研究所提出的肿瘤影像图像分割方法分割效果更为精细,其不仅能避免上下文信息遗漏,也能很好地处理过拟合和欠拟合的现象。
图3 三种网络的肿瘤影像图像分割效果
图4 四种影像图像分割方法的对比效果
现阶段自动分割凭借着优秀的计算机图像处理技术能提升分割速度,但成像技术中的噪声多、对比度低等问题给医学图像分割带来了极大的挑战。研究提出一种改进Unet网络的脑部肿瘤影像图像分割。残差-密集跳跃连接-Unet网络在WT,TC,ET区域的Dice分别为0.846,0.813,0.804,特异性分别为0.868,0.887,0.829,灵敏度分别为0.888,0.925,0.832,Hausdorff距离分别为2.545,1.621,2.624。Hausdorff距离的降低值范围为0.139～1.061,灵敏度的提升取值范围为0.006～0.999,特异性的提升取值范围为0.017～0.092,Dice的提升取值范围为0.013～0.110。残差-密集跳跃连接-Unet网络能降低特征信息的丢失和快速分割出边界区域,值得广泛应用于临床医学影像图像的分割。
猜你喜欢密集残差阈值基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23耕地保护政策密集出台今日农业(2021年9期)2021-11-26密集恐惧症英语文摘(2021年2期)2021-07-22基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-14小波阈值去噪在深小孔钻削声发射信号处理中的应用制造技术与机床(2019年9期)2019-09-10基于递归残差网络的图像超分辨率重建自动化学报(2019年6期)2019-07-23基于自适应阈值和连通域的隧道裂缝提取西南交通大学学报(2018年6期)2018-12-18基于5G超密集组网的规划与设计电子测试(2018年4期)2018-05-09比值遥感蚀变信息提取及阈值确定（插图）河北遥感(2017年2期)2017-08-07室内表面平均氡析出率阈值探讨衡阳师范学院学报(2016年3期)2016-07-10