我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:王中王 > 定量图像分析 >

基于多尺度图像增强结合卷积神经网络的纸病识别分类

归档日期:04-17       文本归类:定量图像分析      文章编辑:爱尚语录

  摘 要: 针对造纸工业中传统纸病识别分类依赖于特征描述子和分类器的选择问题,提出一种多尺度图像增强结合卷积神经网络的纸病识别分类方法。该方法利用多尺度形态学梯度增强纸病图像的边缘轮廓信息,突出缺陷梯度特征,然后利用卷积神经网络 ( CNN) 学习纸病图像的特征并分类识别,从而实现纸病的准确识别分类。实验结果表明,该方法对纸病识别分类的结果明显优于 HOG +SVM、LBP + SVM 以及传统 CNN 方法,在 Caltech101、KTH-TIPS 以及本课题的数据集上的分类正确识别率分别达到 98. 44% 、99. 23% 和 99. 64% 。与现有纸病识别分类方法相比,本课题方法不需针对各种纸病进行缺陷特征提取和特征描述,能快速实现纸病的准确识别分类。

  特征提取是模式识别的关键步骤,在图像分析和模式识别中有着重要应用。传统的图像分类方法首先需要定义特征描述子,再根据定义好的特征描述子进行特征提取并分类[1-2]。针对造纸行业中的纸病分类问题,由于实际纸张图像容易受光照、环境等因素影响,使得纸病检测研究问题、纸病特征提取及纸病识别分类成为造纸行业中的热点[3]。目前,学者们已 经提出了多种纸病识别分类算法。袁浩等人[4]通过 对纸病图像进行特征选择,提出将支持向量机应用于纸病识别分类,但纸病图像灰度表现单一,且受光照因素影响存在亮度上的变化,导致分类效果不理想。因此,胡慕伊等人[5]根据不同纸张缺陷图像的灰度特征,利用动态双阈值分割纸张缺陷区域,提取缺陷 特征并进行识别分类,然而阈值分割需要对不同的纸 张缺陷设置不同的阈值,导致参数设置困难。为了降 低参数设置复杂度,张刚强等人[6]利用 Hough 变换检测直线特征的方法对纸张缺陷进行识别分类,该方法在缺陷形状为线型时识别效果较好,但不适用于大多数非线型形状的纸张缺陷识别分类。为了提高纸病分类算法的鲁棒性,杨雁南等人[7]提出利用模糊融合器对纸病的多种特征值进行特征层融合,利用径向基神经网络对纸病图像进行识别分类,扩大了纸病辨识的范围,但提取的特征单一且为浅层特征,从而导致分类精度较低。为此,罗磊等人[8]利用 LBP ( Lo- cial Binary Pattern,局部二进制模式) 提取纸张缺陷特征并进行识别分类,但由于 LBP 方法对纸张表面图像纹理清晰度要求较高,需要复杂的预处理算法。

  近来,吴一全等人[9]提出一种基于 Krawtchouk矩不变量和小波支持向量机的纸病识别分类方法,通过计算纸病图像的 Krawtchouk 矩不变量来构造纸病图像的特征向量,根据训练样本的特征向量构造支持 向量机,对纸病进行识别分类,然而该方法的计算复 杂性较高。为了进一步提高缺陷辨识精度,周强等人[10]提出利用二维小波变换去噪、奇异值分解方法提取纸病特征并进行识别分类,有效提高了识别分类 精度。

  针对传统图像分类方法依赖于特征描述子的问题,Hinton 等人[11-12]提出的深度学习能够分层学习图像特征,有效避免传统图像分类方法依赖于人工特征描述子的问题,在图像处理及计算机视觉等众多领域中得到了广泛应用。作为深度学习的代表性模型,卷积神经网络 ( CNN) 能自动学习图像特征,对复杂图像的形状特征、纹理特征、颜色特征以及空间关系特征进行深层特征提取[13]并分类,通常可获得比传统特征提取方法更好的分类效果。2012 年,Alex K 等人[14]采用深度卷积网络对 Ima-geNet 分类,错误率 15. 3% 。2014 年,Szegedy C 等人[15]提出了一个包含 22 层的 GoogleNet 对 ImageNet 分类, 将错误率降至 6. 67% 。2016 年, He K 等人[16]提出的 152 层残差网络 ( ResNet) 将错误率进一步降低到 3. 57% 。

  鉴于 CNN 在图像特征学习及分类方面的巨大优势[12-17],本课题提出了一种多尺度图像增强结合卷 积神经网络的纸病识别分类方法。形态学中小尺度结 构

  素的优点,且形态学对边缘方向 性依赖小,使得图像能保持较强的对比度。本课题利 用多尺度梯度增强纸病图像中缺陷边缘轮廓信息,同 时利用 CNN 能够自动学习图像特征的优势,对纸病图像进行特征提取并识别分类,主要解决现有的纸病识别分类方法依赖于特征描述子和分类器选择、特征 计算复杂等问题。实验结果表明,本课题提出的方法 对不同纸病数据集获得了更高的分类精度,能有效降 低纸病分类识别的错误率。

  本课题主要目的: ①将 CNN 应用在纸病识别分类中,解决传统方法存在纸病特征提取困难、分类精 度低的问题; ②将多尺度形态学梯度应用于纸病图像增强,解决传统 CNN 方法直接应用于纸病识别分类 存在深层特征学习困难导致纸病分类精度较低的问 题; ③与传统方法相比,在保证计算效率的前提下, 给出的方法有效提高了纸病识别率。进一步证明深度CNN 对于分类准确性是有利的,同时表明 CNN 在缺陷图像多类别目标的识别分类中具有较好的实用性, 克服了传统方法的不足[17]。

  传统的识别分类方法是基于对采集到的纸病图像 进行定量化特征提取,用分类器直接对提取特征进行 分类,得到分类结果,进而对纸病的分类信息进行统 计分析[3],针对造成具体纸病的原因,采取改进造纸生产过程中不合理或操作管理不当等措施,提高纸 张质量。

  图 1 为传统纸病识别分类流程。从图 1 可知,预先定义特征描述子,进行纸张缺陷特征提取和特征描述计算,用以训练分类器模型,之后基于定义特征和分类器模型,对测试图像进行特征提取并识别分类。首先传统的识别分类方法中的特征描述子包含大量的先验知识,其进行特征提取的主要问题是识别的准确性很大程度上取决于该特征描述子是否具有描述某些特征的能力[21-23],但对多数图像而言,固定的特征描述子难以提取到图像的完整信息; 其次,传统识别分类方法的特征计算复杂,提取到的特征单一且为图像的底层特征。因此,为了获取更好的图像特征, 需要提取纸病图像的深层语义特征,由此提取到的特征更有利于纸病识别分类。

  针对传统的纸病识别分类方法依赖于传统特征描述子、特征计算复杂等问题,本课题提出一种多尺度图像增强结合 CNN 用于纸病识别分类的方法。对特征提取步骤而言,传统 CNN 可以提取到图像的深层特征信息,深层的网络能提取到更全面的高维特征。通过对图像的形状特征、纹理特征、颜色特征以及空间关系特征的深层特征信息进行特征提取并识别分 类,能获得比传统分类方法更好的识别效果。

  对纸病而言,不同的纸病表现在形状特征、灰度特征以及纸病边缘特征信息的不同,比如黑斑、孔洞、毯痕、褶皱。而实际中纸病图像纹理简单,背景单一,大多数纸病缺陷边缘轮廓清晰度不高,同时都属于少量缺陷。直接用 CNN 对其进行特征提取,提取到的缺陷特征信息占整幅图像的特征信息比例较 小、特征有效率较低,导致识别效果不理想。因此, 结合具体纸病进行分析后,本课题利用多尺度图像增强方法,突出纸病轮廓梯度特征,进而增强纸病轮廓清晰度,之后再利用 CNN 进行特征提取,有利于提取到纸病信息,更有利于纸病的识别分类。

  本课题方法的总体框图如图 2 所示。从图 2 可知,首先计算多尺度形态学梯度,对输入图像进行不 同尺度形态学梯度运算,得到多个尺度下的形态学梯 度图像; 然后,对不同尺度下的梯度图像加权融合得到最终的多尺度形态学梯度图像,将多尺度形态学梯 度图像与纸张缺陷图像进行融合实现图像增强,输入 至 CNN 训练模型; 最后,将训练集输入到 CNN 模型,进行纸病图像的特征提取并准确识别分类。

  由于纸病图像纹理简单,背景单一,大多数纸病 缺陷边缘轮廓清晰度不高,为了突出纸病轮廓梯度特 征,提高纸病轮廓清晰度,有利于 CNN 提取到有效特征,所以对纸病图像进行梯度增强。

  梯度图像在沿图像目标区域的边缘处有较高的值,在背景区域的梯度值较低,能够很好地突出灰度 值变化比较大的边界区域。因此将梯度图像与纸病图 像进行融合实现梯度图像增强,突出梯度特征的同时 保留了原始图片特征信息、纸病的部分背景信息和缺 陷周边特征信息,之后输入 CNN 进行特征提取并识别分类。

  图 3 为三种算子对应的纸病的各梯度增强图像。从图 3 可以看出,图像的边缘轮廓清晰度相对原图有所提升,但各算子对缺陷边缘方向性依赖比较大。Canny 算子和Prewitt 算子比Sobel 算子的抑噪能力强, 容易平滑掉一些边缘信息,且所用算子为固定尺度的结构

  Canny 算子和 Prewitt 算子抑制噪声能力强,但增强效果有限。Sobel 算子增强效果明显,但对噪声比较敏感。针对传统梯度增强方法存在的问题,由于形 态学梯度对边缘方向性依赖小,且能保持较强的对比 度[26-28],所以本课题拟采用形态学梯度函数进行图 像增强。

  素领域中像素的强度,突出高亮区 域的外围。常用膨胀后的图像减去腐蚀后的图像作为梯度图像。一幅图像的单尺度形态学梯度表示为grad,见式 ( 1) 。

  式中,⊕和 Θ 分别表示膨胀和腐蚀的运算符号; f( x,y) 为原始图像,se( x,y) 为结构

  素对原始图像进行形 态学梯度运算,并重构各梯度图像,通过对不同尺度 形态学梯度图像加权融合取均值,得到最终的多尺度 形态学梯度图像。一幅图像的多尺度形态学梯度图像 表示为 Multi_ Grad,见式 ( 2) 。

  素序列。多尺度形态学使用均值思想,具有较强鲁棒性 的同时,减小了噪声对图像的影响。式 ( 2) 中的结构

  素可以为任意形状,且满足关系 se0  se1  se2…  sen 。

  相同种类的纸张缺陷图像的周边信息特征具有一致性,为了增强纸病的边缘轮廓信息和梯度特征信息,同时保留原始图像的背景信息和纸病周边特征信 息,因此提出将多尺度形态学特征图像与原始图像加 权融合实现图像增强[22],增强图像梯度特征和边缘特征,之后将增强图像输入至 CNN 进行特征提取并识别分类。结合式 ( 2) 得最终输入至网络的图像为Multi_ Grad_ Input [f ( x,y) ],见式 ( 3) 。

  利用多尺度形态学得到多尺度形态学梯度图像( 见图 4) ,其中 MSMG 为多尺度形态学梯度图像。

  对比图 4 与图 3 的梯度增强图像可以发现,多尺度形态学方法处理后的缺陷轮廓信息有所提高,对比 度也随之增强,周边信息得到细化,作为 CNN 的输入进行缺陷特征提取,更能代表纸病图像的特征信息。首先,形态学梯度在兼有梯度图像优点下,还具 有对边缘方向性依赖小,达到增强梯度特征、边缘轮 廓特征的目的的优势。其次,形态学梯度与各种空间 梯度算子有区别,当使用对称结构

  素时,其对边缘 方向依赖性与空间增强技术中梯度算子的边缘方向依 赖性更小。由于圆盘状结构

  素具有各个方向同性的 性质,且适合目标有弧度的图像的梯度信息提取,结 合纸病图像的缺陷形状,因此本课题选择采用圆形结 构

  根据图 2,对于增强后的纸张图像采用 CNN 进行纸病特征学习并识别分类。由于增强后的纸病图像 对比度明显,能突出纸病缺陷的梯度特征和边缘信息 特征。提取到的特征有效率较高,因此更有利于纸病 识别分类。

  CNN 是一种处理二维输入数据的前馈神经网络, 与传统神经网络一样使用反向传播算法训练修正参 数,区别在于网络的结构,CNN 包含了若干个由卷积层和池化层构成的特征提取器[24]。本课题用 Alex-Net 网络模型进行特征提取。图 5 是简单的 CNN 图像分类框架。Ci 表示第 i 卷积层,Sj 表示第 j 池化层。

  卷积层是 CNN 的特征提取层,卷积层的每一个特征图是前一层的特征图与卷积核进行滤波卷积和, 增加偏置项的结果,通过卷积操作提取图像的局部特征[24-25],第 l 层特征图的计算可表示为式 ( 4) 。

  式中,Nl 表示第 l 层的特征映射数量; h 为网络输入; hlj 表示第 l 卷积层中第 j 个特征映射; Wl ij表示第 l - 1 层的第 i 个特征映射至第 l 层的第 j 个神经

  的网络权重,权重大小确定了运算区域的大小; bl 表示第 l 层中第 j 个特征映射层的偏置; Φ ( ·) 为激活函数。

  池化层为下采样特征映射层,通过降低特征的分辨率,来防止过拟合。同时减少网络参数和保持图像 平移、伸缩和旋转不变形,能计算图像局部特征并对 图像不同位置的特征进行聚合统计[24-25],得到其特 征表达。采用最大池化方法,第 l + 1 层的特征图可表示如式 ( 5) 所示。

  AlexNet 深度网络模型如图 6 所示,其中前 5 层( C1 ~ C5) 是特征提取层,Ci 表示第 i 卷积层,用以在保持图像平移、伸缩和旋转不变形的情况下进行图 像特征提取。后面 3 层为全连接层,Fj 表示第 j 全连接层,实现对纸病图像的特征学习、特征提取并识别分类。

  基于 AlexNet 深度网络模型,对纸病进行特征学习,将孔洞纸病图像和其增强图像输入至 CNN 中进行特征提取,各卷积层结果如图 7 所示。从图 7 中的图像对比可以看出,本课题方法使孔洞纸病整体对比 度提高,且轮廓边缘清晰。

  本课题基于多尺度图像增强结合 CNN 的纸病识别分类算法,结合小尺度结构

  的优 点,利用数学形态学方法计算纸病图像的形态学梯度 图像,对不同尺度下的形态学梯度图像加权融合取均 值,得最终的多尺度形态学梯度图像。输入至 CNN中进行特征提取并识别分类。

  ( 2) 初始化,给定程序的运行参数,sei 为第 i 尺度对应的结构

  ( 3) 利用形态学方法对输入图像进行不同尺度形态学梯度运算,得到多个尺度下的形态学梯度图像; G ( i) 表示尺度 i 的形态学梯度图像,见式 ( 6) 。

  ( 4) 对不同尺度下的形态学梯度图像加权融合,得最终的多尺度形态学梯度图像 MG ; n 表示尺度数目,见式 ( 7) 。

  ( 7) 将测试集对应的增强图像,输入至训练好的模型上进行纸病特征提取并识别分类,得训练集数 据对应的预测标签。

  实验研究了通过纸病识别分类来验证本课题算法的可行性。实验选择共 400 张 227 * 227 * 3 纸病图像,各类纸病 100 张,对数据集按 0. 8 比例随机划分训练集和测试集。对比纸病预测类别标签与实际类别标签, 对实现结果进行评价, 实验在 CPU: Intel ( TM) i7-6700U 处理器,16G 内存,NVIDIA Quadro K620 显卡的硬件环境和 Matlab2017a 的软件环境下运行。

  本课题方法利用多尺度形态学实现纸病图像增强,在增强纸病图像的边缘轮廓信息和梯度特征的同 时,保留了原图的背景信息和缺陷目标周边特征信息,增强了图像梯度特征和缺陷边缘轮廓特征,由此提取到的特征更有利于纸病识别分类, 进而实现CNN 的特征提取并识别分类,能提高识别分类精度。

  为了更清晰地观察和分析各类图像正确分类的个数及与某个类别容易混淆造成错分的类别,实验利用 混淆矩阵对正确分类的图像个数进行表征,其中混淆 矩阵的 X 轴和 Y 轴均表示纸病类别,第 i 行第 j 列的值代表第 i 类纸病被分为第 j 类的个数比例,混淆矩阵对角线上的

  素值表示对应纸病正确识别分类的比 例,对测试集纸病图像进行分类得到正确识别率。结 果如表 1 所示。

  从表 1 实验结果可以看出,CNN 耗时明显优于HOG + SVM 和 LBP + SVM,本课题算法在纸病识别分类中正确识别率达到 99. 64% ,比传统 CNN 方法提高了 0. 89 个百分点,明显优于其他算子的梯度增强方法和传统 CNN 方法。实现了在保证不影响耗时的前提下,对纸病进行准确快速识别分类,具有分类 精度高、耗时少的优势,因此在纸病识别分类应用方 面具有一定的可行性。

  Caltech101 是一个图像物体识别数据集, 包含101 类物体的图像,每个类别中最小包含 31 张图像。

  随机划分训练集 2505 张图像,测试集 626 张图像; KTH-TIPS 是一个在不同的光照、角度和尺度下拍摄的不同材质表面纹理图片,总共 10 类纹理图像,每类 81 张图像,随机划分训练集 648 张图像,测试集162。两种数据集多用于图像识别分类,在各数据集上用以上方法进行对比实验,实验结果见表 2。从表2 可以看出,与其他算子的梯度增强方法和传统 CNN 方法相比,本课题的多尺度图像增强结合 CNN 分类方法有较高的分类精度,对两种数据集的分类正确识 别率分别达到了 98. 44% 和 99. 23% 。同时,耗时少于传统方法。证明了本课题方法的优越性和实用性。

  本课题将卷积神经网络 ( CNN) 应用在纸病识别分类中,能快速实现纸病图像的特征提取并准确识 别分类; 同时提出一种多尺度图像增强结合 CNN 的纸病识别分类方法,解决传统纸病识别分类依赖于传 统特征描述子和分类器选择、特征计算复杂等问题。实验结果表明,在保证计算效率的前提下,本课题提 出的方法在纸病数据集上的分类正确识别率达到了99. 64% ,比传统 CNN 方法提高了 0. 89 个百分点, 降低了错误率。且在 Caltech101、KTH-TIPS 数据集上的分类正确识别率分别达到 98. 44% 和 99. 23% ,进一步验证了方法的可行性和有效性。不足之处是所 分类识别对象仅为 4 种纸张缺陷,下一步的研究方向可以改进 CNN 的结构以提高其泛化能力,应用到多种纸病中。

本文链接:http://brazil-run.com/dingliangtuxiangfenxi/72.html