基于视觉注意的全参考彩色图像质量评价方法
来源:我们爱旅游
j试验 与1i平价 技 i 文章编号:1671—4598(2017)06—0279—03 ‘c2 5( 6) DOI:10.16526/j.cnki.11—4762/tp.2017.06074 .。. 文献标识码:A 中图分类号:TP312 基于视觉注意的全参考彩色图像 质量评价方法 温 阳,夏小妹,杨 琳 (商洛学院电子信息与电气212程学院,陕西商洛 726000) 摘要:如何实现对图像质量的高效准确评价一直是图像和信号处理领域的一个关键问题,针对当前大多图像质量客观评价算法忽略 人眼视觉系统(HVS)的影响以及只考虑灰度图像质量评估的不足,提出一种基于视觉注意模型的全参考彩色图像质量评价(IQA)算 法;该算法将彩色图像视觉显著性(Vs)作为相似性特征与彩色图像多通道边缘强度相似性测度相结合,最终实现对彩色图像的质量评 估;LIVE2数据库中实验证明,该算法在复杂度、鲁棒性和与主观评价一致性方面都有明显优势。 关键词:彩色图像;全参考 视觉注意;边缘强度;质量评价 Full--Reference Color Image Quality Assessment Based on Visual Attention Wen Yang,Xia Xiaomei,Yang Lin (College of Electronic Information and Electrical Engineering,Shangluo University,Shangluo 726000,China) Abstract:How to achieve efficient and accurate evaluation of image quality is always a fundamental problem in image and signal process ing.While most of the current image quality assessment algorithms ignore the influence of human visual system(HVS)and only considering gray images.To solve this problem,a full reference color image quality assessment(IQA)model is proposed in this paper,which is based on color image visual attention(VS).The procedures involved in the presented method include computing the VS similarity and multi—channel edge intensity similarity between reference and distorted images.The experiments on LIVE2 show that the presented method has very high consistency with the psychological evaluation,and has obvious advantages in complexity,robustness and consistency comparing with subjec— tire evaluation. Keywords:color image;full reference;visual attention;structural similarity;quality evaluation 0 引言 随着图像处理技术需求的不断增加,推动了图像质量指标 (IQMS)设计的不断发展。当前的图像质量评价方法从实现 途径上主要包括主观评价和客观评价两种类型。主观评价由于 评估结果直接反应视觉感受,通常比较准确有效。但实施不 便,同时难以借助机器实现自动处理,结果也易受主观因素影 权SSIM(MSSIM)方法等也被相继提出。此外,目前现有大 部分图像质量评价指标都只应用灰度图像,忽视了彩色信息变 化对图像质量的影响。 研究HVs发现,观测图像时只有少数区域能吸引更多的 视觉注意,且每个区域对整体影响程度不同。因此在质量评估 过程中充分考虑HVS的感知特性对提升评估结果准确性有重 响。客观方式根据原始图像的参与程度,主要分为全参考型 (FR)、部分参考型(RR)和无参考型(NR)三种类型口]。 传统基于像素的IQA方法,如均方误差(MSE)和峰值 信噪比(PsNR),因物理意义比较明确、计算简单被图像处 理领域广泛使用_2]。然而由于没有考虑HVS对观测结果的影 响,与主观一致性较差。2004年,Wang等提出的结构相似性 测度(SSIM)E3]将图像的失真建模为亮度、对比度和结构三种 要意义,本文地IQA算法基于Vs模型,利用频率调制的视觉 显著模型来模拟人眼对彩色图像的关注区域,提高客观评价准 确性。本文中,我们假设图像的语义信息主要为每个像素的边 缘强度。最终,根据彩色图像的显著度和边缘强度的特点,提 出了一种基于视觉注意模型的彩色图像质量评价方法。 l 彩色图像显著度相似性测度 视觉注意是信息加工中的一项非常重要的心理调节机制, 因素的组合,评估性能很大程度优于PSNR和MSE,但因忽 视了图像的边缘信息,对模糊等失真类型图像敏感性差。随后 借助信息论出现了视觉信息保真度(VIF)的方法,多尺度加 收稿日期:201 6—12—29;修回日期:2017—01—16。 主要用于帮助人类从外界输入的大量信息中选择及保持其中的 有用信息,剔除无关信息的人类意识活动,同时也是人类实现 高效可靠的视觉感知的保障。现有显著性方法可以大致分为三 类,分别是基于生物学的、纯粹计算的,或是两者结合的方 式,基于生物学的有基于hti模型显著的快速现场分析,基于 纯粹的计算的有X.Hou和I .张提的显著性检测方法L4 。本 文中主要应用基于频率调制的显著度检测方法,虽然计算简 基金项目:2016年省级大学生创新创业训练计划项目(2688);商洛 学院科学研究项目(16SKY001);商洛市科学技术研究发展计划项目 (SK2016—52)。 作者简介:温 阳(1990一),女,河南南阳人,硕士研究生,教师,主 要从事模式识别,计算机视觉,图像质量评价方向的研究。 单,但是能够实现对彩色图像的整体显著区域检测,而不是单 的显著点,使人们更多的关注整个显著性区域而不是以前显 一著性论文所讲的只有一些注视点 。 ・ 28() ・ 25替 1.1 频率调制视觉注意模型 』听州 率州制lJ『】足川多个高斯差分的结合作为带通滤波器 求选择介通的坝 范….从而何效提取显著【=;(域。 体实观步 骤为:1)I【j j二人眼视觉观洲时对颜色比较炎沣,该算法 先 埘彩色【到像进行彩包 问转换.『} 1R(;H夺问转换到I ab空M, (b)parrots参考图显著陶 将 彩色分 和庇度分 分离;2)接荷埘 像进行岛斯滤波。 挟搿滤波 的 像.取 像素点的I,ab值1whc( ,v);:j) 然后计钟_f 像 I A1j空M的均伉 ;4)最后求恢氏距离. 僻刮6l} 。 于频 州捌的 度榆测方法流程圈如冈1 (c)parrots失真图 (d)paI-'FotS失真 强著 所小 “,y)¨I Iy)I I..f 醴 锢l1 频率蒯制视觉注意模型流程图 JCl{1均ff【滤波 数 : 『1)_J( n 一 1 1 r t 一 r专 ]一 ( ( _v. 1)一G( {._v. ) (1) …公 (1)町知.确定 l、 2便可得到・1\频带,但是 川 个} 钉 际带宽的频带去处理 像往往检测效果不佳。 l为无穷夫时.埘 像的滤波即为计 整幅图像的平均值, I斫 2取一 一个小的高斯核.叮以滤去・些噪声。以此为参数的 最分岛 滤波器处婵过的l冬I像保ff}J 较大的频率范 .即为令 分辨 的 并 . 此最终对于彩色 像,.其 蕾度计算公 为: s‘-.jr )一l lJ 一, ( ,_v)l l(2) rl :,..为 像,像索的几何均值.为 估纹理细节、噪 , 和编 5埘 像的影响,, 对j进行高斯模糊后的 像。 …J:彩色 像转换为I b夺问,故公式(2)可转换为: (J, ,, “ ) +(J..一,7 “72..) + (,,.~”zP“,h) (3) IfJ:,I., 干¨ 分别匈彩色 像的 ,“和6 通道分 f_ fJl f1],,J m 分)jlJ为彩色 像的,.“币1 】三通道 分艟的均ff{。 l{{ 2州。知.参孑 和埘心失真罔的显著 可知, 像 发,{ _,夫 时j£x、f心 嚣:【纠发qI 心改变;由parrots和bikes失 埘心的 ”J’工¨._、『,失 度不同时,其显著 政变程 俊小¨.火 越, 重. 对^ 显蔷图变化越大 因此, 像 嚣: nr以作为 价 像质f蠢的承要特 。 1.2显著度相似性 根据1.1 II所述彩也 像的{I 著发汁箅方法,分别提取参 号 像, 及火n 像, 的 著度『皋J s ,干¨s 。 最终,参 像和火真 像的卡H似度I可定义为S : 一 毒 c _ll:( v)为像求坐标位置.(、 为避免分母为零等异常 的lH 数。 (e)bikes参考圈 (f)bikes参考蚓显著嘲 (g)bikes失真图 (h)bikes失真圈显著 图2 彩色 像及其对应显著图 2边缘相似性测度 2.1 彩色图像边缘强度提取 边缘表示图像中语义刈象的边界的像素 台 。J} l1. 缘始终足 像中强度急剧变化或者间断的 置j 像案的策介. 图像质量的改变会对图像的边缘信息产牛不H程度的影响Ⅱ、 此.杜{据参考图像和失真图像中边缘信息的十f{似挂 ・r 刈 像质景的有效评估 f1前,已有许多方法可以拨取 像的边缘灶眨、然Illf. 缘提取内核的利1类和尺寸 IQA 天霞要. 住I~ 会 敛 /f 同的评估结果。1 7 巾f1_背洋细比较j 种卜要的 像怫J耍 内核(Prewitt、和Sobe1)。埘比 验结 是叫. cl rr操作 PI O 能最好.因此本文主要录用Set1{lrr算f.此外内中发. Scharr算子是3*3的横板.判断邻域较小. H.J{仃水、 f1I 难A两个方向.鉴丁二此缺 .水文 ll ̄trl-攮础f.. 卜要他 用以下4个5 5的 向嵌扳米提取符方向的偏导.{r=人邻域 范旧的『u]时弩虑了更多边缘方向信息.从『斫实现 像边缘 J业 的有效提取。 ()0 O 3 0 —10 0——3 0 () 3O O 3O 第6期 温 阳,等:基于视觉注意的全参考彩色图像质量评价方法 ・281 ・ 『: 0。3。。0。0] K 一素fl。o o o 一0 j 0: 。——。1。。0 fJ 。似性测度,图像质量客观评价测度为: VGsim—S§* *SE (11) 4实验结果与分析 实验环境设置:为验证本算法有效性,本实验在 其中:K , 一1,2,3,4分别用Scharr算子的0。、45。、90。、 135。4个方内核,用各个方向内核卷积图像中每个像素点,获 得4个输出响应,图像I在位置(z, )处像素边缘强度定义为 G(x, ): LIVE2¨g 数据库中进行测试,测试平台为Matlab 2010b,CPU 为Intel Core i3~233OM,RAM为2.0 G。LIVE2是美国 TEXAS大学图像质量评估专用数据库LIVE的第二代,该数 据库中共有29幅高分辨率且无失真的RGB彩色图像及与之对 应的五种失真类型图像,其中包含JPEG类型图像175幅、 JP2K图像169幅、白噪声wN图像145幅、高斯模糊BLUR G(x, )一^/∑(J Ki)。(z, ) (5) 其中: 表示在卷积运算。由于在Lab彩色空间中,图像 的梯度主要与亮点分量L有关,因此为降低复杂度,根据公 式(5),计算L通道的梯度图GL。 2.2边缘强度相似性 根据2.1中所述彩色图像的边缘强度提取方法,分别提取 参考图像, 及失真图像, 的L通道的边缘强度,分别表示 为:GL r和GL 。 根据参考图像和失真图像的边缘强度,二者边缘相似性 S ( , )可定义为: Sac 等 ㈦ 其中:( , )为像素坐标位置,C 为避免分母为零等异常、 增加s (z, )稳定性的正常数 ]。 由于梯度图是基于像素的局部区域计算方式,当在局部邻 域内参考图像和失真图像的梯度相同时,局部梯度相似性为 1。考虑到图像局部质量的全局偏差可以更好地反映图像整体 质量。因此,图像边缘强度相似性最终定义为: (SOL(X,y)--MeanS ̄c) MeanSaL— E SGL (7) M和N分别为图像水平和垂直方向的尺寸。 3色度相似性测度 由于梯度与实际的颜色变化没有关系,为评估颜色失真对 图像整体质量的影响,通常参考图像和失真图像的A通道和B 通道颜色相似性定义为: SA(z,y) !』 ! 尘! ! !± A , ( , )+A ( , )4-C3 (8) SB(_z, ) ! 兰! 旦坐 =兰! ± (9) B , ( , )+B如 ( , )+C3 结合A、B两个颜色通道,参数图像和失真图像的色度相 似性测度为: M N sc一 s , )*SB , ) (1 O) 本文通过以下方式,同时计算A、B两个颜色通道的相似 性,与公式(1O)所示方法相比,在提高准确性的同时降低了 运算复杂度。 SA(z,y) 2(A ( , )*A血。(z, )+B (z, ) 旦生! 兰! ± A , ( , )+A ( , )+B , ( , )+B ( , )+C3 结合参考图像和失真图像的显著度、边缘强度和色度的相 图像145幅和通过快速衰退FF信道后失真图像145幅。同时 该图库提供了每一幅失真图像的平均主观评价分数(DMOS) 来表示图像质量。 实验参数设置:1)正常数C 一200;2)正常数C2 —225。 对比实验结果与分析:本方法主要选择SROCC和LCC作 为与PSNRE 、NQM/ 、UQI[ 、SSIME 、VSNRE 、IFCc ] 和MSSIML4 各经典算法性能比较的度量标准,其中SROCC 和KROCC为等级相关系数,主要反映客观评价结果的单调 性;LCC为相关系数,主要反映客观评价方法结果的准确性, 指标越高则表示客观IQA算法性能越好;RMSE(r0ot—mean —squared error),用来衡量客观预测值同主观值之问的偏差, RMSE越低,则表示客观IQA算法性能越好_g]。 表1 LIVE2图库中IQA模型整体性能比较 Method SROCC LCC KR0CC RMES PSNR 0.8755 0.8721 0.6864 13.368 NQM 0.9086 0.9122 0.7413 11.1926 UQI o.8941 o.8987 0.71oo 11.9823 VSNR o.9274 o.9231 0.7616 10.506 1FC 0.9234 o.9248 0.7540 10.392 SSIM 0.9479 0.9449 0.7963 8.9455 MSSIM 0.9445 0.9430 0.7922 9.9056 VGsim 0.9502 0.9574 0.8113 6.67l9 由表1可得,论文提出的算法GSsim在LIVE2图库与现 有的大多数经典全参考方法方法相比,优势比较明显。首先, 整体具有更高的预测准确性,即线性相关系数LCC为0.9574 高于现有的大多数方法;然后,在整体上有更严格的预测的单 调性,也即等级系数SROCC为0.9502相对较高;同时GSsim 具有相对较高的PSNR和较低的RMSE,客观预测值与人眼主 观观测值间误差较小。 由图2可知,GSsim算法与现有大多数算法相比,在 LIVE2图库上和主观评价值的拟合性优势非常明显,与主观 一致性较好。 5 结束语 本文根据彩色图像的特点,借助彩色图像空域内视觉显著 模型,获取失真图像和参考图像的相似程度。同时,由于梯度 特征能描述图像本质结构信息,本文定义一种新的多方向梯度 计算方法。利用彩色图像显著度特征和梯度特征,获得失真图 像的客观评价测度。实验结果表明,该方法能实现对图像质量 (下转第293页) 第6期 李雪菁:非绝缘锊壁电磁流最汁的杖重函数仿真分析 (A nl!)【I『以得到埘称性较好的权函数。 Meas.Sic.Techno1.,2007.1 8:548 554. 1)利川席 流密度分_佰来求解权函数的方法是【f 确可 [6]Zhang X Z.Theory and nlethods for flow measurement 仃的; magnetic induction[M]. Beijing:Tsinghua S :)通过仿 以及分析.验证公式(i0)的正确 D-; Press.2O1 0. 3){}:绝缘管 电磁流 汁的权函数会随着管壁的电导牢 [7] Wei Z.Study OIP m n-tWO phase flow measurement based on IntlIt 1 a 以及骨 度的变化而变化。当电导率增加时,同一点的权值 sensor fusion[I)].Beijing Jiaotong University,2009. 1 e [8]李斌.沈天 ,刘可昌,等.非绝缘测量管的电磁流 LIG .传感器 会增J JI】; 锊唯厚度增加时,则权值会减小。 [P].中国(发明)专利,2005】01lI907.6.Y f 本文提}{{的求解虚电流礴j:度分布得到权函数分l布的有限无力‘ r 9]SuI】ivan V T()’.EfA w fect of blood vessels on electromagnetic fh}WIUt 法埘研究非绝缘管电磁流 计枞函数具有f分重要的意义。该方 ter sensitivity[J].Phys Mc d Bio1.1 982.27(2):277—281. 法埘研究电极_墁僻 污染对测量的影响也具有非常重要的意义。 [1 0]Shercliff J A.The theory of~ clcct r(]H1agneti(、flow measu renl z’n1. 实验证【』{j这种新型的流量计性能是可靠.稳定的,可以广泛应用 Cambridge:Cambri∞ w e dge University Press,1 962. 于医 r-l_、I 等领域。然而任数据优化等方面还需要做进一步的 f 1 1]Bevir M K.The them y of induced voltage ekctr0n憎gn c flow n]t 改薄.希 仃蜓多的人参与刮完善这种方法的研究中。 ters.[J】Fluki玎 Mech,1 970,43:577—90. [1 2] Baker R L、.()n tt1 Ⅲ C 、e concept of virtual ci1]rent as a lrlealIs tO en 参考文献: hance verificati0 on ofo t 1 clecl romagnetic flowmeters r J].Mt-asur{- [ [1:]川[tt裕郎.小宫勤一.I¨崎弘郎.流量测量手册[M].北京:汁 ment Science and Technology,201 1。10—2O. 版 1 982. [1 3] Dyakowski ’1.Process t’门 omography applied to rnuhi t)hase flow _ 曾为民.挛 斌.电磁流量计综述[J].上海大学学报.1997 llleasurenlent[-I].Meas Sci l'echnol,1 996,7:3,t 3—5: . ( ). 967—270. [1t]传秀云,张晓琳.核石墨材料的性能、类型.制备及其在梭反f趣堆 蔡武昌.马中元,瞿国芳.电磁流量计[M].北京:中国石化出 中的应用[J].炭素技术,2009.28:28 35. 版社.20O4. [1 5]孙守封,赵文元.于 虎,等.溶液法高密度聚乙烯 石墨 、L、导 [4] l{akc r R C.Flow Measurement Handbook[M].Cambridge Un 电复合材料的制备及导电行为[JI_2010,26:13一l5. \el。sity Press.Cambridge.2000. [1 6]张永强.任新鑫.浦玉萍.等.石墨对聚四氟乙烯(PTt E)抗静 [5] Wang J Z.I 电性能的影响[J].新技术新工艺.2009-11:71—73. t rnlinnt1[】n j i 曲 沪_ i 9 丑 i , 曲 肚 曲 9 (j 接第281页) 参考文献: _1]Sheikh H R,Sabir M F,Bovik A A statistical evaluation of re cent full reference image quality aSSeSS nle ̄t algorithms[J .It:.EE l'ransactions()n Image Processing,2006,1j(1】):3440—3t5】. [2]曾 凯.无参考型自然图像质量评价算法研究[I)].西安:两安电 子科技大学.2009. r 3]Wang Z,Bovik A L’,Sbeikh H R,et a1.In]age qualitY asacssnlcnt: from error visibility to st rucltl rM sirnilarity[J].IEEE Transa( lions ll】MSSlM on Image Processing,2004,1 3(4):600—61 2. [4] ttou X.Zhang I .SaliencY{letection:a spectral residual apt)roach U [A].IEEE Conference on C(}mtmter Vision and Pattern Recogl1ition 芭 “ L [【、].2007:l一8. f 5]Achanta R,HenlaIni S.Estrada F.et a1.Frequency tuncd salk i/I 0 rcgion(tetection rA].1EEE 1nternational Conference on L、onq}utiPr Vision all{i Paltern Recogniti(m[c].2009:1 597 160 1. 。 。 。 v(}(f‘¨sslM e)scot。 。。 d VSNR ssIMr6]L’t1en(;.Yang【、,Xie S.Gradient based structural similaritY for in]age quality assessmenl[A].Proceedings of IEEE Intt、rln ̄tinnal ConfereI]ce on Inrage Processing[【、].2006:2929—2932. r7]I iu A.I in W,Narwaria M.Image qualitY assessment has{ d nn gra dient similarity[J].IEEE Transactions on hnage I rocessing. 2012,21(4):1 500一l 512. [8]Zhang 1 .Zhang I .Mou X t a1.FSIM:A feature similarity indt’x Object1 ve score by PSNR Objective SCOre by Proposed ̄etbod ( )PSNR(h)GSsim for image quality assessment[J].IEEE Trans.Image Pr{}ccss・ 隈i 2 不同方法在I IVE2库中的散点图以及 2()11.2()(1 2):2378—2386. 非线性曲线拟合图 [9] Sheikh H R.Wang Z, 。r】1orck I sessment database release2.()nline 的准确、商效评 .弥补』,以往灰度图像评价算法中忽略彩色 utexas. edu,/rcsearch/quality. 分{|j=失真的缺陷. 人眼视觉系统观测一致性更高,应川范围 [1 0]Xue W,Zhang I .Mou x“t a1.G.radient magnitude similarity{te viation:|i highly efficient perceptual image quality index J] 蜓广泛。 IEEE Trans.Image Process.20l 4.23(2):684 695.