(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 105005990 A (43)申请公布日 2015.10.28
(21)申请号 201510381379.X(22)申请日 2015.07.02
(71)申请人东南大学
地址210096 江苏省南京市四牌楼2号(72)发明人陈阳 石路遥 罗立民 李松毅
鲍旭东(74)专利代理机构南京苏高专利商标事务所
(普通合伙) 32204
代理人孟红梅(51)Int.Cl.
G06T 7/00(2006.01)
权利要求书2页 说明书5页 附图2页
(54)发明名称
一种基于区别性稀疏表示的盲图像质量评价方法(57)摘要
本发明公开了一种基于区别性稀疏表示的盲图像质量评价方法，包括：首先，分别从无噪声污染的自然图像和噪声图像样本中训练得到特征子字典和噪声子字典，并将两个子字典合并为区别性字典；然后，用所述区别性字典表示待评价的图像，得到两个子字典对应的稀疏系数；最后，通过统计两部分稀疏系数的比例获得最终的图像质量评分。相比于现有的其他盲质量评价方法，本发明方法与人眼评价结果拟合度高，且实现简单，无需人工打分样本进行训练。
C N 1 0 5 0 0 5 9 9 0 A CN 105005990 A
权 利 要 求 书
1/2页
1.一种基于区别性稀疏表示的盲图像质量评价方法，其特征在于，包括如下步骤：
(1)分别从无噪声污染的自然图像和噪声图像样本中训练得到特征子字典和噪声子字典，并将两个子字典合并为区别性字典；
(2)用所述区别性字典表示待评价的图像，得到两个子字典对应的稀疏系数；(3)通过统计两部分稀疏系数的比例获得最终的图像质量评分。
2.根据权利要求1所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(1)中，具体包括：
(1.1)从无噪声污染的自然图像中提取图块作为特征训练集，从噪声图像中提取图块作为噪声训练集；
(1.2)从步骤(1.1)的两个训练集中，训练得到特征子字典D+和噪声子字典D-，构造区别性字典Dd为特征子字典D+与噪声子字典D-的集合。
3.根据权利要求2所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(2)中，具体包括：
(2.1)将待评价的图像分解为红、绿和蓝三个颜色通道的子图像；(2.2)对每个颜色通道的子图像，将子图像拆分成与训练集中的图块大小相同的图块，用区别性字典Dd表示子图像，获得每个子图像对应的稀疏系数，所述稀疏系数包括特征子字典D+表示图像所对应的稀疏系数和噪声子字典D-表示图像所对应的稀疏系数。
4.根据权利要求3所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(3)中，具体包括：
(3.1)通过统计每个颜色通道的子图像中噪声子字典对应的稀疏系数与特征子字典对应的稀疏系数的加权比例，得到对应的子图像的评分；
(3.2)根据三个颜色通道的子图像评分的加权求和，得到最终的图像质量评分Rd，Rd越小，则认为图像质量越好。
5.根据权利要求3所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(2.2)中用区别性字典Dd表示子图像，获得每个子图像对应的稀疏系数的具体方法为：用正交匹配追踪算法求解如下公式，获得稀疏系数α：
其中，R为从待评测子图像y中提取图块的算符，下标i,j为图块左上角在子图像中的位置坐标，||αij||0为零范数，αij中非零元素的个数不超过L；求得的稀疏系数由两部分组成α＝[α+，α-]，其中α+为特征子字典D+表示图像所对应的稀疏系数，α-为噪声子字典D-表示图像所对应的稀疏系数。
6.根据权利要求4所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(3.1)中每个颜色通道的子图像的评分
的计算公式为：
其中N为子图像分解出的图块个数，和
2
分别为c颜色通道特征子字典和噪声子
CN 105005990 A
权 利 要 求 书
2/2页
字典表示第k个图块的稀疏系数，||·||1为一范数，wk为第k个图块对应的权重系数。
7.根据权利要求6所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，wk
定义为wk＝σk+M，其中M为一常数，σk是第k个图块的标准差。
8.根据权利要求4所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(3.2)中Rd根据三个颜色通道的子图像评分的加权求和得到，每个子图像评分对应的系数参照RGB空间转化为YIQ空间中Y通道的转换公式系数。
9.根据权利要求1所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(1)中的噪声图像为模拟高斯噪声图像。
10.根据权利要求1所述的基于区别性稀疏表示的盲图像质量评价方法，其特征在于，所述步骤(1)利用Fisher区别性字典学习方法训练得到特征子字典和噪声子字典。
3
CN 105005990 A
说 明 书
一种基于区别性稀疏表示的盲图像质量评价方法
1/5页
技术领域
本发明涉及一种盲图像质量评价方法，属于图像处理技术，特别是感知视觉信号处理技术。
[0001]
背景技术
图像质量评价是图像处理领域中的一个基础的问题，在图像压缩、复原、重建、增
强、识别和分类等领域中都有着重要的应用。图像质量评价可以分为主观评价和客观评价两种。主观质量评价通常为请一组专家对图像进行视觉评价并进行主观打分。在许多应用领域中，图像最终都是由人来进行观阅的，在这种情况下，主观质量评价是唯一准确可靠的质量评价方式。然而在实际情况中，主观评价由于耗时，昂贵，不便等缺点难以得到应用。[0003] 相比于主观质量评价，客观质量评价具有速度快，成本低，操作简单等优点，已经成为图像质量评价研究领域中的重点。客观质量评价可以分为两种，一种需要无失真的参考图像进行质量评价(参考图像质量评价)，另一种只需要失真图像自身的信息即可进行质量评价(盲质量评价)。参考图像质量评价经过几十年的发展已经比较成熟，实施起来也相对简单。比较经典的参考图像质量评价方法有PSNR,SSIM等。但这类方法需要能够访问无失真的原图，这一要求在许多应用环境中无法得到满足。[0004] 相比参考图像质量评价，盲质量评价中没有参考图像可以利用，因此面临着更多的挑战。现有的盲质量评价方法主要由两个步骤组成：特征提取和基于人眼评分的模型回归。现有的盲质量评价方法通常需要大量人工标记的图像用于训练，算法的性能也对训练样本十分敏感；此外，这类算法一般都需要较高的计算量和复杂的参数估计和训练，这些都极大地了盲质量评价方法在实际中的应用。
[0002]
发明内容
本发明所要解决的技术问题是，提供一种实现简单，无需人工标记图像进行训练
并且与人眼评价拟合度高的盲图像质量评价方法。
[0006] 本发明为解决上述技术问题所采用的技术方案是，一种基于区别性稀疏表示的盲图像质量评价方法，包括如下步骤：
[0007] (1)分别从无噪声污染的自然图像和噪声图像样本中训练得到特征子字典和噪声子字典，并将两个子字典合并为区别性字典；
[0008] (2)用所述区别性字典表示待评价的图像，得到两个子字典对应的稀疏系数；[0009] (3)通过统计两部分稀疏系数的比例获得最终的图像质量评分。[0010] 所述步骤(1)中，具体包括：
[0011] (1.1)从无噪声污染的自然图像中提取图块作为特征训练集，从噪声图像中提取图块作为噪声训练集；
[0005] [0012]
(1.2)从步骤(1.1)的两个训练集中，训练得到特征子字典D+和噪声子字典D-，构
造区别性字典Dd为特征子字典D+与噪声子字典D-的集合。
4
CN 105005990 A[0013]
说 明 书
2/5页
所述步骤(2)中，具体包括：[0014] (2.1)将待评价的图像分解为红、绿和蓝三个颜色通道的子图像；[0015] (2.2)对每个颜色通道的子图像，将子图像拆分成与训练集中的图块大小相同的图块，用区别性字典Dd表示子图像，获得每个子图像对应的稀疏系数，所述稀疏系数包括特征子字典D+表示图像所对应的稀疏系数和噪声子字典D-表示图像所对应的稀疏系数。[0016] 所述步骤(3)中，具体包括：
[0017] (3.1)通过统计每个颜色通道的子图像中噪声子字典对应的稀疏系数与特征子字典对应的稀疏系数的加权比例，得到对应的子图像的评分；[0018] (3.2)根据三个颜色通道的子图像评分的加权求和，得到最终的图像质量评分Rd，Rd越大，则认为图像质量越好。
[0019] 所述步骤(2.2)中用区别性字典Dd表示子图像，获得每个子图像对应的稀疏系数的具体方法为：用正交匹配追踪算法求解如下公式，获得稀疏系数α：
[0020]
其中，R为从待评测子图像y中提取图块的算符，下标i,j为图块左上角在子图像中的位置坐标，||αij||0为零范数，αij中非零元素的个数不超过L；求得的稀疏系数由两部分组成α＝[α+，α-]，其中α+为特征子字典D+表示图像所对应的稀疏系数，α-为噪声子字典D-表示图像所对应的稀疏系数。
[0021] [0022]
所述步骤(3.1)中每个颜色通道的子图像的评分的计算公式为：
[0023]
[0024] 其中N为子图像分解出的图块个数，和分别为c颜色通道特征子字典和噪
声子字典表示第k个图块的稀疏系数，||·||1为一范数，wk为第k个图块对应的权重系数。wk定义为wk＝σk+M，其中M为一常数，σk是第k个图块的标准差。
[0025] 所述步骤(3.2)中Rd根据三个颜色通道的子图像评分的加权求和得到，每个子图像评分对应的系数参照RGB空间转化为YIQ空间中Y通道的转换公式系数。[0026] 有益效果：本发明的基于区别性稀疏表示的盲图像质量评价方法，名称为基于区别性稀疏表示的特征量化(Feature Quantification via Discriminative Sparse Representation，FQ-DSR)。该方法的提出受到了人类初级视觉皮质在进行图像质量时对图像特征进行稀疏表示处理的启发，提出了对图像特征进行量化分析而进行质量评价的方法。其中，图像特征既包含正常的图像结构，也包含图像的退化性结构(噪声)。为此，本发明针对性地设计了一种区别性字典，该字典中既包含适合表示正常图像结构的“正”子字典(特征子字典)，又包含适合表示图像噪声的“负”子字典(噪声子字典)。当用这种区别性字典对图像进行稀疏表示时，就可以通过定量统计特征子字典和噪声子字典中所用来表示图像的原子的系数分布来评价图像质量的好坏。相比于现有的代表性盲质量图像质量评价方法，本发明方法实现简单，无需人工标记的图像进行训练，且与人工打分更加一致。
5
CN 105005990 A
说 明 书
3/5页
附图说明
[0027] [0028] [0029] [0030] [0031]
图1为本发明方法的流程图。
图2(a)-(g)为训练特征子字典所用的7幅无失真自然图像。图2(h)为训练噪声子字典所用的模拟高斯噪声图像。图3(a)为利用FDDL方法训练出的特征子字典。图3(b)为利用FDDL方法训练出的噪声子字典。
具体实施方式
[0032] 下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。[0033] 如图1所示，本发明实施例公开的基于区别性稀疏表示的盲图像质量评价方法主要由三个步骤组成：构造区别性字典，字典表示和综合打分。首先，从无噪声污染的(无失真)自然图像和噪声图像样本中各自训练对应的字典，并将两个子字典合并为区别性字典。然后，用该区别性字典去表示待评价的图像，得到两个子字典对应的稀疏系数。最后，通过统计两部分稀疏系数的比例获得最终的图像打分。具体步骤如下：[0034] 步骤一、构造区别性字典，具体步骤如下：[0035] 第1步、从若干无噪声污染的自然图像中提取大量的图块作为特征训练集；另从模拟的高斯噪声图像中提取大量图块作为噪声训练集。模拟噪声图像可以选用高斯噪声进行模拟，也可以使用其他类型的噪声。本实验中待评价图像为高斯噪声所污染，因此为了得到最好的评价效果，此处选用对应的高斯噪声模拟图像训练噪声字典。本实验中选用如图2(a)-(g)所示的7幅无失真自然图像和如图2(h)所示的模拟高斯噪声图像作为样本，其中图块的大小为16×16。在具体应用场景中可以根据具体情况合理选择样本图像和样本个数，以及图块的大小。[0036] 第2步、从第1步获得的两个训练集中，利用Fisher区别性字典学习方法(FDDL)训练出两个具有独特特征表示能力的子字典：特征子字典D+和噪声子字典D-。其中每个子字典大小为256×512(见图3)。选用FDDL方法的目的是为了使训练出的特征子字典对自然图像的结构特征有更好的表示能力，对噪声有较差的表示能力；而训练出的噪声子字典则对噪声有更好的表示能力，对图像的结构特征有较差的表示能力。[0037] 第3步、构造区别性字典Dd为特征子字典与噪声子字典的集合
+-[0038] Dd＝[D,D]。Dd的大小为256×1024。
[0039] 步骤二、字典表示，具体步骤如下：[0040] 第1步、将图像分解为红，绿和蓝三个通道的子图像yr，yg，yb。[0041] 第2步、用区别性字典Dd去表示每个通道的待评测的子图像yc(c可以为r、g或b，分别代表红、绿、蓝三个通道)。具体方法为用正交匹配追踪算法(OMP)求解下面问题：
[0042]
获得稀疏系数α。其中R为从待评测子图像y中提取图块的算符，图块大小同样为16×16。下标i,j为图块左上角在图像中的位置坐标。图块之间的间隔为16，即图块与
[0043]
6
CN 105005990 A
说 明 书
4/5页
图块之间既没有重合，也没有间隙。||αij||0为零范数，αij中非零元素的个数不超过L，L设为25。求得的稀疏系数由两部分组成α＝[α+，α-]，其中α+为特征子字典D+表示图像所对应的稀疏系数，α-为噪声子字典D-表示图像所对应的稀疏系数。[0044] 步骤三、综合打分，具体步骤如下：[0045] 第1步、通过统计子图像中特征子字典对应的稀疏系数的加权比例，定义某一颜色通道子图像评分
为
[0046]
[0047] 式中N为待评测子图像分解出的图块个数；和分别为c颜色通道特征子字
典和噪声子字典表示第k个图块的稀疏系数，||·||1为一范数，wk为第k个图块对应的权重系数。wk定义为wk＝σk+M，其中M为一常数，可以根据具体应用场景调整，本实验中设定为20能够取得较好测评效果；σk是第k个图块的标准差。[0048] 第2步、定义最终图像质量评分为三个颜色通道评分的加权评分：
[0049] [0050]
其中，和分别为红、绿和蓝三个颜色通道的子图像的评分。每个子通道
评分对应的系数参照NTSC(美国国家电视系统委员会)标准中RGB空间转化为YIQ空间中Y通道(明度通道)的转换公式系数
[0051] (Y＝0.29R+0.5870G+0.1140B)。[0052] 当Rd较小时，代表图像中特征子字典表示的部分比重较大，而噪声子字典表示的部分比重较小，因此认为图像质量越好；相反，当Rd较大时，则认为图像受噪声污染相对严重，图像质量越差。权重wk设定为某一图块的标准差σk与一常数M的和，反映了该图块内的噪声强度。当某一图块噪声较大时，该图块对应的噪声子字典系数的一范数
和权重
wk都较大，相乘后进一步增强了该图块噪声系数在整体评分中的比重；当某一图块噪声较小时，该图块对应的噪声子字典系数的一范数
和权重wk都较小，相乘后进一步减弱了
该图块噪声系数在整体评分中的比重。[0053] 在这一部分中，将本发明提出的FQ-DSR方法同现有的其他技术进行实验对比。实验中涉及的其他盲图像质量评价方法有BIQI,LBIQ,DIIVINE,BLIINDS-II,BRISQUE和CORNIA。此外，实验中也将FQ-DSR方法同一些主流的参考图像评价方法进行对比，涉及的方法包括SSIM,PSNR,IFC和VIF。
[0054] 实验中将以上几种方法分别在主流的图像质量评价数据库LIVE IQA上进行测试。LIVE IQA数据库包含5种图像退化类型：JPEG2000，JPEG，高斯白噪声，高斯模糊和快速衰落。本实验中仅考虑高斯噪声，数据库中高斯噪声对应部分包含29个无失真参考图像和145张不同程度噪声污染的图像。数据库中每幅图像都有对应的人眼主观评分(DMOS)。实验中，首先用上面提到的方法对图像进行计算打分，之后将算出的评分与DMOS评分求相关
7
CN 105005990 A
说 明 书
5/5页
度来评价算法的好坏。求相关度所用的准则为Spearman等级相关系数(SROCC)，该系数越接近1则代表算法评分结果与人眼评分越接近。
[0055] 由于一些主流的盲图像质量评价算法需要用到人工打分标记图像进行训练，因此在对应的文献中，作者将每组测试图像分为两部分。其中80％的部分用于训练，之后再在另20％的图像上进行测试。本发明提出的方法无需人工标记图像进行训练，只需在几幅随机的自然图像上训练字典即可。但本着公平对比的原则，在每组测试中，我们也只选取20％的图像(6幅参考图像和30幅对应的不同程度噪声污染图像)进行测试，忽略其他80％的图像。实验包含1000个测试集，每个测试集都随机选取6幅参考图像和其对应的30幅噪声污染图像。实验对每组测试集都用算法进行打分并求SROCC系数，重复1000次后取得到的1000个SROCC评分的中位数作为最终评测结果。实验结果如表1所示。[0056] 表1
[0057]
从表中可以看出，本发明提出的FQ-DSR得分不仅超过了主流的盲图像质量评价
方法，也超过了主流的参考图像质量评价方法。实验结果表明，本发明提出的方法对于高斯噪声污染的图像，能够在没有参考图像的情况下取得跟人眼评价十分接近的质量评价得分。
[0058]
8
CN 105005990 A
说 明 书 附 图
1/2页
图1
图2
9
CN 105005990 A
说 明 书 附 图
2/2页
图3
10
