2012年2月 计算机工程与设计 COMPUTER ENGINEERING AND DESIGN Feb.2012 Vo1.33 NO.2 第33卷第2期 基于置信度的软件质量模糊评价模型研究 柴获 ,闰 军 ,李秦渝 (1.兰州交通大学机电技术研究所,甘肃兰州730070; 2.兰州城市学院信息工程学院,甘肃兰州730070) 摘要:通过软件质量模糊综合评价实践和对模糊综合评价模型算法的分析,重点研究了在模糊综合评价算法的基础上进 行改进并引入置信度进行置信分析的新方法,建立了适合系统化应用的软件质量评价模型,并使用该模型实施软件质量结 果评价。由于应用模糊综合模型会产生大量有效信息丢失,从而导致评价结果过于简单化、绝对化,该模型解决了这一不 足,并提高了软件质量评价的客观性和准确性。 关键词:软件质量;模糊评价;置信度;置信分析;评价模型 中图法分类号:TP311 文献标识号:A 文章编号:1000—7024(2012)02~0607 05 Research on fuzzy evaluation model about confidence levels of software quality CHAI HUO ,YAN Jun .LI Qin-yu (1.Mechatronics Technology and Research Institute,Lanzhou Jiaotong University,Lanzhou 730070,China; 2.College of Information Engineering,Lanzhou City University,Lanzhou 730070,China) Abstract:Through the practice of software quality fuzzy synthetic evaluation and the analysis of algorithm of fuzzy synthetic evaluation model,the method of introduction confidence levels to carry out analysis of confidence based on the fuzzy synthetic evaluation model is studied.And a systematic application of software quality evaluation model is established to evaluate the re~ suits of the implementation of software quality,and the problem of over-simplification and absolute shortage because of applica~ tion of fuzzy sntyhetic evaluation model tO produce a large amount of information lose is solved,the objectivity and accuracy of software quality evaluation is improved. Key words:software quality;fuzzy evaluation;confidence levels;analysis of confidence;evaluation model 0引 言 在信息系统项目验收、信息系统质量评估等系统工程 中,软件质量评价口 是必不可少的环节。CMM、CMMI 及ISOg000均包含质量评价部分,在此方面也有很多的研 软件质量评价更适合采用模糊数学方法。近些年来,模糊 综合评价模型已经被多次引入到软件质量评价体系中,这 种模型的基本思路和框架是好的,但在计算时存在一些缺 陷,尤其是在复杂系统的评价或同类事物之间的优劣比较 评价中容易引起较大的偏差和失准[_s],容易导致有效信息 大量丢失,结论定性简单且绝对化,难以实现同类事物间 的优劣比较。 究,CMMI运用全面质量管理的思想,结合C-G模型,将 软件产品度量纳入到软件生命周期模型中,建立基于CM— MI的软件质量度量框架lI2],也有将CMM用于软件过程 评估,针对的是软件组织自身内部软件过程的改进问题, 目的在于发现缺陷、提出改进的方向[33,但这些研究大多 为软件过程质量评价而不是软件质量结果评价,这些方法 用于软件质量结果评价有针对性不强的缺点。软件质量概 念的模糊性_4]带来了软件质量评价的不准确性,因此,对 收稿日期:2011—03—20;修订日期:2011—05—26 基金项目:甘肃省自然科学研究计划基金项目(0916RIZAO45) 本文提出一种在模糊综合评价模型E6 7]基础进行改进, 并引入置信度¨8‘0]进行置信分析的模糊评价模型。评价者 从软件指标的重要性等级和软件指标质量等级两方面进行 评价,根据模糊综合评价模型对统计评价者评价结论得到 一个评判矩阵,确定的置信度向量,对评价过程做进一步 置信分析,以确定比较客观的评价结果。 作者简介:柴获(1982~),男,甘肃静宁人,硕士,助教,CCF会员,研究方向为软件建模技术、软件质量控制、铁路民航物流关键技 术;闫军(1971一),男,山东聊城人,硕士,工程师,研究方向为区域物流、航空货运物流;李秦渝(1981一),女,甘肃天水人,硕士, 讲师,研究方向为智能信息处理技术。E-mail:chaihuo@126.corn ・608・ 计算机工程与设计 2012钲 1 建立软件质量置信度模糊评价模型 评价必须是科学的,合理的。要实现评价的科学性和 合理性,必须坚持评价标准的科学性,评价信息的真实性, 评价判断的严谨性,评价检验的可靠性 ]。本文从评价目 (1)目的明确:对软件评价所选取的评价指标应能反 映评价软件有关内容。 (2)指标覆盖全面:软件评价指标的选取应尽可能地 覆盖软件评价的内容,如果有所遗漏,评价就会片面。 (3)稳定性:所选取的软件评价指标不应轻易改变, 应保持其相对的稳定性。 根据以上3个原则,以ISO/IEC14589《软件产品评 价》给出的评价过程为指导,从开发方、需方和第三方不 标指标集划分的合理性,权值准确性来保证评价信息的真 实性;从评价者对评价目标评价的有效性来保证评价判断 的严谨性;采用模糊评价基本模型和对评价结果置信分析 来保证评价的可靠性。 图1表示用质量特性来评价软件质量的主要步骤。评 价过程主要由两个步骤组成:评价准备过程和评价过程。 需求定义 质量需求定义 软件质量评价模型 评价准备 指标划分I I等级定义 模糊综合 评价模型 软件开发 指标重要性 等级评价 评价过程 根据模型 计算结果 评价结果 图1评价过程模型 (1)评价准备过程 评价准备的作用是准备好评价基础,本阶段有评价指 标集划分、评价等级定义和评价模型的建立三方面的工作。 (2)评价过程 评价过程分为3部分:确定评价指标重要性等级、确 定评价指标质量等级,利用改进的模糊综合评价模型计算 评价结果并进行置信分析。 下文就建立评价目标指标集划分、评价等级定义、利用 改进的综合模糊评价模型对评价结果统计计算和评价过程置 信分析的四方面问题分别讨论并建立数学模型,并在模糊综 合评价模型求解方法的基础上给出计算过程,通过一个机场 货运站设备监控系统软件的评价案例进行模型的检验。 1.1划分评价指标集 目前对于软件评价指标的选取根据软件的专业性和评 价的侧重点不同而没有固定的模式,在评价指标的选取上 存在很大的人为因素,但选取时应遵从以下3个原则口0]: 同的角度的评价者根据ISO/IEC9126《软件产品质量》分 别选取不同的指标_1 。对开发方和第三方来说,一般选取 描述内部质量和外部质量的6个质量特性:功能性、可靠 性、易使用性、效率、可维护性、可移植性,对于需方来 说,通常选取4个软件使用质量特性:有效性、生产率、 安全性和满意度。 对于不同的软件各个质量特性的重要性是不同的。例 如可靠性对于任务关键型系统软件是最重要的,效率对于 时间关键型的实时系统软件是最重要的,而易使用性对于 交互终端用户软件是最重要的。对此,除了对指标的质量 等级进行评价外,同时对指标的重要性等级进行评价。 对于所有指标U一{ ,“z,…, },取N个等级, 等级1代表十分重要,依次重要性递减,等级N代表极不 重要,可以忽略_1 。要求k个评价者对“,给出等级的选 择,评价过程中要求每个评价者填写软件指标重要性评价 表(见图2),评价者只需要在表中勾选某个指标对应的重 要性等级。 \\重要性等级 指标\ \\ (十分重要)等级1 等级1(重要) (不重要)等级N 指标1 指标n 图2软件指标重要性等级评价表 1.2定义评价等级 对软件质量特征可以用度量尺度来定量地给出评价结 果。评价结果可映射到某个尺度上,但此尺度无法说明软 件质量的等级,并不能完全地表现出评价结果。为此,这 些尺度必须分割成如图3所示对需求的各个不同满足程度 的区域,当评价结果映射到某个等级对应的尺度区域内, 则可得出此评价结果代表的质量等级。因为质量与给定需 求有关,所以不可能有通用的等级,每一次具体的评价中 都必须对等级进行定义。 建立评价等级集V一{7)1, ,…,Vm),其中 : 优, :良,依次类推, :差。要求每个评价者填写软 件指标质量评价表(见图4),评价者只需要在表中勾选某 个指标对应的质量等级。 第33卷第2期 柴获,闰军,李秦渝:基于置信度的软件质量模糊评价模型研究 ・609・ 优 价结果—— 满 意 一般 1 L 差 不 ☆意 1l 度量尺度 等级 图3评价等级定义 \ — 优 良 差 揩 指标1 指标n 图4软件指标质量等级评价表 1.3建立评价结果计算模型 软件质量评价指标集的划分和评价等级的定义仅给出 了反映软件质量的各种因素及软件质量评价等级,确定一 种科学准确的算法来实现量化评价得出被评价软件所处等 级才是本模型的关键。 通过对模糊综合评判算法的应用缺陷分析,可以看到 综合评判的思想方法和构造框架是新颖实用的,但在有效 信息的利用上和综合量化的运算以及评判结论的定性上是 不足的,对模糊综合评价模型进行了两个方面的改进:对 评价指标的重要性等级和质量等级修改为按级别赋值,以 便能够准将模糊的评语能够按等级准确地量化;将模糊综 合模型中模糊的合成运算修改为矩阵运算,进行评价运算 的综合度量,防止有效信息的大量丢失。 通过统计图2每个等级的得票数,归一化得向量{P / k,P 2/k,…, /k),作和式 ∑Po/kEa ̄,6J]垒[ ,6J], 一0,bN一1 (1) J一1 取孕一(& +bi)/2∈[啦,b1],对】71, ,…, 归一化得权向量A一{a ,az,…,a ),可确定a 的置信 度为户 ,确定置信度向量为{ /k,P z/k,…,P / k),记为{C1,C2,…, }。 根据图4中评价者对质量等级评价的评价结果,统计 并归一化得到评判矩阵星一( , z,…, ),根据模糊 综合评价基本模型,采用M(八,V),M(・,V),M (^,0)或M(・,+)等计算方法得到评判结果B[n]。 1.4评价过程置信分析 进行以上3步可以得到一个评价结果,但通常情况下, 以上结果采用计算模型不同、评价者评价结论过于分散及 评价者数量过少等会使评价结果出现多峰值情况。下面引 入1.3节中确定的置信度向量,对评价过程做进一步置信 分析,以确定比较客观的评价结果。 设C ,Cz是二个置信度,对于逻辑AND,其置信度合 成为c= ̄min{c1,c2}+(1一£){C1+c2)/B,对于逻辑 OR,置信度合成为c—emax{C1,c2}+(1一e){c1+c2}/ 2,其中e∈Eo,1]为参数,可适当配置。若c <1或Cz< 1,£可如下配置:e=1-min{c1,C2},置信度合成为 n 一smax{0 ,…, }+1/n(1一£ ) :j 。。=’‘l 『i' i一1,2,…,m (2) 其中: 一句rain(cj, )+(1_£,)( + )/2, 一1, 2,…,n,根据模糊评价模型基本算法得到置信度的评判 结果B一{(6 , ),(6z, ),…,( , )),归一化后记为 {P ,lD2,…, },此处建议使用平均数法来确定最后评价 结果S一{bmp + l 1+…+b1fD1}×100,显得更 为直观。 2模型的案例应用 某机场货运站设备监控系统(equipment monitor sys— tem,EMS),负责对站内的工艺设备进行监控。主要实现 对作业任务逻辑分析、输送路径分析、设备协调监控,使 站内的全部工艺设备按照工艺和作业流程协调运行,以及 实现与货运信息管理系统(cargo manage system,CMS)、 设备控制系统(equipment control system,ECS)的通信。 项目实施完成试运行后,其投资商要求提供软件质量评价 模型,委托第三方评测人员进行软件质量评价,给出本软 件质量评价结果。 模型从开发者的角度从6个软件质量特性进行评价: 功能性,可靠性,易用性,效率,维护性和可移植性。 (1)指标集U--{甜1, 2, 3, 4,“5,“6},其中“1: 功能性;“2:可靠性;“3:易用性;啦:效率;“5:维护 性;蛾:可移植性。 (2)指标重要性划分为5个等级(即N一5),依次: 极重要,重要,较重要,不重要,可以忽略。 (3)评价集 :{ ,V2, , ),其中 :优;"02: 良;功:一般;734:差。根据系统的给定需求,对软件质 量的评价等级以100分计算,90一100为优,7O一9O为良, 5O一70为一般,O一50为差。 本文选取其中7( 一7)位评价者对图2、图4的填 写结果,通过统计图2中对指标重要性评价的人数,根据 式(1)计算,归一化得权值A和置信度C。计算结果见 表1。 计算机工程与设计 表1指标重要性等级统计 “ “ 重要性等级N一5 “ l 2 3 4 5 2012正 计评价者评价结论来确定置信度,能够提高评价结果的客 观性,但容易受评价者主观因素及评价者人数的影响。 (3)如果评价结果中出现多峰值或置信分析中出现较 “ 6 因素集u 1 3 rh 3 5 权值A 置信度C 4 _ 4 1 5 O O l 低置信度时,评价结果需认真对待,必要时通过调整评价 模型中相关集合或增加评价者人数进行重新评价。 4 2 4 5 3 2 O O 2 1 4 3 4结束语 在模糊综合评价模型的基础上,引入置信度进行置信 O O O O 1 1 O O O O O l 分析,建立了基于置信度的软件质量模糊评价模型,可提 O ● O ■ O ● O ● O ● O ■ 7 8 6 6 5 5 8 4 O 3 4 4 5 2 7 5 2 2 7 9 1 7 9 9 通过统计图4对指标质量的评价人数,得到如下评价 O ● O ● O ● O● O ● 0● 矩阵 l● 1 1 1 l 9 1 5 6 3 3 8 3 3 O 7 7 5 O 4 6 2 2 f。43。 0 :0]● O ● O ● O ● O ● O ● 5 7 5 7 5 4 l 3 2 2 07 1 7 1 7 2 0。。0l I归一l4 1 0.4286 4 0.28571 8 4 3 4 3 4 6 0.2857 0 J] f: 42 1 4 2 。 0 1 l {化得f I0。.52781547 。 0.15472194 0 。.28 。57 0.14 I29 I 【2 3 2 0 J 【0.2857 0.4286 0.2857 0 J 采用M(^,V),M(・,V),M(^,0)和M (・,+)的计算结果分别如下: 百l一(0.2943,0.2943,0.2219,0.1896) 百2一(O.4198,0.3378,0.1698,0.0725) 一(o.3685,0.3620,0.2189,0.0506) 一(o.4407,0.3804,0.1594,0.0196) 分析以上4种模型计算结果,百 出现多峰值, 的结 果好与较好之间的差别太小,不易分辨,如果计算中恰巧 采用M(八,V)模型,则无法确定评价。下面对上述算 例进行置信分析,以确定出现多峰值或等级间差别太小的 情况下确定评价结果。 根据式(2)计算得: 一0.4373, 一0.4439, 一 0.3761,&一0.1979。 分别采用上述4种模型确定评价结果分别为:S 一 74.513O,S2—81.5187,S3—79.6573,S一83.1198。 根据以上分析,可以确定此软件质量等级为良(>70)。 3结论 经过案例的检验,此评价模型能够对软件质量做出客 观的评价,评价过程简单,能够获取一个直观的评价结果, 但在模型应用过程中应注意以下3点: (1)尽量不要采用M(人,V)模型,容易出现多峰 值情况l1 ,而是根据不同软件质量指标对整体的影响不同 的特点,采用M(・,+)较为合理。 (2)理论上讲,置信度是一个客观存在的量l1 ,但如 何正确的确立仍是一个值得深入研究的问题,本文通过统 高软件质量评价的客观性和准确性,操作简单,逻辑性强, 适合系统化应用。 本模型在置信度的确定和评价者人数确定两方面未做 深入研究,置信度的确定通过统计评价者评价结论确定, 容易受到评价者主观因素及评价者人数的影响,增加评价 者人数固然能使置信度的更趋于理论值,但同时增加评价 成本及评价组织难度,因此评价者人数的确定也是本模型 继续研究的一个重点工作。 参考文献: [13 ZHEN Ren-jie.So{tware engineering advanced training course [M].Beijing:Tsinghua University Press,2004:163—165(in Chinese).[郑人杰.软件工程高级培训教程[M].北京:清 华大学出版社,2004:163—165.] E2]KONG Chui—yun.Research Oil software quality metrics based on CMMI[D].Beijing:Beijing Jiaotong University,2009: 24 26(in Chinese).[孔垂云.基于CMMI的软件质量度量研 究I-D].北京:北京交通大学,2009:24—26.] [3]ZHAO Jing—sheng,GU Xun-rang.Research on application of CMM to improve software process in software enterprises[J]. Computer Engineering and Design,2006,27(5):808—810 (in Chinese).[赵京胜,顾训穰.软件企业实施CMM改进软 件过程的研究[J].计算机工程与设计,2006,27(5): 808—810.] [4]YUAN Chang,Hu K in.Fuzzy decision—making model of software quality scheme EJ].Computer Engineering and De— sign,2008,29(18):4753—4758(in Chinese).[苑畅,胡克 谨.软件质量方案模糊决策模型的研究[J].计算机工程与设 计,2008,29(18):4753—4758.j [5]DONG Jian-li.Research and application of fuzzy synthesis evaluation of software quality EJ].Computer Engineering and Design,2006,27(12):2196—2199(in Chinese). [董剑利. 软件质量的模糊综合评判研究与应用[J].计算机工程与设 计,2006,27(12):2196 2199.] [6]QU Xiaoying,CHEN Xuesong,ZHENG Guoqi ̄ERP soft— ware quality fuzzy synthetic evaluation method[J].Computer Engineering,2006,32(9):81—82(in Chinese).[曲晓英, 陈雪松,郑国勤.ERP软件质量模糊综合评价方法口].计算 机工程,2006,32(9):81 82.] 第33卷第2期 柴获,闫军,李秦渝:基于置信度的软件质量模糊评价模型研究 (in Chinese).[郑鹏,郑德祥.基于模糊集对分析的软件质 量综合评价[J].计算机工程与设计,2008,29(16): 4238—4240.] [12]Ryoke M,Nagase K,Nakamori Y.Quantification of rela— tionships between evaluation targets and adjectives through [7]Calafiore G,Campi M C.Uncertain convex programs:Ran— domized solutions and confidence levels EJ].Mathematical Pro— gramming,2005,102(1):25—46 [8]DONG Xiang ̄un,CHEN Jian—bin,CUI Lin,et a1.Research on relationships of confidence among positive and negative asso— ciation rules[J].Application Research of Computers,2005, fuzzy correspondence analysis and OWA operator Lc].Pro— ceedings of the IEEE International Conference on Systems, 2007:656—660. 22(7):34—35(in Chinese). [董祥军,陈建斌,崔林,等. 正、负关联规则间的置信度关系研究EJ].计算机应用研究, 2005,22(7):34—35.] [13]FENG Hui,wANG Ling.Introduction of software quality [9]QIAN Tie-yun,FENG Xiao-nian,WANG Yuan-zhen.Mining negative correlation rules beyond support—confidence framework metric and software product evaluation『J].Computer Appli— cations and Software,2005,22(2):31—32(in Chinese), _J].Computer Science,2005,32(10):124—163(in Chi— [冯惠,王凌.浅谈软件质量度量和软件产品评价[J].计算 机应用与软件,2005,22(2):31—32.] [14]Yan M,Cukic B Adequate and precise evaluation of quality models in mftware engineering studies[C].International w。rk— shop on Predictor Models in Software Engineering,2007. nese).[钱铁云,冯小年,王元珍.超越支持度一置信度框架的 负相关对规则挖掘[J].计算机科学,2005,32(10): 124 163.] ElO]WANG Yu-liang.Discuss the scientific or rationality of the evaluation[Jj.Tian Fu New Idea,2007,23(5):12—17 [15]YOU Lan,ZHOU Ya-qian,HUANG Xuan-jing,et a1.A maximum entropy model based confidence scoring algorithm for (in Chinese).[王玉棵.论评价的科学性或合理性问题口]. 天府新论,2007,23(5):12—17.] [11]ZHENG Peng,ZHENG De-xiang.Comprehensive evaluation of software quality based on fuzzy set pair analysis EJ].Com— puter Engineering and Design,2008,29(16):4238—4240 QA[J].Journal of Software,2005,16(8):1407—1414 (in Chinese).[游斓,周雅倩,黄萱菁,等.基于最大熵模 型的QA系统置信度评分算法_J].软件学报,2005,16 (8):1407—1414.] (上接第580页) ElO]YIN Jiang-zhang.Improvement of wireless LAN safety[J]. Computer Engineering and Design,2008,29(11):41 43 的设计[J].计算机工程与设计,2003,24(11):107—110.] [15]XU Li—xin,wU Zu-lin,ZHANG Xin-cheng.Application of encryption and digital signature based on online bidding口]. Computer Engineering and Design,2005,26(6):1431—1433 (in Chinese). [尹建璋.无线局域网阿络安全措施的改进 [J].计算机工程与设计,2008,29(11):41~43.] El1]Matt Bishop.Computer security:Art and science r M]. WANG Libin,trans1.Beijing:Tsinghua University Press, (in Chinese).[徐立新,吴相林,张新成.在线招投标系统 中的加密和数字签名技术[J].计算机工程与设计,2005, 26(6):1431—1433.] [16]XU Li xin,GU0 Zu-hua,cHEN Zhen,et a1.Research of security architecture and key technology for web system based 2005(in Chinese).[马特毕晓普.计算机安全:艺术与科学 [Ⅳ【1.王立斌,译.北京:清华大学出版社,2005.] [12]Gray McGraw.Software security:Building security in[M]. New Jersey:Addison-Wesley Professional,2006. [13]GUO Qiang,LV Shu wang.Research about the bidding on online bidding EJ].Computer Engineering and Design, 2006,27(17):3142~3144(in Chinese).[徐立新,郭祖华, 陈震,等.在线招投标Web系统安全结构及关键技术的研究 website’s security problem[J].Computer Engineering and Design,2007,28(2):320—321(in Chinese).[国强,吕述 望.招投标网站安全问题研究[J].计算机工程与设计, 2007,28(2):320—321.] [J].计算机工程与设计,2006,27(17):3142—3144.] [17]XU Li-xin,CHEN Fu-mir ̄A method for protecting data security based on the online bidding_J].Computer Engineering and Appli— cation,2005,41(13):150—152(in Chinese).[徐立新,陈富 [14]GUO Jun-fang,FANG Le-ping.Overall design of the on-web invite public biding system based on SET protocol FJ].Corn— puter Engineering and Design,2003,24(11):107一I10(in 民.一种基于在线招投标系统保护数据安全性的方法'J].计 算机工程与应用,2005,41(13):150—152.] Chinese).[郭均纺,方乐平.基于SET协议的网上招标系统