八六三软件评测中心
第三方测试的意义及政策依据
目录
一、第三方测试的必要性 (3)
1、客观性 (3)
2、独立性 (3)
3、专业性 (3)
4、项目监理 (4)
二、第三方测试的作用 (4)
三、第三方测试的类型 (4)
四、第三方测试的政策依据及过程 (5)
五、八六三软件评测中心 (6)
1、简介 (6)
2、服务类型 (6)
3、测试能力说明 (7)
第三方测试是指独立于客户方和开发方进行的软件评测,第三方基于国家认可的检测资质,站在客观公正的角度,可提供公平、公正、独立的第三方软件评测结果和评测报告。
一、第三方测试的必要性
1、客观性
第三方测试以合同的形式制约了测试方,使得它与开发方存在某种‘对立’的关系,所以它不会刻意维护开发方的利益,保证了测试工作在一开始就具有客观性。第三方一般都不直接参加开发方系统的设计和编程,为了能够深入理解系统,发现系统中存在得问题,第三方测试必须按软件工程的要求办事,以软件工程的标准要求开发方和用户进行配合,从而较好地体现软件工程的理念。引入第三方测试后,由于测试方相对的客观位置,由用户、开发方、测试方三方组成的三角关系也便于处理以往用户、开发方双方纠缠不清的矛盾,使得许多问题能得到比较客观的处理。
2、独立性
第三方测试不同于开发人员的自测试。由开发人员承担的测试存在很多弊病,除去自身利益驱使带来的问题外,还有许多不客观的毛病,主要表现在思维的定势上。由于他熟悉设计和编程等,往往习惯于按一定的“程式”考虑问题,以至思路比较局限,难于发现“程式”外存在的问题。因为第三方测试的目的就是为尽量多地发现程序中的错误而运行程序的过程,可以更多的发现问题。此外,随着系统越做越大,客观上讲开发人员也无精力参与测试,同时也不符合大生产专业分工的原则。
3、专业性
第三方测试不同于用户的自测试。用户是应用软件需求的提出者,对于软件应该完成的功能是非常清楚的,是进行功能验证的最佳人选。客观情况是,大部分的用户都不是计算机的专业人士,很难对系统的内部实现过程进行深入的分析。对系统的全面测试,功能测试仅仅是一个方面,还要包括并发能力、性能等多种技术测试。这些测试对技术有很高的要求,
必须由计算机的专业人员才能完成。
4、项目监理
第三方测试一般还兼顾初级监理的职能,不但要对应用进行各种测试,还进行需求分析的评审、设计评审、用户类文档的评审等,这些工作对用户进行系统的验收以及推广应用都非常有意义。
二、第三方测试的作用
1)、引入第三方测试团队后可以弥补项目组缺少专业测试经验的问题。
2)、补充项目业务人员参与项目测试精力不足问题。
3)、降低项目风险
第三方测试团队出现可以实现开发方、用户方、测试三方的权责分开,避免出现用户、开发方双方纠缠不清的矛盾,使得许多问题能得到比较客观的处理,引入权威的第三方测试可以降低项目失败的风险。
引入第三方测试团队可以提高系统稳定性,避免出现系统测试不到位,系统带严重缺陷上线。
三、第三方测试的类型
软件产品登记测试(双软企业认定、评估、退税使用)
第三方软件测试(科技成果鉴定、评价使用,高企申报使用、项目投标使用)科研项目验收及结项测试
信息化项目第三方验收测试
信息化监理服务
信息安全测试
行业测试解决方案(团队驻场服务)
测试咨询及培训等服务
四、第三方测试的政策依据及过程
(1)开发过程中,应进行全方位的伴随性测试。专业的测评机构能提供更深层次的系统测试,为平台运行提供质量保障。
(2)平台上线前,应由建设单位委托第三方软件测试机构进行全面的软件测试。找出开发过程中的缺陷,引导开发工程师及时进行修改,最终保障软件质量。为项目验收提供依据。
(3)平台上线后,对软件质量以及安全进行全方位评估。通过技术手段,检测软件的功能、安全漏洞等方面,验证系统是否符合应用需求,是否能有效防止非法攻击、木马、病毒等,找出影响当前平台性能效率的瓶颈,促进系统持续、健康、有效的发展。
主要针对项目验收、软件产品确认测评以及各单一特性的测评。
政策依据:
国办函〔2016〕108号《国务院办公厅关于印发“互联网+政务服务”技术体系建设指南的通知》
GB/T 25000.51-2016《系统与软件工程系统与软件质量要求和评价(SQuaRE)第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则》
GB/T 25000.10-2016 《系统与软件工程系统与软件质量要求和评价(SQuaRE)第10部分:系统与软件质量模型》
GW0014-2017《国家电子政务工程项目应用软件第三方测试规范》
五、八六三软件评测中心
1、简介
八六三软件评测中心(以下简称:中心)成立于2001年,是经政府授权成立的计算机软件产品质量检测机构,同时也是河南省最早从事第三方软件测试的专业机构。
2007年通过中国合格评定国家认可委员会国家级软件测试实验室的
认可,具备了开展公平、公正、独立的第三方软件评测资质。评测中心出具的测试报告不但在国内具有法律效力和权威性,而且在与CNAS签署互认协议的世界100多个国家和地区同样有效。
中心是中国软件测评联盟常务理事单位、是河南省认证认可协会理事单位,中心作为具有独立法人资格的第三方测评机构,经过十几年的发展,已经建立起了一套科学、完善的质量管理体系。
中心目前具有100多名以上专业的中高级软件测试工程师,拥有国内一流的软件测试技术和评测环境,配备了先进的软件功能测试工具及性能测试工具、故障诊断与分析工具、软件测试管理工具、网络协议分析仪等测试设备,建立了软件测试、软件中试及网络测试等专用实验室。
中心自成立以来,承担了数千个信息系统的测评项目,为客户方控制项目质量和保证项目投资收益保驾护航。中心经过多年发展,在技术团队、服务规范、案例经验和业务规模方面取得了长足发展,已经成为了测评行业的中坚力量。
中心业务范围涉及电子政务、烟草、电力、医疗、交通、制造业、水利、物流、金融、互联网电子商务等行业。
测评中心负责历届河南省青年创新软件设计大赛入围决赛作品的测
试工作。
2、服务类型
软件产品登记测试(双软企业认定、评估、退税使用)
第三方软件测试(科技成果鉴定、评价使用,高企申报使用、项目投
标使用)科研项目验收及结项测试
信息化项目第三方验收测试
信息化监理服务
信息安全测试
行业测试解决方案(团队驻场服务)
测试咨询及培训等服务
3、测试能力说明
测试能力说明
1)产品描述测试:确认产品描述是否符合规范要求;
2) 用户文档测试:确认用户文档是否符合规范要求;
3) 功能性测试:确认系统是否正确实现了用户的功能性要求;
4) 可靠性测试:确认系统功能在长时间及大数据量情况下运行是否可靠;
5) 易用性测试:确认系统是否容易被理解、学习和使用;
6) 性能效率测试:确认系统是否达到用户要求的性能指标;
7) 维护性测试:确认系统是否容易被修改;
8) 可移植性测试:确认系统是否能够在不同的软、硬件环境下正常运行。
《有理数》测试题 一、填空题(每小题4分,共20分): 1.下列各式-12,323,0,(-4)2,-|-5|,-(+3.2),422,0.815的计算结果,是整数的有________________,是分数的有_________________,是正数的有_________________,是负数的有___________________; 2. a 的相反数仍是a ,则a =______; 3. a 的绝对值仍是-a ,则a 为______; 4.绝对值不大于2的整数有_______; 5.700000用科学记数法表示是_ __,近似数9.105×104精确到_ _位,有___有效数字. 二、判断正误(每小题3分,共21分): 1.0是非负整数………………………………………………………………………( ) 2.若a >b ,则|a |>|b |……………………………………………………………( ) 3.23=32………………………………………………………………………………( ) 4.-73=(-7)×(-7)×(-7)……………………………………………( ) 5.若a 是有理数,则a 2>0…………………………………………………………( ) 6. 若a 是整数时,必有a n ≥0(n 是非0自然数) …………………………………………( ) 7. 大于-1且小于0的有理数的立方一定大于原数…………………………( ) 三、选择题(每小题4分,共24分): 1.平方得4的数的是…………………………………………………………………( ) (A )2 (B )-2 (C )2或-2 (D )不存在 2.下列说法错误的是…………………………………………………………………( ) (A )数轴的三要素是原点,正方向、单位长度 (B )数轴上的每一个点都表示一个有理数 (C )数轴上右边的点总比左边的点所表示的数大 (D )表示负数的点位于原点左侧 3.下列运算结果属于负数的是………………………………………………………( ) (A )-(1-98×7) (B )(1-9)8-17 (C )-(1-98)×7 (D )1-(9×7)(-8) 4.一个数的奇次幂是负数,那么这个数是…………………………………………( )
一、判断题 1. 测试是调试的一个部分(╳) 2. 软件测试的目的是尽可能多的找出软件的缺陷。(√) 3. 程序中隐藏错误的概率与其已发现的错误数成正比(√) 4. Beta 测试是验收测试的一种。(√) 5. 测试人员要坚持原则,缺陷未修复完坚决不予通过。(√) 6. 项目立项前测试人员不需要提交任何工件。(╳) 7. 单元测试能发现约80%的软件缺陷。(√) 8. 测试的目的是发现软件中的错误。(√) 9. 代码评审是检查源代码是否达到模块设计的要求。(√) 10. 自底向上集成需要测试员编写驱动程序。(√) 11. 测试是证明软件正确的方法。(╳) 12. 负载测试是验证要检验的系统的能力最高能达到什么程度。(√) 13. 测试中应该对有效和无效、期望和不期望的输入都要测试。(√)验收测试是由最终用户来实施的。(√) 14. 测试人员要坚持原则,缺陷未修复完坚决不予通过。(√) 黑盒测试也称为结构测试。(╳) 集成测试计划在需求分析阶段末提交。(╳)15. 软件测试的目的是尽可能多的找出软件的缺陷。(√ ) 16. 自底向上集成需要测试员编写驱动程序。(√ ) 17. 负载测试是验证要检验的系统的能力最高能达到什么程度。(╳) 18. 测试程序仅仅按预期方式运行就行了。(╳) 19. 不存在质量很高但可靠性很差的产品。(╳) 20. 软件测试员可以对产品说明书进行白盒测试。(╳) 21. 静态白盒测试可以找出遗漏之处和问题。(√) 22. 总是首先设计白盒测试用例。(╳ ) 23. 可以发布具有配置缺陷的软件产品。(√) 24. 所有软件必须进行某种程度的兼容性测试。(√ ) 25. 所有软件都有一个用户界面,因此必须测试易用性。(╳) 26. 测试组负责软件质量。(╳ ) 27. 按照测试实施组织划分,可将软件测试分为开发方测试、用户测试和第三方测试。(√) 28. 好的测试员不懈追求完美。(× ) 29. 测试程序仅仅按预期方式运行就行了。( × ) 30. 在没有产品说明书和需求文档的条件下可以进行动态黑盒测试。( √ ) 31. 静态白盒测试可以找出遗漏之处和问题。( √ ) 32. 测试错误提示信息不属于文档测试范围。( × ) 33. 代码评审是检查源代码是否达到模块设计的要求。(√ ) 34. 总是首先设计黑盒测试用例。( √ ) 35. 软件测试是有风险的行为,并非所有的软件缺陷都能够被修复。(∨) 36. 软件质量保证和软件测试是同一层次的概念。(x ) 37. 程序员兼任测试员可以提高工作效率。( x ) 38. 在设计测试用例时,应当包括合理的输入条件和不合理的输入条件。(∨) 39. 传统测试是在开发的后期才介入,现在测试活动已经扩展到了整个生命周期。(∨)40. 传统测试以发现错误为目的,现在测试已经扩展到了错误预防的范畴。∨ 41. 软件测试的生命周期包括测试计划、测试设计、测试执行、缺陷跟踪、测试评估。(∨)42. 软件生存周期是从软件开始开发到开发结束的整个时期。( x ) 43. 测试用例的数目越多,测试的效果越好。( x ) 44. 只要能够达到100%的逻辑覆盖率,就可以保证程序的正确性。( x )
软件测试的定义及常用软件测试方法介绍 一、软件测试的定义 1.定义:使用人工或者自动手段来运行或测试某个系统的过程,其目的在于检验它是否满 足规定的需求或弄清预期结果与实际结果之间的差别。 2.内容:软件测试主要工作内容是验证(verification)和确认(validation ),下面分别给 出其概念: 验证(verification)是保证软件正确地实现了一些特定功能的一系列活动,即保证软件以正确的方式来做了这个事件(Do it right) 1.确定软件生存周期中的一个给定阶段的产品是否达到前阶段确立的需求的过程 2.程序正确性的形式证明,即采用形式理论证明程序符合设计规约规定的过程 3.评市、审查、测试、检查、审计等各类活动,或对某些项处理、服务或文件等是否 和规定的需求相一致进行判断和提出报告。 确认(validation)是一系列的活动和过程,目的是想证实在一个给定的外部环境中软件的逻辑正确性。即保证软件做了你所期望的事情。(Do the right thing) 1.静态确认,不在计算机上实际执行程序,通过人工或程序分析来证明软件的正确性 2.动态确认,通过执行程序做分析,测试程序的动态行为,以证实软件是否存在问题。 软件测试的对象不仅仅是程序测试,软件测试应该包括整个软件开发期间各个阶段所产生的文档,如需求规格说明、概要设计文档、详细设计文档,当然软件测试的主要对象还是源程序。 二、软件测试常用方法 1. 从是否关心软件内部结构和具体实现的角度划分: a. 黑盒测试 黑盒测试也称功能测试,它是通过测试来检测每个功能是否都能正常使用。在测试中,把程序看作一个不能打开的黑盒子,在完全不考虑程序内部结构和内部特性的情况下,在程序接口进行测试,它只检查程序功能是否按照需求规格说明书的规定正常使用,程序是否能适当地接收输入数据而产生正确的输出信息。黑盒测试着眼于程序外部结构,不考虑内部逻辑结构,主要针对软件界面和软件功能进行测试。 黑盒测试是以用户的角度,从输入数据和输出数据的对应关系出发进行测试的,很明显,如果本身设计有问题或者说明规格有错误,用黑盒测试是发现不了的。
、测试项目概述与测试目的 1.1项目概述 本部分主要是针对即将进行压力测试的对象(接口、模块、进程或系统)进行概要的说明,让人明白该测试对象的主要功能与作用及相关背景。 1.2测试目标(目的) 简要列出进行本次压力测试的主要目标(目的) 1.3名词解释 性能测试过程中涉及的业务和技术方面的专业名词 1.4参考文档 列出与本文档相关的参考文档名称 2、测试对象的拓扑结构 本部分主要以图表加文字的方式,对待测试对 象(接口、模块、系统)的拓扑结构进行描述, 并标上必要的数据流向。注意:若生产实际跨 越物理主机的模块(进程,数据库)部署应在拓 扑图中要标示出来。 3、测试环境与测试数据 3.1测试环境 主要指软件实际运行的平台,以及软硬件配置,操作系统及版本,数据库名称及版本,客户端机器配置等方面内容 3.2测试数据
根据性能(压力)测试方案(计划)中测试数据的要求,结合测试方案与测试用例,构造符合要求的测试数据(包括系统初始数据与测试发送数据),并描述测试数据的总量及简述这些测试数据生成的方法。 4 测试策略 4.1测试方案 根据测试目的,写出测试的总体方案(方法)及所采用的技术手段等。 4.2测试场景 针对测试目的,结合所测对象的具体特征,设计出达到要求的并且符合真实生产场景的测试场景。 4.3测试用例 根据测试场景,转换成对应的测试用例。 5、测试执行步骤 具体描述每个场景的测试执行步骤,并同时说明采集的相关指标值。 6 测试结果 针对每一个测试场景的相关测试观测指标要进行采集与记录(测试执行前,过程中,执行完),指标的采集可以通过工具,手工以及编写脚本相结合的方法获得,并把采集的这些指标值通过表格或图表的方式陈列出来。 7 测试结果分析 根据收集的测试结果,首先要进行程序资源消耗分析(cpu,内存,磁盘)与IO 分析,接着要根据测试目的(目标)项进行对应分析,最后根据测试结果记录表中各个场景的对比分析,从中分析归纳出影响系统压力性能的关键影响因素(可选),并借助图表的方式来表达。直观且有说服力。