09、性能测试基础篇
性能测试
中国软件评测中心 陈渌萍 2004年7月
1
性能测试课程介绍
中国软件评测中心 2004年7月
2
课程内容
性能测试基础篇
应用在客户端性能的测试 应用在网络上性能的测试 应用在服务器上性能的测试
性能测试案例篇
测试案例分析
课程内容浏览
3 4
性能测试实践篇
测试需求分析 系统瓶颈分析 测试工具演示
应用在客户端性能的测试
4 4 4 4 并发性能测试 （重点讨论） 疲劳强度测试 大数据量测试 速度测试 4 4 4 4
应用在网络上性能的测试
网络仿真 网络故障分析、性能优化 网络应用性能监控 网络预测
5
6
1 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
应用在服务器上性能的测试
4 对主机和操作系统的监控 4 对数据库及应用系统的监控 4 对中间件服务器的监控 4 4 4 4 4
具体应用测试案例分析
Web站点测试 TUXEDO及国产中间件测试 Winsock并发性能测试 SQLServer并发性能测试 NetLoad并发性能测试
7
8
测试需求分析
4 测试需求 4 计划测试 4 运行测试
系统瓶颈分析
4 理论与观点 4 经验 4 一个实例分析
9
10
测试工具演示
4 案例 4 使用
性能测试基础篇
中国软件评测中心 2004年7月
11 12
2 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
课程内容
应用在客户端性能的测试 应用在网络上性能的测试 应用在服务器上性能的测试
性能测试
性能测试在软件质量保证中起重要作用。 把质量保证工作范围扩大到部署阶段之外，从 而提高应用系统的质量。 性能测试概括为三类： 4 应用在客户端性能的测试 4 应用在网络上性能的测试 4 应用在服务器上性能的测试
13
14
应用在客户端性能的测试
考察客户端应用的性能，测试的入口是客户端 4 并发性能测试 （重点讨论） 4 疲劳强度测试 4 大数据量测试 4 速度测试
应用在客户端性能的测试
4 并发性能测试
2 并发性能测试基础
三个概念：
负载测试（Load Testing） 压力测试（Stress Testing）
并发性能测试
15
16
应用在客户端性能的测试
负载测试（Load Testing）
负载测试是确定在各种工作负载下系统的性能，目标是测 试当负载逐渐增加时，系统组成部分的相应输出项，例 如通过量、响应时间、CPU负载、内存使用等如何决定 系统的性能。
应用在客户端性能的测试
压力测试（Stress Testing）
压力测试通过确定一个系统的瓶颈或者不能接收的性能点， 来获得系统能提供的最大的服务级别的测试。
17
18
3 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
应用在客户端性能的测试
并发性能测试
并发性能测试的过程，是一个负载测试和压力测试的 过程。即逐渐增加负载，直到系统的瓶颈或者不能接 收的性能点，通过综合分析交易执行指标、资源监控 指标等来确定系统并发性能的过程。
应用在客户端性能的测试
4 并发性能测试
业务排队等待
所有设备运转正常!
极慢的响应时间 发怒的用户
19
业务是否可用??
20
应用在客户端性能的测试
问题的根源是什么?
Database, A pplication, and Web servers
应用在客户端性能的测试
4 并发性能测试
SNMP Lotus Notes
Linux
复杂！！！
IPX Email FTP
Oracle
Sybase MS Exchange
WWW
TCP/IP
D edicated and Shared WAN
在多种平台上的数百个服务器 MS SQL Server 异构系统、多种应用 数千个工作站 局域网、广域网和其他分类型的分布式网络体系结构 交错的故障点
Network News
2
2 为什么做并发性能测试 4 在真实环境下检测系统性能，评估系统性能以及服务等 级的满足情况 4 预见系统并发承受力 ,在应用实际部署之前，评估系统 性能 4 避免用户遭受反应慢，系统失灵等问题 4 帮助软件厂商或用户分析系统瓶颈、优化系统以及规划 网络配置
21
22
应用在客户端性能的测试
4 并发性能测试
2 性能测试的投资回报体现为：
4 4 4 4 4 交付高质量的系统 避免项目投产后的失败导致的投资损失 最大程度为用户考虑 为企业的实施提供信心 软硬件投资最低化，实现正确的容量规划
应用在客户端性能的测试
4 并发性能测试的基本策略
自动负载测试
通过在一台或几台PC机上模拟成百或上千的虚拟用户同时 执行业务的情景，对应用程序进行测试，通过可重复的、 真实的测试能够彻底地度量应用的性能，确定问题所在。 工程项目实践证明,其测试结果与实际情况完全符合。
23
24
4 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
应用在客户端性能的测试
自动化测试优势分析
快速 可靠 可重复 可编程的 综合测试 可重用的 比手工操作绝对快 每一次运行精确地执行相同的操作，可以排除手工操 作错误 测试相同操作重复执行时软件如何响应 可以编程实现得到应用系统隐藏信息的复杂测试 可以实现覆盖应用系统每个特征的一套综合测试方案 针对应用系统的不同版本，测试脚本可重复使用，即 使用户界面发生变化
25
应用在客户端性能的测试
4 并发性能的测试目的
2 评价系统当前性能 2 预测系统未来性能 2 寻找瓶颈，优化性能
26
应用在客户端性能的测试
2 并发性能测试需要哪些准备
4 测试环境 4 测试工具 4 测试数据
应用在客户端性能的测试
2 测试环境
2 测试环境的基本原则
4 符合软件运行的最低要求，不一定选择将要部署的 环境 4 选用比较普及的操作系统和软件平台 4 营造相对简单、独立的测试环境 4 无毒的环境
27
28
应用在客户端性能的测试
4 测试环境
2 并发性能测试，测试环境还需要注意以下几 点：
4 必须考虑测试工具的硬件和软件配置要求 4 明确测试类型及与该类型关联的测试环境需求 4 测试环境中应包括对交互操作的支持 4 测试环境中应该包括安装、备份及恢复过程 4 排除网络环境
应用在客户端性能的测试
4 好的测试环境的标准：
4 一个稳定、可重复的测试环境能够保证测试结果的 正确 4 保证达到测试执行的技术需求 4 保证得到可重复的和易理解的测试结果
29
30
5 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
应用在客户端性能的测试
4 测试环境配置（不包括测试工具）的主要内 容
4 4 4 4 操作系统的版本（包括各种服务、安装及修改补丁） 网络软件的版本 传输协议 服务器及工作站机器
应用在客户端性能的测试
4 并发性能测试需要哪些准备
2 测试工具
2 QALoad－美国Compuware(康博)公司 2 LoadRunner－美国Mercury Interactive公司 2 Benchmark Factory－美国Quest软件公司 2 WAS－美国Mcrosoft 公司 2 SILK PERFORMER V －美国Segue 公司
31
32
应用在客户端性能的测试
4 QALoad－美国Compuware(康博)公司
4 测试接口：DB2，DCOM，ODBC，ORACLE， NETLoad，Corba，QARun，SAP，SQLServer， Sybase，Telnet，TUXEDO，UNIFACE， WinSock，WWW 4 预测系统性能 4 通过重复测试寻找瓶颈问题 4 从控制中心管理全局负载测试 4 验证应用的可扩展性 4 快速创建仿真的负载测试
应用在客户端性能的测试
4 QALoad测试过程
制定负载测试计划 开发测试脚本 创建运行场景 运行测试 监视场景 分析测试结果
33
34
应用在客户端性能的测试
4 QALoad－Summary结果报告
应用在客户端性能的测试
4 QALoad－结果分析
35
36
6 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
应用在客户端性能的测试
4 LoadRunner－美国Mercury Interactive公司
4 测试接口：接口多且个别接口支持的版本较高 4 设置灵活 4 丰富的资源监控 4 报告
应用在客户端性能的测试
4 LoadRunner提供的监控对象
37
38
应用在客户端性能的测试
4 Benchmark Factory－美国Quest软件 公司
2 可以测试服务器集群的性能 2 基准测试 2 高级脚本
2 2 2 2 2
应用在客户端性能的测试
4 WAS－美国Mcrosoft 公司
测试指标主要有：
Number of hits：测试间隔内虚拟用户点击页面的总次数 Requests per second：每秒客户端的请求次数 Threads：线程数 TTFB Avg：从第一个请求发出到测试工具接收到服务器应答 数据的第一个字节之间的平均时间 TTLB Avg：从第一个请求发出到测试工具接收到服务器应答 数据的最后一个字节之间的平均时间
39
40
应用在客户端性能的测试
4 SILK PERFORMER V 美国Segue 公司
2 在工具中融合了功能测试的方法，即内容校验 2 脚本采用PASCAL，资源消耗较小，支持一些 底层访问 2 错误可精确定位 2 提供数据池模板，并可定制
应用在客户端性能的测试
4 并发性能测试需要哪些准备
2 测试数据
在测试环境中需要输入一些适当的测试数据
41
42
7 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
应用在客户端性能的测试
4 并发性能测试需要哪些准备
2 为什么要准备测试数据
4 识别数据状态 4 验证测试案例 4 初始数据提供了一个基线用来评估测试执行的结果 4 在测试正式执行时还需要准备业务测试数据
应用在客户端性能的测试
4 并发性能测试的种类
DB2，DCOM，ODBC，ORACLE，NETLoad， Corba，QARun，SAP，SQLServer，Sybase， Telnet，TUXEDO，UNIFACE，WinSock， WWW，Java Script、流媒体等不同的测试接口
43
44
应用在客户端性能的测试
4 并发性能测试过程
1. 2. 3. 4. 5. 6. 7. 8. 测试需求与测试内容 测试案例制定 测试环境准备 测试脚本录制、编写与调试 脚本分配、回放配置与加载策略 测试执行跟踪 结果分析与定位问题所在 测试报告与测试评估
应用在客户端性能的测试
4 举例说明测试需求和测试内容的制定
主要是充分分析系统有价值的信息 主要途径有三个： 2 任务分布图 2 交易混合图 2 用户概况
45
46
y
应用在客户端性能的测试
4 任务分布图
2 有哪些交易任务 2 在一天的某些特定时刻系统都有哪些主要操作
登录
220
250
210
记帐
10
15
12
21
创建记录
180
110
120
90
50
数据更新
90
75
46
30
查询
50
30
20
14
批处理
20
25
15
生成报表
50
60
40
系统备份
11
8
12
1
2
4
6
8
10
12
14
16
18
20
22
24
x
47
8 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,
选择的标准：
应用在客户端性能的测试
4 交易混合图
2 系统主要有哪些操作？高峰期有哪些操作 2 数据库操作有多少 2 如果任务失败，那么商业风险有多少
高吞吐量
高数据库I/O
高峰期业 务 210/hr 15/hr
高商业风险
数据库服 务器 负载 低 中等 中等 中等 高
交易名称 登陆 开一个 新帐号 生成订单 更新订单 发货
日常业务 70/hr 10/hr
Web服务 器负载 高 中等 中等 中等 中等
风险 大 小 中 大 大
130/hr 20/hr 40/hr
180/hr 30/hr 90/hr
49
50
应用在客户端性能的测试
4 用户概况
输入订单
任务频率
定票部门 （170） 100 50 飞行部门 （50） 25 10 70 5 8 经理 （30）
2 哪些任务是每个用户都要执行的？ 2 针对每个用户，不同任务的比例如何?
更新订单 计算飞行 里程 计算销售
51
52
应用在客户端性能的测试
4测试强度估算
80～20原理：每个工作日中80％的业务在20％的时间内完成。 举例： 每年业务量集中在8个月，每个月20个工作日，每个工作日8小时 即每天80%的业务在1.6小时完成 去年全年处理业务约100万笔，其中15％的业务处理中每笔业务需对 应用服务器提交7次请求；其中70％的业务处理中每笔业务需对应用 服务器提交5次请求；其余15％的业务处理中每笔业务需对应用服务 器提交3次请求。根据以往统计结果，每年的业务增量为15％，考虑 到今后3年业务发展的需要，测试需按现有业务量的两倍进行。
应用在客户端性能的测试
4测试强度估算
每年总的请求数为： (100x15%x7+100x70%x5+100x15%x3) x2=300万次/年 每天请求数为：300/160=1.875万次/天 每秒请求数为： (18750x80%)/(8x20%x3600)=2.6次/秒 即服务器处理请求的能力应达到3次/秒
54
53
9 PDF 文件使用 "pdfFactory Pro" 试用版本创建 https://www.wendangku.net/doc/c63108032.html,