mysql性能分析之临时表(共享)
b u
c e p h a l u s
Mysql 性能分析之临时表
1
临时表与磁盘临时表 ............................................................................................................... 1 2
磁盘临时表的产生 ................................................................................................................... 1 3 临时表状态监控 .. (2)
3.1 主要指标 (2)
3.2 监控方法 ....................................................................................................................... 3 4
案例分析 (4)
1 临时表与磁盘临时表
临时文件大家都不陌生，就是为了各种不同的目的，产生的中间文件。使用完毕后会被及时的回收和清理。临时表也是如此，它是mysql 在进行一些内部操作的时候生成的数据库表。这些操作主要包括，group by, distinct ，一些order by 查询语句，UNION ，一些from 语句中的子查询（derived tables ）等。例如：
● 使用了order by 子句和一个不同的group by 子句，或者order by （或group by ）包含了JOIN queue 上非第一个表中的列，临时表将被创建。
● 使用了SQL_SMALL_RESULT 选项，mysql 会使用in ‐memory 临时表
● DISTINCT 和order by 一起使用可能会用到临时表
可以使用EXPLAIN 来分析查询语句，看看是否会用到临时表。EXPLAIN 输出中的EXTRA 列会指明是否“Using temporary ”。
事实上，大多数用户都不会去关注临时表的产生、使用与消亡的过程，因为它对用户是透明的。但是对于数据库管理员或者其他关心性能的人员而言，临时表就不得不引起注意，因为如果设置不当或者是程序使用不当，可能会产生大量的磁盘临时表，对系统性能产生很大的影响。
什么是磁盘临时表呢？
除了会直接产生磁盘临时表外，大量磁盘临时表是由内存临时表转化来的。临时表是存在于内存中，由MEMORY 引擎进行处理，速度较快。而磁盘临时表则是在磁盘上创建、使用、销毁的。由于磁盘是慢速访问设备，因此，磁盘临时表的操作效率要比临时表的操作差了几个数量级，具有较差的性能。因此，我们需要尽量避免磁盘临时表的产生。 2 磁盘临时表的产生
在使用中，有些时候是不能使用MEMORY 临时表的，而不得不使用MyISAM 引擎来处理临时表：
● 列中含有BLOB 或TEXT 字段
如果查询中包含BLOB 或者TEXT 列，临时表将直接被生成为MyISAM 表，因为这种类
b u
c e p h a l
u s
型的列不能存储在Memory 表中。
值得注意的是，一些设计上的问题可能会导致内存临时表的大小比想象中的大得多，Memory 表总是使用固定长度的列，因此,假如varchar(255)类型的列中只存储了y ，n 这样的值，而在内存中占有的大小依然是255，如果是utf8编码，就是255*3 。这也是为什么要避免使用不必要的长度来存储内容的重要原因。
● ORDER BY 或 DISTINCT 中出现了大于512bytes 的列
● 在使用UNION(ALL)的情况下，SELECT 子句中出现了大于512byte 的列
另外，当创建的MEMORY 临时表过大时，将被转换为MyISAM 表，并且存储在磁盘上。系统参数max_heap_table_size 决定了MEMORY 表大小的上限，适用于所有的内存表，包括使用CREATE TABLE 创建的表。但是，对于内部临时MEMORY 表而言，其大小还有受限于tmp_table_size 。也就是说，内存临时表的上限实际上是max_heap_table_size 和tmp_table_size 二者中的最小值。当MEMORY 表大小超过最大值时，将被自动转换为存储在磁盘上的磁盘临时表，使用MyISAM 引擎进行处理。
从mysql 的临时文件夹中可以查看是否会产生磁盘临时表，磁盘临时表是以#开头的文件。下面是每秒一次产生的一段查看快照：
3 临时表状态监控
3.1 主要指标
在性能测试的过程中，临时磁盘表的大量产生会造成较多的IO ，使系统性能大幅下降。和磁盘临时表相关的主要参数有：
● MAX_HEAP_TABLE_SIZE
MEMORY 表大小的最大值，通过这个值来计算MEMORY 表的最大行数
● MAX_TMP_TABLES
b u
c e p h a l u s
一个客户端同时打开的临时表个数限制
● TMP_TABLE_SIZE
临时表的最大值。超过了这个值，内存中的MEMORY 表将被自动转换为磁盘上的MyISAM 表。
● CREATED_TMP_DISK_TABLES
创建的磁盘临时表的个数。
● CREATED_TMP_TABLES
创建的内存临时表的个数
下面是一次性能测试过程中，对临时表性能监控的快照。
在性能测试的过程中是通过100*（磁盘临时表个数/(磁盘临时表个数+内存临时表个数)），也就是磁盘临时表占临时表的比例来衡量这个指标的健康程度的。
3.2 监控方法
在测试过程中，可以通过show status 命令的输出来查看临时表的状态变量，可以通过show variables 来查看系统参数的设置。
如果想观察一段时间内指标的变化，可以借助脚本或者第三方工具来进行查看。Mysql manager 就是一个不错的开源工具，它提供了丰富的管理、监控功能。通过它我们可以方便的查看状态变量、系统参数，还可以进行自定义图表，通过定义自己的公式来添加关心的指标。
官方下载地址：https://www.wendangku.net/doc/f95528094.html,/downloads/gui ‐tools/5.0.html
b u c
e p h a l u s
4 案例分析
在维护模块客户报表批量下载功能的测试中，发现max_heap_table_size 的值为32M ，而tmp_table_size 的值为512M 。有大量的磁盘临时表产生。
根据前面的分析，可能会是由于max_heap_table_size 参数过小导致。于是将max_heap_table_size 的值调整为512M 。挑选同一个任务，进行测试，同一个任务调整前后磁盘临时表的比率分别在90%和10%。说明参数的调整大大减少了磁盘临时表的产生，提高了操作效率。
优化前后对比如下：
通过提高该参数的值，可以解决大量磁盘临时表的问题，但是应当注意的有两点：
1. 参数设置只是一部分，相当一部分磁盘表的产生是由与SQL 和数据库的不合理设计造成的，比如含有TEXT 字段，这也是我们进行优化和问题分析的重点。
2. 不能盲目调大临时表的参数，因为内存是有限的，需要从全局来考虑。对参数的调整要进行系统的测试，以获得整体性能的提升。
b u
c e p h a l u s
系统性能优化方案
系统性能优化方案 (第一章) 系统在用户使用一段时间后（1年以上），均存在系统性能（操作、查询、分析）逐渐下降趋势，有些用户的系统性能下降的速度非常快。同时随着目前我们对数据库分库技术的不断探讨，在实际用户的生产环境，现有系统在性能上的不断下降已经非常严重的影响了实际的用户使用，对我公司在行业用户内也带来了不利的影响。 通过对现有系统的跟踪分析与调整，我们对现有系统的性能主要总结了以下几个瓶颈： 1、数据库连接方式问题 古典C/S连接方式对数据库连接资源的争夺对DBServer带来了极大的压力。现代B/S连接方式虽然不同程度上缓解了连接资源的压力，但是由于没有进行数据库连接池的管理，在某种程度上，随着应用服务器的不断扩大和用户数量增加，连接的数量也会不断上升而无截止。 此问题在所有系统中存在。 2、系统应用方式（架构）问题(应用程序设计的优化) 在业务系统中，随着业务流程的不断增加，业务控制不断深入，分析统计、决策支持的需求不断提高，我们现有的业务流程处理没有针对现有的应用特点进行合理的应用结构设计，例如在‘订单、提油单’、‘单据、日报、帐务的处理’关系上，单纯的数据关系已经难以承载多元的业务应用需求。 3、数据库设计问题（指定类型SQL语句的优化）
目前在系统开发过程中，数据库设计由开发人员承担，由于缺乏专业的数据库设计角色、单个功能在整个系统中的定位模糊等原因，未对系统的数据库进行整体的分析与性能设计，仅仅实现了简单的数据存储与展示，随着用户数据量的不断增加，系统性能逐渐下降。 4、数据库管理与研究问题(数据存储、物理存储和逻辑存储的优化) 随着系统的不断增大，数据库管理员（DBA）的角色未建立，整个系统的数据库开发存在非常大的随意性，而且在数据库自身技术的研究、硬件配置的研究等方面未开展，导致系统硬件、系统软件两方面在数据库管理维护、研究上无充分认可、成熟的技术支持。 5、网络通信因素的问题 随着VPN应用技术的不断推广，在远程数据库应用技术上，我们在实际设计、开发上未充分的考虑网络因素，在数据传输量上的不断加大，传统的开发技术和设计方法已经无法承载新的业务应用需求。 针对以上问题，我们进行了以下几个方面的尝试： 1、修改应用技术模式 2、建立历史数据库 3、利用数据库索引技术 4、利用数据库分区技术 通过尝试效果明显，仅供参考！
MYSQL数据库系统安全管理
.. .w 目录 正文 (1) 1研究的背景 (2) 2研究的目的和意义 (2) 3研究的容 (2) 3.1 MySQL数据库的安全配置 (2) 3.1.1系统部安全 (2) 3.1.2外部网络安全 (6) 3.2 MySQL用户管理 (10) 3.3 MD5加密 (14) 3.3.1 数据库中数据加密的原因 (14) 3.3.2 加密方式 (15) 3.3.3 Md5加密原理 (15) 3.3.4 具体算法 (17) 4总结 (18) 参考文献： (18) 附录： (19)
MySQL数据库安全管理 摘要：MySQL是完全网络化的跨平台关系型数据库系统，同时是具有客户机/服务器体系结构的分布式数据库管理系统。它具有功能强、使用简便、管理方便、运行速度快、安全可靠性强等优点，用户可利用许多语言编写访问MySQL数据库的程序，特别是与PHP更是黄金组合，运用十分广泛。由于MySQL是多平台的数据库，它的默认配置要考虑各种情况下都能适用，所以在用户自己的使用环境下应该进行安全加固。用户有责任维护MySQL数据库系统的数据安全性和完整性。 关键词：MYSQL；数据库；数据库安全；访问控制；MD5加密 正文 MySQL数据库的安全配置必须从两个方面入手，系统部安全和外部网络安全；MySQL用户管理主要用grant(授权)和revoke(撤权)两个SQL指令来管理；MD5在实际中的一个应用就是对数据库中的用户信息加密，当用户创建一个新的账号或者密码，他的信息不是直接保存到数据库，而是经过一次加密以后再保存，这样，即使这
些信息被泄露，也不能立即理解这些信息的真正含义。有效的提高了前台和后台的数据安全性。 1研究的背景 随着计算机技术和信息技术的迅速发展。数据库的应用十分广泛，深入到各个领域，但随之而来产生了数据的安全问题。 近年来，数据库供应商竞相为大众提供功能丰富的数据库环境，大多数主要系统都支持XML、Web服务、分布式复制、操作系统集成以及其他一些有用的功能。与以前相比，数据库更加容易遭受到攻击，它已经成为了更有价值的攻击目标，所以需要配置更多的安全功能，管理也要更加的谨慎。 2 研究的目的和意义 本文对MySQL数据库的安全配置、MySQL用户管理以及使用MD5加密提高数据库前台和后台数据安全性做了详细研究。 由于MySQL是多平台的数据库，它的默认配置要考虑各种情况下都能适用，所以用户需要根据具体的环境进行相关的安全配置，通过本文的研究，对如何提高数据库的安全性有很大的帮助。 3研究的容 3.1 MySQL数据库的安全配置 3.1.1系统部安全 MySQL安装好，运行了mysql_db_install脚本以后就会建立数据目录和初始化数据库。如果我们用MySQL源码包安装，而且安装目录是/usr/local/mysql，那么数据目录一般会是/usr/local/mysql/var。数据库系统由一系列数据库组成，每个数据库包含一系列数据库表。MySQL是用数据库名在数据目录建立建立一个数据库目录，各
MySQL权限表都有哪些
MySQL权限表都有哪些，分别控制MySQL哪些权限，有哪些注意事项？ 1、user：记录账号、密码、全局性权限信息等，里面的权限是全局级的 1）*_priv：适用MySQL服务器全局性的权限，假设某个账号拥有Delete_priv的全局性权限，则表示它可以对任何表进行删除数据的操作，这非常危险，所有一般只有超级用户root有这样的权限，其它普通用户没有。 2）max_*：资源管理列，用于规定账号的资源使用上限，其中： max_questions：每小时发出的语句数上限 max_updates：每小时发出的修改类语句数上限 max_connections：每小时连接数上限 max_user_connections：允许保有的连接数上限 3）SSL相关列： ssl_type，ssl_cipher，x509_isuser, x509_subject 2、db：记录各个帐号在各个数据库上的操作权限 *_priv：适用于某个数据库的权限 3、tables_priv：表级别的权限 Column_priv比较奇怪，因为照理说tables_priv只显示表级别的权限，列级别的权限应该在columns_priv里显示才对。后来查了资料才知道，原来这是为了提高权限检查时的性能，试想一下，权限检查时，如果发现tables_priv.Column_priv为空，就不需要再检查columns_priv 表了，这种情况在现实中往往占大多数。 4、columns_priv：列级别的权限 5、procs_priv：存储过程和函数的权限 6、proxies_priv：记录代理用户的权限 7、host权限表：配合db权限表对给定主机上数据库级操作权限作更细致的控制。这个权限表不受GRANT和REVO语句的影响
如何使用MySQL数据库
如何使用MySQL数据库 一、下载软件： ●下载MySQL数据库压缩安装文件，解压后得到mysql-essential-5.1.36-win32文件 夹，运行安装程序，将其安装到指定位置。 ●要在Java应用中访问MySQL数据库，需要相应的驱动程序。下载驱动程序 mysql-connector-java-5.1.10.zip，在解压后的文件夹根目录中找到资源包 mysql-connector-java-5.1.10-bin.jar。并将其拷贝到Tomcat的安装目录的lib 文件夹下。 二、基本操作 ●使用密码admin进入编辑管理平台，假设要建立数据库testjdbc，数据表user。 ●建立数据库 create database TestJDBC; ●设定当前数据库 use testJDBC ●建立数据表 create table user(username varchar(32),password varchar(32),age int, address varchar(32) ); ●添加数据 insert into user(username, password, age, address) values(‘John’,’ 123456’,18,’Hexi District, Tianjin’) ●显示数据表内容 select * from user; 三、其他常用命令 ●删除数据库 drop database testjdbc; ●显示当前数据库 show databases; ●显示数据表 show tables; ●删除数据表 drop table user; ●显示数据表结构 describe user; 四、MySQL的配置 ● 1.选择向导，进入配置界面
MSSQL数据库性能跟踪分析
MSSQL数据库性能跟踪分析 一、利用SQLDBTool.exe SQLDBTool.exe是西安中望软件自主开发、一个非常不错的数据库辅助管理工具。 1、数据库性能优化 该模块包括三项数据库优化方面的功能： ?数据库压缩 ?性能检测 结果将汇报如下：
?性能优化 数据库性能优化涉及多方面技术，其中数据库索引最为有效、直接。 系统将会自动为所需要的数据表进行优化、索引建立。 2、数据库大小统计 利用该功能可以分析当前数据库哪些表存储空间占用情况（记录行数、使用空间、数据占用大小、索引占用大小等），对于占用空间比较大的数据表则要更针对性地分析和优化。 数据表建立要则（参考）： ?单元数据表字段数不要太多，一般单元数据表控制在20字段。 ?对于一些不常用的、blog大字段（image、text等）最好独立成表进行存储。 索引建立提示（参考）：
?重点对对那些“被排序的（Order by ）、作为过滤条件的”字段最应建立索引。 二、利用“SQL事件探查器”（Profile） SQL事件探查器是MS SQL SERVER所提供的一个工具。该功能可以跟踪数据库的所有操作信息。从而进一步分析哪些数据库操作是需要优化、哪些应用需要优化。 进入该事件探查器，首先建立新的跟踪。在跟踪属性设置中，主要设置项有： 1、所要跟踪的事件 如果没有特别需要，可以以默认项设置。亦可以取消“安全审核”项 2、“筛选”项 重点可设置两项： ?设置为1-10之间。这样可以避免各种事件记录的干扰——因 为我们重点关注的是占用CPU比较大的事件。 ?
设置该项后，系统将会跟踪的信息记录 在所指定的数据库表中。 如本机数据库master下的tr_uses 存储于数据表后，便中以进一步分析 4、跟踪监控 在此您可以动态监控所有的数据库操作信息。并存储于指定的数据库/表中。也可以利用微软提供RML工具（Read80Trace）。 5、记录分析 记录分析可用“SQLDBTool”中的“事件跟踪分析”功能。 进入该功能，首先确定记录和存储事件探查器的记录表。
用MySQL创建数据库和数据库表
用MySQL创建数据库和数据库表 帐户luowei505050的专栏 类别数据库 #用MySQL创建数据库和数据库表 #1、使用SHOW语句找出在服务器上当前存在什么数据库：SHOW DATABASES; #2、创建一个数据库db1 create database db1; #3、选择你所创建的数据库 use db1; #use test; #4、创建一个数据库表 create table t_person (FNamevarchar(20),Fageint); # 5、显示表的结构： SHOW TABLES; #查看表中数据 select * from t_person; # 6、往表中加入记录 Insert Into t_person(FName,FAge) values('Jim',25); Insert Into t_person(FName,FAge) values('green',38);
Insert Into t_person(FName,FAge) values('kate',20); Insert Into t_person(FName,FAge) values('john',23); Insert Into t_person(FName,FAge) values('tom',28); Insert Into t_person(FName,FAge) values('daviy',30); #查看表中数据 select * from t_person; # 7、用文本方式将数据装入一个数据库表 LOAD DATA LOCAL INFILE "mytable.txt" INTO TABLE pet; #其它操作 insert into t_person(fname) values('lily'); insert into t_person values('poly',22); updatet_person set fage=30; updatet_person set fage=20 where fname='tom'; updatet_person set fage=50 where fname='tom' or fname='jim'; delete from t_person where fname='jim'; delete from t_person where fage>30; delete from t_person;
MySQL
MySQL数据库在在线监测系统中的应用研究 作者：毛成光张理兵郑王林钱继超 来源：《电子世界》2012年第04期 【摘要】MySQL数据库和PC104系统的应用都十分广泛，但是MySQL数据库在PC/104在线监测系统中应用方面的研究尚不多。本文中在线监测系统硬件平台采用PC/104，软件平台采用Windows2000操作系统，首先设计了一个MySQL的在线监测数据库，然后在 C++Build6.0开发环境下开发在线监测应用程序，模拟在线监测过程，每隔一段时间写一条数据库记录，同时在绘图曲线中实时更新，动态显示。 【关键词】在线监测系统；MySQL数据库；C++builder 1.引言 对于在线监测仪来说，通常都是长时间连续运行的，数据量一般都巨大，并且需要在过程控制中实时修改运行参数，如何管理数据文件，运行条件参数和相关信息等就显得尤为重要。这需要借助专门的数据库来才能有效的管理。 近20年来，数据库技术不断发展，至今已经有很多成熟的商品化的数据库管理系统（DBMS），例如：SQL Server、Oracle和Access等，它们的应用越来越广泛，但对用户来说还存在不足之处。（a）SQL Server：SQL验证的登陆只对特定的服务器有效，也就是说，在一个多服务器的环境中管理比较困难；对于每一个数据库，必须分别地为其设定管理权限；移植性较差，不能跨平台移植；价格也不便宜；（b）Oracle：价格昂贵，服务费用也比较高；对硬件要求也比较高，使得整体投入非常高；（c）Access：主要用于单机桌面小型数据库管理系统，属于Local DBMS，难以支持大型应用；速度比较慢，功能还不够完善。 目前，采用开源数据库已开始成为一种潮流，如许多小型、中型或大型网站数据库服务器都选择MySQL数据库。MySQL是一个精巧的SQL数据库管理系统，以操作简便著称。由于其强大的功能、丰富的应用程序接口及精巧的系统结构设计，在基于数据库的应用软件开发中得到了广泛的应用。MySQL具有下述优势；（a）是目前运行速度最快的SQL语言数据库；（b）多样的数据类型和超大的容量可以方便完整地保存反映设备状态的各种数据；（c）支持多平台，可以在不同的操作系统下进行数据的准确移植；（d）可以免费获得，可以有效降低成本。 本文中在线监测系统硬件平台采用PC/104，具体如下：PC/104嵌入式主板采用SBC-4571（北京集智达公司），其是嵌入式Vortex86 CPU模块，带4串口，2个USB，支持CRT/LCD/音频/网络，板载128MB DRAM内存，1个增强IDE接口，显示屏采用元太 6.4"LCD显示屏。
(完整版)数据库性能测试报告
数据库系统性能测试报告
目录 1计划概述 (3) 2参考资料 (3) 3术语解释 (3) 4系统简介 (3) 5测试环境 (3) 6测试指标 (4) 7测试工具和测试策略 (4) 8测试数据收集 (4) 9测试结果数据以及截图 (5) 10 测试结论 (10)
1计划概述 目的：找出系统潜在的性能缺陷 目标：从安全，可靠，稳定的角度出发，找出性能缺陷，并且找出系统最佳承受并发用户数，以及并发用户数下长时间运行的负载情况，如要并发100用户，如何对系统进行调优 概述：本次测试计划主要收集分析数据库处理并发请求相关数据，做出分析和调优 测试时间：*年*月**日*点*分-*点*分 2参考资料 相关性能测试资料 3术语解释 性能测试 英文解释：Performance testing 概念解释：运行性能测试确定系统处理能力，来判断系统是否需要优化 负载测试 英文解释：Load testing 概念解释：通过系统面临多资源运行或被攻击情况下进行测试 4系统简介 数据库服务器，支持整个系统对数据的存储过程 5测试环境
器 6测试指标 测试时间：*年*月*日—*年*月*日 测试范围：数据库处理服务器或客户端请求信息(插入，查询，更新，删除)语句时，服务器各项性能指标的性能测试 Jmeter指标：（由于Apache旗下性能测试工具Jmeter收集的性能指标偏少，下面的数据选取代表性指标）1．Average/ms：服务器处理事物平均响应时间（表示客户端请求到服务器处理信息且反馈客户端的时间） 2．Throughput/s：服务器每秒处理请求数（表示服务器每秒处理客户端请求数（单位：个/秒））3．KB/s：服务器每秒接受到的数据流量（表示服务器每秒接受到客户端请求的数据量KB表示）硬件指标： 1．%Processor time ：CUP使用率（平均低于75%，低于50%更佳） 2．System：Processor Queue Length ：CUP队列中的线程数（每个处理器平均低于2） 3．Memory：Pages/sec ：内存错误页数（平均低于20，低于15更佳） 4．Physical Disk-%Disk Time：磁盘使用率（平均低于50%） 5．SQL Server：Buffer Manager-Buffer Cache Hit Ratio：（在缓冲区告诉缓存中找到而不需要从磁盘中读取的页的百分比，正常情况次比率超过90%，理想状态接近99%） 7测试工具和测试策略 ?测试工具：Apache-Jmeter2.3.2 ?测试策略：根据公司内部实际情况，以及业务分布设置数据库访问量即并发用户数 ?测试数据：因为涉及公司内部数据不便外泄，敬请见谅！ ?数据说明：选取数据均为代表性数据，包括存储过程以及查询，更新，删除，插入 8测试数据收集 收集多轮测试的结果进行对比，绘制成几何增长图形，找出压力转折点
mysql系统特性
Mysql系统特性 1．使用C和C++编写，并使用了多种编译器进行测试，保证源代码的可移植性 2．支持AIX、FreeBSD、HP-UX、Linux、Mac OS、NovellNetware、OpenBSD、OS/2 Wrap、Solaris、Windows等多种操作系统3．为多种编程语言提供了API。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。 4．支持多线程，充分利用CPU资源 5．优化的SQL查询算法，有效地提高查询速度 6．既能够作为一个单独的应用程序应用在客户端服务器网络环境中，也能够作为一个库而嵌入到其他的软件中。 7．提供多语言支持，常见的编码如中文的GB 2312、BIG5，日文的Shift_JIS等都可以用作数据表名和数据列名。 8．提供TCP/IP、ODBC和JDBC等多种数据库连接途径。 9．提供用于管理、检查、优化数据库操作的管理工具。 10．支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 11．支持多种存储引擎。
MyISAMMysql的默认数据库，最为常用。拥有较高的插入，查询速度，但不支持事务 InnoDB事务型数据库的首选引擎，支持ACID事务，支持行级锁定BDB源自Berkeley DB，事务型数据库的另一种选择，支持COMMIT 和ROLLBACK等其他事务特性 Memory所有数据置于内存的存储引擎，拥有极高的插入，更新和查询效率。但是会占用和数据量成正比的内存空间。并且其内容会在Mysql 重新启动时丢失 Merge将一定数量的MyISAM表联合而成一个整体，在超大规模数据存储时很有用 Archive非常适合存储大量的独立的，作为历史记录的数据。因为它们不经常被读取。Archive拥有高效的插入速度，但其对查询的支持相对较差Federated将不同的Mysql服务器联合起来，逻辑上组成一个完整的数据库。非常适合分布式应用 Cluster/NDB高冗余的存储引擎，用多台数据机器联合提供服务以提高整体性能和安全性。适合数据量大，安全和性能要求高的应用CSV：逻辑上由逗号分割数据的存储引擎。它会在数据库子目录里为每个数据表创建一个.CSV文件。这是一种普通文本文件，每个数据行占用一个文本行。CSV存储引擎不支持索引。 BlackHole ：黑洞引擎，写入的任何数据都会消失，一般用于记录binlog做复制的中继
MySQL数据库管理之权限管理
MYSQL数据库管理之权限管理 小编做客服有一阵子了，总是有人在QQ群或者论坛上问关于mysql权限的问题,今天就总结一下关于MYSQL数据库的权限管理的经验。希望大家看完有所收获啦~ 一、MYSQL权限简介 关于mysql的权限简单的理解就是mysql允许你做你权利以内的事情,不可以越界。比如只允许你执行select操作，那么你就不能执行update操作。只允许你从某台机器上连接mysql，那么你就不能从除那台机器以外的其他机器连接mysql。 那么MYSQL的权限是如何实现的呢?这就要说到mysql的两阶段的验证，下面详细来介绍： 第一阶段：服务器首先会检查你是否允许连接。因为创建用户的时候会加上主机限制，可以限制成本地、某个IP、某个IP段、以及任何地方等，只允许你从配置的指定地方登录。后面在实战的时候会详细说关于主机的限制。 第二阶段：如果你能连接，MYSQL会检查你发出的每个请求，看你是否有足够的权限实施它。比如你要更新某个表、或者查询某个表，MYSQL会检查你对哪个表或者某个列是否有权限。再比如，你要运行某个存储过程，MYSQL会检查你对存储过程是否有执行权限等。 MYSQL到底都有哪些权限呢?从官网复制一个表来看看： 权限权限级别权限说明 CREATE数据库、表或索引创建数据库、表或索引权限DROP数据库或表删除数据库或表权限 GRANT OPTION数据库、表或保存的程序赋予权限选项 REFERENCES数据库或表 ALTER表更改表，比如添加字段、索引等DELETE表删除数据权限 INDEX表索引权限 INSERT表插入权限 SELECT表查询权限 UPDATE表更新权限 CREATE VIEW视图创建视图权限 SHOW VIEW视图查看视图权限 ALTER ROUTINE存储过程更改存储过程权限 CREATE ROUTINE存储过程创建存储过程权限 EXECUTE存储过程执行存储过程权限
软件性能瓶颈分析方法及优化
软件性能瓶颈分析方法及优化 影响软件应用性能的因素有很多，下面简单介绍下其中几种影响因素及分析方法。 一、性能瓶颈分析 1、内存分析 内存的使用情况是系统性能中重要的因素之一，频繁的页交换及内存泄露都会影响到系统 的性能（这里主要以Windows系统为主）。 内存分析用于判断系统有无遇到内存瓶颈，是否需要通过增加内存等手段提高系统性能表现。 （1）、查看Memory\Available Mbytes指标 在对系统进行操作系统级别的内存分析时，首先需要通过该指标（Available Mbytes：Windows系统自带计数器的一个计数值）建立一个初步的印象，了解性能测试过程中 系统是否仍然有足够的内存可用。如果该指标比较小，系统可能存在内存不足方便的问题，这时需要继续依据具体问题进行下一步分析。 （2）、注意Pages/sec、Pages Read/sec和Page Faults/sec的值 操作系统经常会利用磁盘交换方式提高系统的可用内存量或内存使用效率。Windows和Unix操作系统都提供了类似的方法来支持磁盘交换计数，而这三个指标直接反应了操作系统进行磁盘交换的频度。 如果Pages/sec的计数持续高于几百，很可能有内存方面的问题产生，但Pages/sec的 值很大不一定表明内存有问题，而可能是运行使用内存映射文件的程序所致。 Page Faults/sec值表示每秒发生的页面失效次数，页面失效次数越多，说明操作系统向 内存读取的次数越多。 Pages Read/sec的计数值阈值为5，如果计数值超过5，则可以判断存在内存方面的问题。（3）、根据Physical Disk计数器的值分析性能瓶颈 对Physical Disk计数器的分析包括对Pages Read/sec和%DiskTime及Average Disk Queue Length的分析。如果Pages Read/sec的值很低，同时%DiskTime和 Average Disk Queue Length的值很高，则可能是磁盘瓶颈；但如果队列长度增加的同 时Pages Read/sec并未降低，则是由于内存不足。 2、处理器分析 处理器（CPU）也可能是系统的瓶颈，下面是针对处理器进行分析的步骤： （1）、查看System\%Total Processor Time性能计数器的计数值 该计数值用于体现服务器整体的处理器利用率；对于多处理器系统而言，该计数值体现的 是所有CPU的平均利用率。如果该数值持续超过90%，则说明整个系统面临着处理器方 面的瓶颈，需要通过增加处理器来提高性能。 注意事项：由于操作系统本身的特性，在某些多CPU系统中，该数据本身并不大，但如果CPU之间负载状况极不均衡，也应该视作系统产生了处理器方面的瓶颈。 （2）、查看每个CPU的Processor\%Processor Time、Processor\%User Time和Processor\%Privileged Time
教你如何使用MySQL数据库
一、下载软件： ●下载MySQL数据库压缩安装文件，解压后得到mysql-essential-5.1.36-win32文件 夹，运行安装程序，将其安装到指定位置。 ●要在Java应用中访问MySQL数据库，需要相应的驱动程序。下载驱动程序 mysql-connector-java-5.1.10.zip，在解压后的文件夹根目录中找到资源包 mysql-connector-java-5.1.10-bin.jar。并将其拷贝到Tomcat的安装目录的lib 文件夹下。 二、基本操作 ●使用密码admin进入编辑管理平台，假设要建立数据库testjdbc，数据表user。 ●建立数据库 create database TestJDBC; ●设定当前数据库 use testJDBC ●建立数据表 create table user(username varchar(32),password varchar(32),age int, address varchar(32) ); ●添加数据 insert into user(username, password, age, address) values(‘John’,’ 123456’,18,’Hexi District, Tianjin’) ●显示数据表内容 select * from user; 三、其他常用命令 ●删除数据库 drop database testjdbc; ●显示当前数据库 show databases; ●显示数据表 show tables; ●删除数据表 drop table user; ●显示数据表结构 describe user; 四、MySQL的配置 ● 1.选择向导，进入配置界面
成绩管理系统java+mySQL
《Java语言》课程期末作业 题目第9题：学生成绩管理系统学院计算机学院 专业 班别 学号 姓名温景钊 2013年6月10日
一、课程题目 设计一个简易的学生成绩管理系统。用于记录学生的各科成绩，以及实现常用的统计功能。 (1) 记录学生的基本信息，如姓名、学号、专业、班级等 (2) 记录各科成绩 (3) 实现常用的统计功能，如：单科成绩排名、总分排名、统计成绩高于/低于某一临界值的学生、统计单科/总分平均值…… (4) 使用图形方式显示某些数据，如直方图显示各分数段的人数、绘制各科分数分布曲线……（可选） (5) 必须使用数据库。 其它功能可自行扩展。 二、题目分析与设计 1.注明所使用的开发环境(Eclipse、NetBeans，JBuilder)。 开发环境：Eclipse 2.论述题目的需求。给出软件功能架构图。 题目需求：通过数据库记录学生成绩和信息，并通过数据库读取这些信 息，实现单个学生查找、全体学生查找等功能和单科排名、平均分、总 分排名、平均分等功能。其他扩展功能：登录界面，保存到txt文件。 软件功能架构图： 其中，删除、修改、单个查找功能均通过学号定位学生
3.论述界面设计过程，指出其设计上的创意及组件的布局策略。 界面设计过程： 主要界面包括登录界面，主功能界面，各个子功能界面。登录界面包括3个面板，每个面板放入相应的标签、文本框、按钮等组件，登录界面采用3行1列的网格布局；主功能界面包括菜单栏和若干面板，面板中放入标签或若干按钮，菜单栏的菜单项与按钮相对应，主功能界面采用7行1列的网格布局；学生管理类子功能（增加学生、删除学生、修改学生、单个查找）界面采用6行2列的网格布局，每个网格均放入一个面板，每个面板放入标签、文本框、组合框、按钮等组件，以达到较友好的界面效果；学生查找类子功能界面（查看全体、按年级查询、按班别查询、按专业查询）和成绩管理类子功能（单科排名、总分排名、合格学生、挂科学生）界面采用边界布局，界面的上部放入一个面板，面板放入相应的按钮或组合框，中部放入一个文本域。所有错误信息等信
【IT专家】Mysql 简单权限表设计 附SQL语句
本文由我司收集整编，推荐下载，如有疑问，请与我司联系 Mysql 简单权限表设计附SQL语句 2016/11/15 0 ?-- MySQL Script generated by MySQL Workbench-- 11/15/16 14:24:49-- Model: New Model Version: 1.0-- MySQL Workbench Forward EngineeringSET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0;SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0;SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE=‘TRADITIONAL,ALLOW_INVALID_DATES’;-- ------------------------------------------------------- Schema happyloan-- ------------------------------------------------------- ------------------------------------------------------- Schema happyloan-- -----------------------------------------------------CREATE SCHEMA IF NOT EXISTS `happyloan` DEFAULT CHARACTER SET utf8 ;USE `happyloan` ;-- ------------------------------------------------------- Table `happyloan`.`sys_dict`-- -----------------------------------------------------CREATE TABLE IF NOT EXISTS `happyloan`.`sys_dict` ( `dict_code` VARCHAR(100) NOT NULL COMMENT ‘主键’, `dict_name` VARCHAR(100) NULL DEFAULT NULL COMMENT ‘字典名字’, `order_no` INT(11) NULL DEFAULT NULL COMMENT ‘排序’, `description` VARCHAR(500) NULL DEFAULT NULL COMMENT ‘修改时间’, `create_time` DATE NULL DEFAULT NULL COMMENT ‘创建时间’, `modify_time` DATE NULL DEFAULT NULL COMMENT ‘修改时间’, `is_del` INT(11) NULL DEFAULT NULL COMMENT ‘是否删除’, PRIMARY KEY (`dict_code`))ENGINE = InnoDBDEFAULT CHARACTER SET = utf8COMMENT = ‘数据字典表’;-- ------------------------------------------------------- Table `happyloan`.`sys_dict_data`-- -----------------------------------------------------CREATE TABLE IF NOT EXISTS `happyloan`.`sys_dict_data` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT ‘主键’, `dict_code` VARCHAR(100) NULL DEFAULT NULL COMMENT ‘数据类别ID’, `dictdata_value` VARCHAR(20) NULL DEFAULT NULL COMMENT ‘创建时间’, `dictdata_name`
优化数据库性能
查询速度慢如何解决 ------主要针对SQL 2005 为例 引起查询或更新的执行时间超过预期时间的原因有多种。查询运行慢，可能是由与运行 SQL Server 的网络或计算机相关的性能问题引起的，也可能是由物理数据库设计问题引起的。 查询和更新运行慢的最常见原因有： ?网络通讯速度慢。 ?服务器的内存不足，或者没有足够的内存供 SQL Server 使用。 ?索引列上缺少有用的统计信息。 ?索引列上的统计信息过期。 ?缺少有用的索引。 ?缺少有用的索引视图。 ?缺少有用的数据条带化。 ?缺少有用的分区。 1、用于对运行慢的查询进行故障排除的清单 当查询或更新花费的时间比预期时间长时，请考虑以下问题，找到可解答前一节中列出的查询运行慢的原因： ①. 是与组件而不是与查询相关的性能问题吗？例如，是网络性能低的问题吗？有其他可能引起或造成性能降低的组件吗？ Windows 系统监视器可用于监视与 SQL Server 和非 SQL Server 相关的组件的性能。有关详细信息，请参阅监视资源使用情况（系统监视器）。 ②. 如果性能问题与查询相关，那么涉及到的是哪个或哪组查询？ 首先使用 SQL Server Profiler来帮助找出运行慢的查询。有关详细信息，请参阅使用 SQL Server Profiler。 在找出运行慢的查询后，可以使用 SET 语句启用 SHOWPLAN、STATISTICS IO、STATISTICS TIME 和 STATISTICS PROFILE 选项，进一步分析查询的性能，相关描述如下： ?SET SHOWPLAN_XML ON 描述 SQL Server 查询优化器选择用来检索完善的 XML 文档数据的方法。有关详细信息，请参阅 SET SHOWPLAN_XML (Transact-SQL)。在 Microsoft SQL Server 2005 中，建议使用这种方法。此 SET 选项生成的信息比 SHOWPLAN_ALL 和 SHOWPLAN_TEXT SET 选项生成的信息详细。 ?SET SHOWPLAN_ALL ON 描述 SQL Server 查询优化器选择的数据检索方法。有关详细信息，请参阅 SET SHOWPLAN_ALL (Transact-SQL)。此 SET 选项生成的信息比 SHOWPLAN_TEXT SET 选项生成的信息详细。 ?SET SHOWPLAN_TEXT ON 返回每条 Transact-SQL 语句的执行信息，但不执行它们。有关详细信息，请参阅SET SHOWPLAN_TEXT (Transact-SQL)。
操作系统性能分析
操作系统性能分析 1Linux系统性能评估与优化 1.1影响Linux性能的因素 CPU 内存 磁盘I/O带宽 网络I/O带宽 1.2系统性能评估标准 其中： %user：表示CPU处在用户模式下的时间百分比。 %sys：表示CPU处在系统模式下的时间百分比。 %iowait：表示CPU等待输入输出完成时间的百分比。 swap in：即si，表示虚拟内存的页导入，即从SWAP DISK交换到RAM swap out：即so，表示虚拟内存的页导出，即从RAM交换到SWAP DISK。 1.3系统性能分析工具 常用系统命令 Vmstat、sar、iostat、netstat、free、ps、top等 常用组合方式 ?用vmstat、sar、iostat检测是否是CPU瓶颈 ?用free、vmstat检测是否是内存瓶颈
?用iostat检测是否是磁盘I/O瓶颈 ?用netstat检测是否是网络带宽瓶颈 1.4性能评估与优化过程 1.4.1系统整体性能评估（uptime命令） [root@web1 ~]# uptime 16:38:00 up 118 days, 3:01, 5 users, load average: 1.22, 1.02, 0.91 这里需要注意的是：load average这个输出值，这三个值的大小一般不能大于系统CPU 的个数，例如，本输出中系统有8个CPU,如果load average的三个值长期大于8时，说明CPU很繁忙，负载很高，可能会影响系统性能，但是偶尔大于8时，倒不用担心，一般不会影响系统性能。相反，如果load average的输出值小于CPU的个数，则表示CPU还有空闲的时间片，比如本例中的输出，CPU是非常空闲的。 1.4.2cpu性能评估 （1）利用vmstat命令监控系统CPU 该命令可以显示关于系统各种资源之间相关性能的简要信息，这里我们主要用它来看CPU一个负载情况。 下面是vmstat命令在某个系统的输出结果： [root@node1 ~]# vmstat 2 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 162240 8304 67032 0 0 13 21 1007 23 0 1 98 0 0 0 0 0 162240 8304 67032 0 0 1 0 1010 20 0 1 100 0 0 0 0 0 162240 8304 67032 0 0 1 1 1009 18 0 1 99 0 0 ●Procs r列表示运行和等待cpu时间片的进程数，这个值如果长期大于系统CPU的个数，说明CPU不足，需要增加CPU。 b列表示在等待资源的进程数，比如正在等待I/O、或者内存交换等。 ●Cpu us列显示了用户进程消耗的CPU 时间百分比。us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期大于50%，就需要考虑优化程序或算法。 sy列显示了内核进程消耗的CPU时间百分比。Sy的值较高时，说明内核消耗的CPU资源很多。
MySQL数据表类型 数据类型
表类型 MySQL的数据表类型很多，其中比较重要的是MyISAM，InnoDB这两种。 这两种类型各有优缺点，需要根据实际情况选择适合的，MySQL支持对不同的表设置不同的类型。下面做个对比： 一般情况下我觉得选择MyISAM就行，如果需要事务，或者需要很多用户同时修改某个数据表里的数据时，可以考虑InnoDB数据表。 数据类型 1.整型（xxxint） 右侧的取值范围是在未加unsigned关键字的情况下，如果加了unsigned，则最大值翻倍，如tinyint unsigned的取值范围为(0~256)。 书上说int(m)括弧里的m是表示SELECT查询结果集中的显示宽度，并不影响实际的取值范围，我测了一下，定义一个字段number 类型为int(4)，插入一条记录"123456",用mysql query broswer执行SELECT查询，返回的结果集中123456正确显示，没有影响到显示的宽度，不知道这个m有什么用。 2.浮点型(float和double)
参数m只影响显示效果，不影响精度，d却不同，会影响到精度。 比如设一个字段定义为float(5,3)，如果插入一个数123.45678,实际数据库里存的是123.457,小数点后面的数别四舍五入截成457了，但总个数不受到限制（6位，超过了定义的5位）。 3.定点数(decimal) decimal(m,d) 定点类型 浮点型在数据库中存放的是近似值，而定点类型在数据库中存放的是精确值。参数m是定点类型数字的最大个数（精度），范围为0~65，d小数点右侧数字的个数，范围为0~30，但不得超过m。 对定点数的计算能精确到65位数字。 4.字符串(char,varchar,xxxtext) 1.都可以通过指定n，来限制存储的最大字符数长度，char(20)和varchar(20)将最多只能存储20个字符，超过的字符将会被截掉。n必须小于该类型允许的最大字符数。 2.char类型指定了n之后，如果存入的字符数小于n，后面将会以空格补齐，查询的时候再将末尾的空格去掉，所以char类型存储的字符串末尾不能有空格，varchar不受此限制。 3.内部存储的机制不同。char是固定长度，char(4)不管是存一个字符，2个字符或者4个字符（英文的），都将占用4个字节，varchar是存入的实际字符数+1个字节（n<=255）或2个字节(n>255)，所以varchar(4),存入一个字符将占用2个字节，2个字符占用3个字节，4个字符占用5个字节。 4.char类型的字符串检索速度要比varchar类型的快。 varchar和text： 1.都是可变长度的，最多能存储65535个字符。 2.varchar可指定n，text不能指定，内部存储varchar是存入的实际字符数+1个字节 （n<=255）或2个字节(n>255)，text是实际字符数+2个字节。 3.text类型不能有默认值。