月度归档:2014年10月

MySQL 必须调整的 10 项参数

你需要经常察看以下3个配置项。不然,可能很快就会出问题。

innodb_buffer_pool_size:这是你安装完InnoDB后第一个应该设置的选项。缓冲池是数据和索引缓存的地方:这个值越大越好,这能保证你在大多数的读取操作时使用的是内存而不是硬盘。典型的值是5-6GB(8GB内存),20-25GB(32GB内存),100-120GB(128GB内存)。

innodb_log_file_size这是redo日志的大小。redo日志被用于确保写操作快速而可靠并且在崩溃时恢复。一直到MySQL 5.1,它都难于调整,因为一方面你想让它更大来提高性能,另一方面你想让它更小来使得崩溃后更快恢复。幸运的是从MySQL 5.5之后,崩溃恢复的性能的到了很大提升,这样你就可以同时拥有较高的写入性能和崩溃恢复性能了。一直到MySQL 5.5,redo日志的总尺寸被限定在4GB(默认可以有2个log文件)。这在MySQL 5.6里被提高。

一开始就把innodb_log_file_size设置成512M(这样有1GB的redo日志)会使你有充裕的写操作空间。如果你知道你的应用程序需要频繁的写入数据并且你使用的时MySQL 5.6,你可以一开始就把它这是成4G。

max_connections:如果你经常看到‘Too many connections’错误,是因为max_connections的值太低了。这非常常见因为应用程序没有正确的关闭数据库连接,你需要比默认的151连接数更大的值。max_connection值被设高了(例如1000或更高)之后一个主要缺陷是当服务器运行1000个或更高的活动事务时会变的没有响应。在应用程序里使用连接池或者在MySQL里使用进程池有助于解决这一问题。

InnoDB配置

从MySQL 5.5版本开始,InnoDB就是默认的存储引擎并且它比任何其他存储引擎的使用都要多得多。那也是为什么它需要小心配置的原因。

innodb_file_per_table:这项设置告知InnoDB是否需要将所有表的数据和索引存放在共享表空间里(innodb_file_per_table = OFF) 或者为每张表的数据单独放在一个.ibd文件(innodb_file_per_table = ON)。每张表一个文件允许你在drop、truncate或者rebuild表时回收磁盘空间。这对于一些高级特性也是有必要的,比如数据压缩。但是它不会带来任何性能收益。你不想让每张表一个文件的主要场景是:有非常多的表(比如10k+)。

MySQL 5.6中,这个属性默认值是ON,因此大部分情况下你什么都不需要做。对于之前的版本你必须在加载数据之前将这个属性设置为ON,因为它只对新创建的表有影响。

innodb_flush_log_at_trx_commit:默认值为1,表示InnoDB完全支持ACID特性。当你的主要关注点是数据安全的时候这个值是最合适的,比如在一个主节点上。但是对于磁盘(读写)速度较慢的系统,它会带来很巨大的开销,因为每次将改变flush到redo日志都需要额外的fsyncs。将它的值设置为2会导致不太可靠(unreliable)因为提交的事务仅仅每秒才flush一次到redo日志,但对于一些场景是可以接受的,比如对于主节点的备份节点这个值是可以接受的。如果值为0速度就更快了,但在系统崩溃时可能丢失一些数据:只适用于备份节点

innodb_flush_method: 这项配置决定了数据和日志写入硬盘的方式。一般来说,如果你有硬件RAID控制器,并且其独立缓存采用write-back机制,并有着电池断电保护,那么应该设置配置为O_DIRECT;否则,大多数情况下应将其设为fdatasync(默认值)。sysbench是一个可以帮助你决定这个选项的好工具。

innodb_log_buffer_size: 这项配置决定了为尚未执行的事务分配的缓存。其默认值(1MB)一般来说已经够用了,但是如果你的事务中包含有二进制大对象或者大文本字段的话,这点缓存很快就会被填满并触发额外的I/O操作。看看Innodb_log_waits状态变量,如果它不是0,增加innodb_log_buffer_size。

其他设置

query_cache_size: query cache(查询缓存)是一个众所周知的瓶颈,甚至在并发并不多的时候也是如此。 最佳选项是将其从一开始就停用,设置query_cache_size = 0(现在MySQL 5.6的默认值)并利用其他方法加速查询:优化索引、增加拷贝分散负载或者启用额外的缓存(比如memcache或redis)。如果你已经为你的应用启用了query cache并且还没有发现任何问题,query cache可能对你有用。这是如果你想停用它,那就得小心了。

log_bin:如果你想让数据库服务器充当主节点的备份节点,那么开启二进制日志是必须的。如果这么做了之后,还别忘了设置server_id为一个唯一的值。就算只有一个服务器,如果你想做基于时间点的数据恢复,这(开启二进制日志)也是很有用的:从你最近的备份中恢复(全量备份),并应用二进制日志中的修改(增量备份)。二进制日志一旦创建就将永久保存。所以如果你不想让磁盘空间耗尽,你可以用 PURGE BINARY LOGS 来清除旧文件,或者设置 expire_logs_days 来指定过多少天日志将被自动清除。
记录二进制日志不是没有开销的,所以如果你在一个非主节点的复制节点上不需要它的话,那么建议关闭这个选项。


skip_name_resolve:
当客户端连接数据库服务器时,服务器会进行主机名解析,并且当DNS很慢时,建立连接也会很慢。因此建议在启动服务器时关闭skip_name_resolve选项而不进行DNS查找。唯一的局限是之后GRANT语句中只能使用IP地址了,因此在添加这项设置到一个已有系统中必须格外小心。

总结

当然还有其他的设置可以起作用,取决于你的负载或硬件:在慢内存和快磁盘、高并发和写密集型负载情况下,你将需要特殊的调整。然而这里的目标是使得你可以快速地获得一个稳健的MySQL配置,而不用花费太多时间在调整一些无关紧要的MySQL设置或读文档找出哪些设置对你来说很重要上。

原文连接:http://www.oschina.net/translate/10-mysql-settings-to-tune-after-installation

Check_redis.pl nagios 使用方法

Check_redis.pl  nagios 使用方法

Next for help and to see what parameters this plugin accepts do: 
./check_redis.pl –help 

命令

define command { 
command_name check_redis_new 
command_line $USER1$/check_redis.pl -H $HOSTADDRESS$ -p $ARG1$ -T $ARG2$ -M $_HOSTSYSTEM_MEMORY$ -m $ARG3$

# Arguments and thresholds are: 
# $ARG1 : 端口
# $ARG2 : 反馈时间区间
# $ARG3 : 内存利用率阀值

服务模板
define service { 
use prod-service 
hostgroups redishosts 
service_description Redis 
check_command check_redis_new!6379!”1,2″!”80,90″!

主机模板
define host { 
use prod-server 
host_name redis.mynetwork 
address redis.mynetwork 
alias Redis Stat Server 
hostgroups linux,redishosts 
_SYSTEM_MEMORY ‘8G’ 

Redis.pl有很多扩展监控,请看./check_redis.pl –help 

配置例子:

主机
define host {
       host_name                       Redis01-70.175
       alias                             Redis01-70.175
       address                            10.10.10.175
       contact_groups                admin
       check_command              check-host-alive
       _SYSTEM_MEMORY       ’64G’
       max_check_attempts        5
       notification_interval      10
       notification_period        24×7
       notification_options       d,u,r
       }

服务
define service {
        host_name                      Redis01-70.175
        use                                 abc
        service_description            check_redis 6379
        contact_groups                 admin
        check_command                  check_redis!6379!”1,2″!”80,90″!
        }

命令
define command {
command_name check_redis
command_line $USER1$/check_redis.pl -H $HOSTADDRESS$ -p $ARG1$ -T $ARG2$ -M $_HOSTSYSTEM_MEMORY$ -m $ARG3$
}

linux中shell变量$#,$@,$0,$1,$2的含义解释

变量说明:
$$
Shell本身的PID(ProcessID)
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码(返回值)
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如”$*”用「”」括起来的情况、以”$1 $2 … $n”的形式输出所有参数。
$@
所有参数列表。如”$@”用「”」括起来的情况、以”$1″ “$2” … “$n” 的形式输出所有参数。
$#
添加到Shell的参数个数
$0
Shell本身的文件名
$1~$n
添加到Shell的各参数值。$1是第1参数、$2是第2参数…。
示例:

结果:

Have a nice day!!!

如何查看nginx,apache,mysql,php的编译参数

/usr/local为nginx apache mysql php的安装目录

1、查看nginx编译参数:
/usr/local/nginx/sbin/nginx -V

2、查看apache编译参数:
cat /usr/local/apache/build/config.nice

3、查看php编译参数:
/usr/local/php/bin/php -i | grep configure

4、查看mysql编译参数:
cat /usr/local/mysql/bin/mysqlbug | grep CONFIGURE_LINE

mysqldump导入导出数据库总结

mysqldump导入导出数据库总结

基本的使用方法总结:

1 导出所有库
系统命令行
mysqldump -uusername -ppassword –all-databases > all.sql

2 导入所有库
mysql命令行
mysql>source all.sql;

3 导出某些库
系统命令行
mysqldump -uusername -ppassword –databases db1 db2 > db1db2.sql

4 导入某些库
mysql命令行
mysql>source db1db2.sql;

5 导入某个库
系统命令行
mysql -uusername -ppassword db1 < db1.sql;
或mysql命令行
mysql>source db1.sql;

6 导出某些数据表
系统命令行
mysqldump -uusername -ppassword db1 table1 table2 > tb1tb2.sql

7 导入某些数据表
系统命令行
mysql -uusername -ppassword db1 < tb1tb2.sql
或mysql命令行
mysql>
user db1;
source tb1tb2.sql;

8 mysqldump字符集设置
mysqldump -uusername -ppassword –default-character-set=gb2312 db1 table1 > tb1.sql

mysqldump客户端可用来转储数据库或搜集数据库进行备份或将数据转移到另一个SQL服务器(不一定是一个MySQL服务器)。转储包含创建表和/或装载表的SQL语句。
如果你在服务器上进行备份,并且表均为MyISAM表,应考虑使用mysqlhotcopy,因为可以更快地进行备份和恢复。
有3种方式来调用mysqldump:
shell> mysqldump [options] db_name [tables]
shell> mysqldump [options] —database DB1 [DB2 DB3…]
shell> mysqldump [options] –all–database
如果没有指定任何表或使用了—database或–all–database选项,则转储整个数据库。
要想获得你的版本的mysqldump支持的选项,执行mysqldump —help。
如果运行mysqldump没有–quick或–opt选项,mysqldump在转储结果前将整个结果集装入内存。如果转储大数据库可能会出现问题。该选项默认启用,但可以用–skip-opt禁用。
如果使用最新版本的mysqldump程序生成一个转储重装到很旧版本的MySQL服务器中,不应使用–opt或-e选项。
mysqldump支持下面的选项:
· —help,-?
显示帮助消息并退出。
· –add-drop–database
在每个CREATE DATABASE语句前添加DROP DATABASE语句。
· –add-drop-tables
在每个CREATE TABLE语句前添加DROP TABLE语句。
· –add-locking
用LOCK TABLES和UNLOCK TABLES语句引用每个表转储。重载转储文件时插入得更快。
· –all–database,-A
转储所有数据库中的所有表。与使用—database选项相同,在命令行中命名所有数据库。
· –allow-keywords
允许创建关键字列名。应在每个列名前面加上表名前缀。
· —comments[={0|1}]
如果设置为 0,禁止转储文件中的其它信息,例如程序版本、服务器版本和主机。–skip—comments与—comments=0的结果相同。 默认值为1,即包括额外信息。
· –compact
產生少量输出。该选项禁用注释并启用–skip-add-drop-tables、–no-set-names、–skip-disable-keys和–skip-add-locking选项。
· –compatible=name
產生与其它数据库系统或旧的MySQL服务器更兼容的输出。值可以为ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options或者no_field_options。要使用几个值,用逗号将它们隔开。这些值与设置服务器SQL模式的相应选项有相同的含义。
该选项不能保证同其它服务器之间的兼容性。它只启用那些目前能够使转储输出更兼容的SQL模式值。例如,–compatible=oracle 不映射Oracle类型或使用Oracle注释语法的数据类型。
· –complete-insert,-c
使用包括列名的完整的INSERT语句。
· –compress,-C
压缩在客户端和服务器之间发送的所有信息(如果二者均支持压缩)。
· –create-option
在CREATE TABLE语句中包括所有MySQL表选项。
· —database,-B
转储几个数据库。通常情况,mysqldump将命令行中的第1个名字参量看作数据库名,后面的名看作表名。使用该选项,它将所有名字参量看作数据库名。CREATE DATABASE IF NOT EXISTS db_name和USE db_name语句包含在每个新数据库前的输出中。
· —debug[=debug_options],-# [debug_options]
写调试日志。debug_options字符串通常为’d:t:o,file_name’。
· –default-character-set=charset
使用charsetas默认字符集。如果没有指定,mysqldump使用utf8。
· –delayed-insert
使用INSERT DELAYED语句插入行。
· –delete-master-logs
在主复制服务器上,完成转储操作后删除二进制日志。该选项自动启用–master-data。
· –disable-keys,-K
对於每个表,用/!40000 ALTER TABLE tbl_name DISABLE KEYS */;和/!40000 ALTER TABLE tbl_name ENABLE KEYS /;语句引用INSERT语句。这样可以更快地装载转储文件,因为在插入所有行后创建索引。该选项只适合MyISAM表。
· –extended-insert,-e
使用包括几个VALUES列表的多行INSERT语法。这样使转储文件更小,重载文件时可以加速插入。
· –fields-terminated-by=…,–fields-enclosed-by=…,–fields-optionally-enclosed-by=…,–fields-escaped-by=…,–行-terminated-by=…
这些选项结合-T选项使用,与LOAD DATA INFILE的相应子句有相同的含义。
· –first-slave,-x
不赞成使用,现在重新命名为–lock-all-tables。
· –flush-logs,-F
开始转储前刷新MySQL服务器日志文件。该选项要求RELOAD权限。请注意如果结合–all–database(或-A)选项使用该选项,根据每个转储的数据库刷新日志。例外情况是当使用–lock-all-tables或–master-data的时候:在这种情况下,日志只刷新一次,在所有 表被锁定后刷新。如果你想要同时转储和刷新日志,应使用–flush-logs连同–lock-all-tables或–master-data。
· –force,-f
在表转储过程中,即使出现SQL错误也继续。
· –host=host_name,-h host_name
从给定主机的MySQL服务器转储数据。默认主机是localhost。
· –hex-blob
使用十六进制符号转储二进制字符串列(例如,’abc’ 变为0x616263)。影响到的列有BINARY、VARBINARY、BLOB。
· –lock-all-tables,-x
所有数据库中的所有表加锁。在整体转储过程中通过全局读锁定来实现。该选项自动关闭–single-transaction和–lock-tables。
· –lock-tables,-l
开始转储前锁定所有表。用READ LOCAL锁定表以允许并行插入MyISAM表。对於事务表例如InnoDB和BDB,–single-transaction是一个更好的选项,因为它不根本需要锁定表。
请注意当转储多个数据库时,–lock-tables分别为每个数据库锁定表。因此,该选项不能保证转储文件中的表在数据库之间的逻辑一致性。不同数据库表的转储状态可以完全不同。
· –master-data[=value]
该选项将二进制日志的位置和文件名写入到输出中。该选项要求有RELOAD权限,并且必须启用二进制日志。如果该选项值等於1,位置和文件名被写入CHANGE MASTER语句形式的转储输出,如果你使用该SQL转储主服务器以设置从服务器,从服务器从主服务器二进制日志的正确位置开始。如果选项值等於2,CHANGE MASTER语句被写成SQL注释。如果value被省略,这是默认动作。
–master-data选项启用–lock-all-tables,除非还指定–single-transaction(在这种情况下,只在刚开始转储时短时间获得全局读锁定。又见–single-transaction。在任何一种情况下,日志相关动作发生在转储时。该选项自动关闭–lock-tables。
· –no-create-db,-n
该选项禁用CREATE DATABASE /
!32312 IF NOT EXISTS*/ db_name语句,如果给出—database或–all–database选项,则包含到输出中。
· –no-create-info,-t
不写重新创建每个转储表的CREATE TABLE语句。
· –no-data,-d
不写表的任何行信息。如果你只想转储表的结构这很有用。
· –opt
该选项是速记;等同於指定 –add-drop-tables–add-locking –create-option –disable-keys–extended-insert –lock-tables –quick –set-charset。它可以给出很快的转储操作并產生一个可以很快装入MySQL服务器的转储文件。该选项默认开启,但可以用–skip-opt禁用。要想只禁用确信用-opt启用的选项,使用–skip形式;例如,–skip-add-drop-tables或–skip-quick。
· –password[=password],-p[password]
连接服务器时使用的密码。如果你使用短选项形式(-p),不能在选项和密码之间有一个空格。如果在命令行中,忽略了–password或-p选项后面的 密码值,将提示你输入一个。
· –port=port_num,-P port_num
用於连接的TCP/IP端口号。
· –protocol={TCP | SOCKET | PIPE | MEMORY}
使用的连接协议。
· –quick,-q
该选项用於转储大的表。它强制mysqldump从服务器一次一行地检索表中的行而不是检索所有行并在输出前将它缓存到内存中。
· –quote-names,-Q
用‘`’字符引用数据库、表和列名。如果服务器SQL模式包括ANSI_QUOTES选项,用‘”’字符引用名。默认启用该选项。可以用–skip-quote-names禁用,但该选项应跟在其它选项后面,例如可以启用–quote-names的–compatible。
· –result-file=file,-r file
将输出转向给定的文件。该选项应用在Windows中,因为它禁止将新行‘\n’字符转换为‘\r\n’回车、返回/新行序列。
· –routines,-R
在转储的数据库中转储存储程序(函数和程序)。使用—routines產生的输出包含CREATE PROCEDURE和CREATE FUNCTION语句以重新创建子程序。但是,这些语句不包括属性,例如子程序定义者或创建和修改时间戳。这说明当重载子程序时,对它们进行创建时定义者应设置为重载用户,时间戳等於重载时间。
如果你需要创建的子程序使用原来的定义者和时间戳属性,不使用–routines。相反,使用一个具有mysql数据库相应权限的MySQL账户直接转储和重载mysql.proc表的内容。
该选项在MySQL 5.1.2中添加进来。在此之前,存储程序不转储。
· –set-charset
将SET NAMES default_character_set加到输出中。该选项默认启用。要想禁用SET NAMES语句,使用–skip-set-charset。
· –single-transaction
该选项从服务器转储数据之前发出一个BEGIN SQL语句。它只适用於事务表,例如InnoDB和BDB,因为然后它将在发出BEGIN而没有阻塞任何应用程序时转储一致的数据库状态。
当使用该选项时,应记住只有InnoDB表能以一致的状态被转储。例如,使用该选项时任何转储的MyISAM或HEAP表仍然可以更改状态。
–single-transaction选项和–lock-tables选项是互斥的,因为LOCK TABLES会使任何掛起的事务隐含提交。
要想转储大的表,应结合–quick使用该选项。
· –socket=path,-S path
当连接localhost(为默认主机)时使用的套接字文件。
· –skip–comments
参见—comments选项的描述。
· –tab=path,-T path
產生tab分割的数据文件。对於每个转储的表,mysqldump创建一个包含创建表的CREATE TABLE语句的tbl_name.sql文件,和一个包含其数据的tbl_name.txt文件。选项值为写入文件的目录。
默认情况,.txt数据文件的格式是在列值和每行后面的新行之间使用tab字符。可以使用–fields-xxx和–行–xxx选项明显指定格式。
注释:该选项只适用於mysqldump与mysqld服务器在同一台机器上运行时。你必须具有FILE权限,并且服务器必须有在你指定的目录中有写文件的许可。
· –tables
覆盖—database或-B选项。选项后面的所有参量被看作表名。
· –triggers
为每个转储的表转储触发器。该选项默认启用;用–skip-triggers禁用它。
· –tz-utc
在转储文件中加入SET TIME_ZONE=’+00:00’以便TIMESTAMP列可以在具有不同时区的服务器之间转储和重载。(不使用该选项,TIMESTAMP列在具有本地时区的源服务器和目的服务器之间转储和重载)。–tz-utc也可以保护由於夏令时带来的更改。–tz-utc默认启用。要想禁用它,使用–skip-tz-utc。该选项在MySQL 5.1.2中加入。
· –user=user_name,-u user_name
连接服务器时使用的MySQL用户名。
· –verbose,-v
冗长模式。打印出程序操作的详细信息。
· –version,-V
显示版本信息并退出。
· –where=’where-condition’, -w ‘where-condition’
只转储给定的WHERE条件选择的记录。请注意如果条件包含命令解释符专用空格或字符,一定要将条件引用起来。
例如:
“–where=user=’jimf'”
“-wuserid>1”
“-wuserid<1”
· –xml,-X
将转储输出写成XML。
还可以使用–var_name=value选项设置下面的变量:
· max_allowed_packet
客户端/服务器之间通信的缓存区的最大大小。最大为1GB。
· net_buffer_length
客户端/服务器之间通信的缓存区的初始大小。当创建多行插入语句时(如同使用选项–extended-insert或–opt),mysqldump创建长度达net_buffer_length的行。如果增加该变量,还应确保在MySQL服务器中的net_buffer_length变量至少这麼大。
还可以使用–set-variable=var_name=value或-O var_name=value语法设置变量。然而,现在不赞成使用该语法。
mysqldump最常用於备份一个整个的数据库:
shell> mysqldump –opt db_name > backup-file.sql
你可以这样将转储文件读回到服务器:
shell> mysql db_name < backup-file.sql
或者为:
shell> mysql -e “source /path-to–backup/backup-file.sql” db_name
mysqldump也可用於从一个MySQL服务器向另一个服务器复制数据时装载数据库:
shell> mysqldump –opt db_name | mysql –host=remote_host -C db_name
可以用一个命令转储几个数据库:
shell> mysqldump —database db_name1 [db_name2 …] > my_databases.sql
如果你想要转储所有数据库,使用–all–database选项:
shell> mysqldump –all-databases > all_databases.sql
如果表保存在InnoDB存储引擎中,mysqldump提供了一种联机备份的途径(参见下面的命令)。该备份只需要在开始转储时对所有表进行全局读锁定(使用FLUSH TABLES WITH READ LOCK)。获得锁定后,读取二进制日志的相应内容并将锁释放。因此如果并且只有当发出FLUSH…时正执行一个长的更新语句,MySQL服务器才停止直到长语句结束,然后转储则释放锁。因此如果MySQL服务器只接收到短(“短执行时间”)的更新语句,即使有大量的语句,也不会注意到锁期间。
shell> mysqldump –all-databases –single-transaction > all_databases.sql
对於点对点恢复(也称为“前滚”,当你需要恢复旧的备份并重放该备份以后的更改时),循环二进制日志或至少知道转储对应的二进制日志内容很有用:
shell> mysqldump –all-databases –master-data=2 > all_databases.sql

shell> mysqldump –all-databases –flush-logs –master-data=2 > all_databases.sql
如果表保存在InnoDB存储引擎中,同时使用–master-data和–single-transaction提供了一个很方便的方式来进行适合点对点恢复的联机备份。