java web开发总结(二):linux + apache2.2(prefork模式) + jk1.2.26 + tomcat6负载均衡配置优化
2011年03月08日
目前总结出来的一些优化配置：
配置适用环境 linux + apache2.2(prefork模式) + jk1.2.26 + tomcat6
(a)apache端需要配置的核心参数：apache/conf/httpd.conf
worker.list=loader
worker.loader.type=lb
#两tomcat负载均衡
worker.loader.balance_workers=tomcat1,tomcat2
#不同步session
worker.loader.sticky_session=false #负载1
worker.tomcat1.type=ajp13
worker.tomcat1.host=localhost
worker.tomcat1.port=8009
#负载均衡因子，决定apache分发的比例
worker.tomcat1.lbfactor=1
worker.tomcat1.socket_timeout=10#配置超时时间
worker.tomcat1.connection_pool_timeout=600#配置关闭空闲连接时间
#负载2
worker.tomcat2.type=ajp13
worker.tomcat2.host=localhost
worker.tomcat2.port=8109
#负载均衡因子，决定apache分发的比例
worker.tomcat2.lbfactor=1
worker.tomcat2.socket_timeout=10#配置超时时间
worker.tomcat2.connection_pool_timeout=600#配置关闭空闲连接时间
worker.list=loader worker.loader.type=lb #两tomcat负载均衡 worker.loader.balance_workers=tomcat1,tomcat2 #不同步session worker.loader.sticky_session=false #负载1 worker.tomcat1.type=ajp13 worker.tomcat1.host=localhost worker.tomcat1.port=8009 #负载均衡因子，决定apache分发的比例 worker.tomcat1.lbfactor=1 worker.tomcat1.socket_timeout=10#配置超时时间 worker.tomcat1.connection_pool_timeout=600#配置关闭空闲连接时间 #负载2 worker.tomcat2.type=ajp13 worker.tomcat2.host=localhost worker.tomcat2.port=8109 #负载均衡因子，决定apache分发的比例 worker.tomcat2.lbfactor=1 worker.tomcat2.socket_timeout=10#配置超时时间 worker.tomcat2.connection_pool_timeout=600#配置关闭空闲连接时间
(c)tomcat/conf/server.xml配置：
优化配置核心关键：
（一）prefork模式下(其他模式下不适用)，apache需要优化的主要参数：
ServerLimit 3000
StartServers 750
MinSpareServers 5
MaxSpareServers 100
MaxClients 3000
MaxRequestsPerChild 10000
首先来看看apache各个参数的意义（引号里引用的是官方文档的描述）：
(1)ServerLimit和MaxClients 服务器最大同时响应请求数
这个就是你当前配置的apache最大的并发响应数，对应的是apache的进程数，两个参数同时修改，MaxClients不得大于ServerLimit参数。
ServerLimit的大小，取决于你系统的资源，每个apache进程默认占用2M内存，基本可以按照这个公式来计算：最大内存*80%/2M=ServerLimit
(2)StartServers 750 启动时默认启动的进程数
这个参数默认是5，因为apache会通过自动启动新进程来增加响应服务的进程数，这个值不做调整的也是可以的，会由默认的5增加到满足服务的进程数，但是会出现开始启动时的卡住。
小启动参数有一个好处：就是可以让传递后后端tomcat的压力缓慢增加上来，而不是一下子增加压力。可以把这个调整到当前服务最大的并发数，当前服务最大并发连接数，可以通过监控apache进程个数：ps -ef | grep httpd | wc -l 来获得。不用调得太大，否则是无谓增加apache通过jk去跟tomcat建立的连接。
注意：apache进程跟tomcat建立连接后，不会释放此连接，会一直保持连接，直到timeout，如果没有timeout时间，就会永久连接。timeout的设置，会在后面jk配置里说明。
所以不要一次启动太多的apache进程，只启动足够用的进程即可。其他增加的流量，apache会自动调整进程数，直到MaxClients参数限定的范围。
(3)MinSpareServers 5 最小空闲进程
MinSpareServers指令设置空闲子进程的最小数量。所谓空闲子进程是指没有正在处理请求的子进程。如果当前空闲子进程数少于MinSpareServers ，那么Apache将以第一秒一个，第二秒两个，第三秒四个，按指数递增个数的速度产生新的子进程。
(4)MaxSpareServers 10 最大空闲进程
MaxSpareServers指令设置空闲子进程的最大数量。所谓空闲子进程是指没有正在处理请求的子进程。如果当前有超过MaxSpareServers数量的空闲子进程，那么父进程将杀死多余的子进程。
可以调整这两个参数，但是这两个参数的值不能设得太大，否则apache进程太多，会导致对应开启的tomcat进程也会很多。
官网上关于这两个参数都有这么句话："将此参数设的太大通常是一个坏主意。"
在一台压力大(并发访问2800)的服务器上，MaxSpareServers这个值设置的是200。
设置了这个值的好处是不会有太多的空闲的进程在消耗资源，同时减少apache和tomcat的连接端口。
关闭空闲apache进程的同时，会释放jk连接，同时释放tomcat连接数，进而减少系统资源消耗。
(5)MaxRequestsPerChild 10000
"MaxRequestsPerChild指令设置每个子进程在其生存期内允许伺服的最大请求数量。到达MaxRequestsPerChild的限制后，子进程将会结束。如果MaxRequestsPerChild为"0"，子进程将永远不会结束。
将MaxRequestsPerChild设置成非零值有两个好处：
* 可以防止(偶然的)内存泄漏无限进行，从而耗尽内存。
* 给进程一个有限寿命，从而有助于当服务器负载减轻的时候减少活动进程的数量。
注意
对于KeepAlive链接，只有第一个请求会被计数。事实上，它改变了每个子进程限制最大链接数量的行为。"
也就是说实际上这个时候子进程最大连接数等于MaxRequestsPerChild*MaxKeepAliveRequests
所以在开启KeepAlive后，需要同时设置MaxRequestsPerChild和MaxRequestsPerChild，确保每个apache进程在服务一定请求数后会关闭，重新开启新的子进程，避免apache进程异常导致的内存泄露和资源占用。
(6)Keep-Alive
默认：ON
发送的请求，在MaxRequestsPerChild里面只算一个，不管这个连接发送了多少个请求。
(7)MaxKeepAliveRequests
默认：100
"一个建立好的Keep-Alive连接，允许发送的请求的个数。一旦建立连接，要么就是个数达到了断开，要么就是等KeepAliveTimeout时间到了断开连接。
MaxKeepAliveRequests指令限制了当启用KeepAlive时，每个连接允许的请求数量。如果将此值设为"0"，将不限制请求的数目。我们建议最好将此值设为一个比较大的值，以确保最优的服务器性能。"
这个数字的设置，必须考虑在一个时间段内，同一个用户访问你的服务会发多少请求。要结合KeepAliveTimeout参数来考虑。
举个例子，用户需要间隔时间不大于KeepAliveTimeout的时间内，连续请求10个文件，那么这个参数就应该设置成10，如果用户在连续时间里不断请求访问，则这个数值得设置得更多。否则就重新建立连接下载。一旦用户连续进行了10个请求后，并且这个用户肯定在完成这些请求后的5秒内不会再请求，甚至要在之后的很长时间后请求，那么这个KeepAliveTimeout时间就可以设置得很短，以便尽早断开这种用户，把资源让个其他用户。
(8)KeepAliveTimeout
默认：5
"在一个建立好的Keep-Alive连接上，在MaxKeepAliveRequests个数未满的情况下，等待下一个请求的时间。"
如果有请求到达，那么apache等待IO响应的timeout时间时间开始生效，timeout时间没等到响应，连接被断开；如果KeepAliveTimeout时间内，没有请求到达，连接就被断开。
具体设置可以参考配合MaxKeepAliveRequests参数。同时这个参数又受TimeOut参数影响，在一次成功连接中，TimeOut时间内没有等到响应，也会断开连接。
(9)TimeOut
默认：300
"TimeOut指令用于设置Apache等待以下三种事件的时间长度：
1. 接受一个GET请求耗费的总时间。
2. POST或PUT请求时，接受两个TCP包之间的时间。
3. 应答时TCP包传输中两个ACK包之间的时间。
我们计划在发展里程中，逐步把它们分别变得更易配置。计时器在1.2版本之前的默认值为1200，而现在已经设置为300了，但对于绝大多数情况来说仍是足够的。没有把它默认值设的更小的原因在于代码里还有点问题：有时发送一个包之后，计时器没有复位。"
（二 ）调整jk参数配置和tomcat设置
jk连接主要给每个worker添加了两个参数：
worker.tomcat1.type=ajp13
worker.tomcat1.host=localhost
worker.tomcat1.port=8109
worker.tomcat1.lbfactor=1
worker.tomcat1.socket_timeout=10
worker.tomcat1.connection_pool_timeout=600
首先来了解一下这两个配置参数：
worker.tomcat1.socket_timeout=10
worker.tomcat1.connection_pool_timeout=600
socket_timeout默认为0
设置JK与远程服务器的Socket连接超时秒数，如果超出此秒数则产生一个错误，并再次重试。如果为0，JK会一直等下去。在连接出现异常的时候，尽快关闭连接，从而保证无用的socket会被回收。
connection_pool_timeout：默认值0，单位秒
在连连池中维护的非活动连接连续多少秒后被释放。如果为0，则不释放。详细可以参考tomcat官方文档，jk在处理连接的时候，是用一个线程池建立跟tomcat的连接，并且把所有连接都放在连接池。如果这个值为0的时候，它就不会释放任何已经空闲的连接，也就是说这个连接池在某个瞬间压力很大的话，被撑大了就不会小下来。所以这个值一定不能使用默认的0，必须修改。官方推荐是10分钟，也就是600秒。一旦设置了这个值，就一定要注意：必 须同时设置对应的tomcat的ajp连接器配置里的connectionTimeout参数大小跟它完全一致！同时必须注意这两个参数单位不一样：jk connection_pool_timeout单位是秒，而tomcat connectionTimeout单位是毫秒。
来解释一下为什么必须设置两个参数完全一致：这两个参数的意思是在连接空闲多长时间后关闭空闲连接(不包括活动的连接)。想象一下这边apache jk模块开启了一个连接A，连接到tomcat的B，这个连接被固化了，保持在连接池里。这个时候，如果A突然关闭，导致的结果是B返回的数据不知道给谁，tomcat会抛出socket异常；如果B突然关闭，则A突然失去连接，无法进行程序响应，会返回错误给用户。这就是所谓的半连接，一半是开的，另 外一半却关闭了，并且这个时候还不知道对方已经关了，程序会一直单方面开启着自己的这一半，导致资源浪费。所以必须设置两个的空闲关闭时间一致，这样两边同时开启，在空闲时间等待到了相同的时间后，同时关闭。这样jk和tomcat建立的连接在空闲时会慢慢变小，从而保证资源不被浪费，空闲的socket被关闭回收。
调整tomcat配置参数
minSpareThreads="100"
maxSpareThreads="200"
connectionTimeout="600000"
空闲线程不用太多，减少系统负载。同时设置 connectionTimeout和jk的connection_pool_timeout一致，保证空闲连接的同时回收。高并发情况下，这个时间可以设置得短一些，比如:20000 ms
此配额的优点是：
apache空闲线程少，同时产生的通过jk和tomcat建立的永久连接也少，并且和tomcat的连接能在空闲一定时间后自动回收。占用系统socket连接少。
可以通过以下命令对比查看各状态的socket连接：
查看当前tcp/ip连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
查看tcp/ip连接数：cat /proc/net/sockstat
参考文档链接：
apache2.2文档：