当前位置: 代码迷 >> 综合 >> proxool Java数据库连接池配置及使用
  详细解决方案

proxool Java数据库连接池配置及使用

热度:41   发布时间:2024-01-04 15:07:03.0

背景

公司一个14年的项目WebService项目中使用proxool来做数据连接池,使用mybatis进行数据库的操作,使用spring进行管理,所有在这里学习一下spring下的proxool。

Proxool是一种Java数据库连接池技术。是sourceforge下的一个开源项目,这个项目提供一个健壮、易用的连接池,最为关键的是这个连接池提供监控的功能,方便易用,便于发现连接泄漏的情况。

1、Spring中配置Proxool连接池管理数据源方式与步骤

方式一、在Spring的"applicationContext.xml"中的dataSource bean定义

复制代码

<bean id="dataSource"class="org.logicalcobwebs.proxool.ProxoolDataSource"><property name="driver"><value>com.mysql.jdbc.Driver</value></property><property name="driverUrl"><value>jdbc:mysql://localhost:3306/dbname?user=yourname&amp;password=yourpass</value></property><property name="user" value="yourname" /><property name="password" value="yourpass" /><property name="alias" value="Pool_dbname" /><property name="houseKeepingSleepTime" value="90000" /><property name="prototypeCount" value="0" /><property name="maximumConnectionCount" value="50" /><property name="minimumConnectionCount" value="2" /><property name="simultaneousBuildThrottle" value="50" /><property name="maximumConnectionLifetime" value="14400000" /><property name="houseKeepingTestSql" value="select CURRENT_DATE" />
</bean>

复制代码

第一种方式需要把用户名和密码写在连接串里面,ProxoolDataSource类提供的user,password属性似乎没有什么用。无论提供什么,它都会以空用户名、密码去连接数据库。这可能是Proxool RC0.93的一个

bug,实在让人恼火,不知道最新的0.9.1有没有fix这个bug。不过配置中的user,password两个属性还必须设置,否则hibernate会报空指针错误。

第一种方式没有使用

 

方式二
步骤一:在Spring的"applicationContext.xml"中的dataSource bean定义

复制代码

<bean id="dataSource"class="org.springframework.jdbc.datasource.DriverManagerDataSource"><property name="driverClassName"><value>org.logicalcobwebs.proxool.ProxoolDriver</value></property><property name="url"><value>proxool.Pool_dbname</value><!--配置了proxool的数据库连接的名字<property name="url">要配置成 proxool. + proxool.xml中的别名--></property>
</bean>

复制代码

步骤二、预先在"web.xml"先配置好Proxool连接池,配置如下:

复制代码

<!--管理proxool配置文件-->
<servlet><servlet-name>proxoolServletConfigurator</servlet-name><servlet-class>      org.logicalcobwebs.proxool.configuration.ServletConfigurator</servlet-class><init-param><param-name>xmlFile</param-name><param-value>WEB-INF/proxool.xml</param-value></init-param><load-on-startup>1</load-on-startup>
</servlet>
<!--查看proxool运行情况,也可以不作配置的<servlet><servlet-name>proxooladmin</servlet-name><servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class></servlet><servlet-mapping><servlet-name>proxooladmin</servlet-name><url-pattern>/proxooladmin</url-pattern></servlet-mapping>
--><servlet><servlet-name>context</servlet-name><servlet-class>org.springframework.web.context.ContextLoaderServlet</servlet-class><load-on-startup>2</load-on-startup>
</servlet>

项目中的代码:

    <!--管理proxool配置文件-->
   <!--     <context-param>  
        <param-name>proxoolConfigLocation</param-name>  
        <param-value>WEB-INF/proxool.xml</param-value>  
    </context-param>  
    
    <listener>  
        <listener-class>org.logicalcobwebs.proxool.configuration.ListenerConfigurator</listener-class>  
    </listener>   -->

复制代码

注意: 把<load-on-startup>的值设为1,值越小级别就越高,就先被加载初始化。一定要先于applicationContext.xml的加载;第二种方式下Spring的上下文加载如果想使用listener方式(Struts2要求),
则与连接池有关的Bean全得延迟初始化。因为listener比servlet优先初始化,
如果相关Bean不是lazy-init的话,则启动服务器时会出现Bean找不到连接定义的异常:

Problem org.logicalcobwebs.proxool.ProxoolException: Attempt to refer to a unregistered pool by its 
alias 'db'

listener方式如下:先初始化listenser再初始化servlet

<listener><listener-class>org.springframework.web.context.ContextLoaderListener</listener-class></listener>

步骤三、在/WEB-INF/下添加proxool的配置文件:proxool.xml
proxool的配置文件可以采用xmlFile"proxool.xml"或者propertyFile"proxool.properties"

"proxool.xml"格式如下:

复制代码

<?xml version="1.0" encoding="UTF-8"?>
<proxool-config><proxool><alias>Pool_dbname</alias><driver-url>jdbc:mysql://localhost:3306/dbname</driver-url><driver-class>com.mysql.jdbc.Driver</driver-class><driver-properties><property name="user" value="yourname"/><property name="password" value="yourpass"/></driver-properties><house-keeping-sleep-time>60000</house-keeping-sleep-time><maximum-connection-count>20</maximum-connection-count> <minimum-connection-count>2</minimum-connection-count><prototype-count>0</prototype-count><simultaneous-build-throttle>20</simultaneous-build-throttle><house-keeping-test-sql>select CURRENT_DATE</house-keeping-test-sql><statistics>15s,10m,1d</statistics><statistics-log-level>INFO</statistics-log-level></proxool><proxool><!--可以配置多个库--></proxool>
</proxool-config>

复制代码

设置连接属性:

simultaneous-build-throttle:
是指在任一时刻,可以(同时)建立的最大连接数,也就是说,就是已经请求的、但还没可用的新连接数量。因为连接可以用多线程建立,从决定要建立连接到连接 可用是需要一定时间的,所以我们需要一些方式来避免大量的线程想同时建立连接。(我们本应该找一个更聪明的方式来解决这个问题,总有一天我们会找到的)默 认值是 10
当我使用140个用户,进行压力测试时,发现偶尔,会有多于10个要求同时建立连接的请求,当请求数量超过限定的数值时,会出现连接失败的情况。
因此结论就是,当数据库并发连接可能会比较高的应用,这个值应该适当的设大一点。
如果并发请求很高,可能出现的bug为

Caused by: java.sql.SQLException: We are already in the process of making 11 connections and the number of simultaneous builds has been throttled to 10

maximum-active-time:
如果一个线程活动时间超过这个数值,线程会被杀死。所以要确保这个数值设置得比最慢的响应时间长。默认是5分钟。守护进程会把连接池中多余的可用线程(未 用的、超过这个时间的)杀死,最终保留的连接数量就是minimum-connection-count规定的数量。守护进程会根据house- keeping-sleep-time参数设置的时间隔定时检查。

maximum-connection-lifetime:
指一个连接最大的存活时间(毫秒为单位),超过这个时间,连接会被杀死。默认值是4小时。

overload-without-refusal-lifetime:
这个参数帮助我们确定连接池的状态,如果在这个时间阀值内(单位为毫秒)拒绝了一个连接,就认为是过载了。默认值是60。

alias:数据源的别名

driver-url:url连接串,须确定用户名和密码

driver-class:驱动名

username:用户名(proxool没有使用,但是不能没有)

password:密码(proxool没有使用,但是不能没有)

maximum-new-connections:没有空闲连接可以分配而在队列中等候的最大请求数,超过这个请求数的用户连接就不会被接受

test-before-use
如果连接池在运行当中,出现网络或者数据库故障而无法连接到数据库,在恢复正常以后,由于连接是在连接池中持久保存的,会出现连接仍然不可用的情况,这时连接池里的连接实际上都是坏连接,怎么让连接池可以自动重连清除这些坏连接呢? 只要配置了test-before-use 参数,即每次取出连接都检查连接是否可用,就可以做到让连接池实现在故障恢复后自动重连接

需要注意一点,对于Mysql数据库还必须在连接参数里加上autoReconnect=true 参数,否则即使打开了test-before-use 参数,仍然不能重连接!

fatal-sql-exception:
它是一个逗号分割的信息片段.当一个SQL异常发生时,他的异常信息将与这个信息片段进行比较.如果在片段中存在,那么这个异常将被认为是个致命错误(Fatal SQL Exception ).这种情况下,数据库连接将要被放弃.无论发生什么,这个异常将会被重掷以提供给消费者.用户最好自己配置一个不同的异常来抛出.

fatal-sql-exception-wrapper-class:
正如上面所说,你最好配置一个不同的异常来重掷.利用这个属性,用户可以包装SQLException,使他变成另外一个异常.这个异常或者继承 SQLException或者继承字RuntimeException.proxool自带了2个实现:’org.logicalcobwebs.proxool.FatalSQLException’ 和’org.logicalcobwebs.proxool.FatalRuntimeException’ .后者更合适.

house-keeping-sleep-time:
proxool自动侦察各个连接状态的时间间隔(毫秒),侦察到空闲的连接就马上回收,超时的销毁 默认30秒)

house keeper 保留线程处于睡眠状态的最长时间,house keeper 的职责就是检查各个连接的状态,并判断是否需要销毁或者创建.

house-keeping-test-sql:
如果发现了空闲的数据库连接.house keeper 将会用这个语句来测试.这个语句最好非常快的被执行.如果没有定义,测试过程将会被忽略。

一般mysql可用select SYSDATE ,Oracle可用 select sysdate from dual 或者 select 1 from dual

injectable-connection-interface: 允许proxool实现被代理的connection对象的方法.

injectable-statement-interface: 允许proxool实现被代理的Statement 对象方法.
injectable-prepared-statement-interface: 允许proxool实现被代理的PreparedStatement 对象方法.
injectable-callable-statement-interface: 允许proxool实现被代理的CallableStatement 对象方法.
jndi-name: 数据源的名称

maximum-active-time: 如果housekeeper 检测到某个线程的活动时间大于这个数值.它将会杀掉这个线程.所以确认一下你的服务器的带宽.然后定一个合适的值.默认是5分钟.
maximum-connection-count:
The maximum number of connections to the database. Default is 15.
最大的数据库连接数.默认是15
minimum-connection-count: 最小的数据库连接数,默认是5

prototype-count:
连接池中可用的连接数量.如果当前的连接池中的连接少于这个数值.新的连接将被建立(假设没有超过最大可用数).例如.我们有3个活动连接2个可用连接,而我们的prototype-count是4,那么数据库连接池将试图建立另外2个连接.这和 minimum-connection-count不同. minimum-connection-count把活动的连接也计算在内.prototype-count 是spare connections 的数量.

statistics: 连接池使用状况统计。 参数“10s,1m,1d”
statistics-log-level: 日志统计跟踪类型。 参数“ERROR”或 “INFO”

trace: 如果为true,那么每个被执行的SQL语句将会在执行期被log记录(DEBUG LEVEL).你也可以注册一个ConnectionListener (参看ProxoolFacade)得到这些信息.
verbose: 详细信息设置。 参数 bool 值

fatal-sql-exception: 它是一个逗号分割的信息片段.当一个SQL异常发生时,他的异常信息将与这个信息片段进行比较.如果在片段中存在,那么这个异常将被认为是个致命错误(Fatal SQL Exception ).

这种情况下,数据库连接将要被放弃.无论发生什么,这个异常将会被重掷以提供给消费者.用户最好自己配置一个不同的异常来抛出.

fatal-sql-exception-wrapper-class:正如上面所说,你最 好配置一个不同的异常来重掷.利用这个属性,用户可以包装SQLException,使他变成另外一个异常.这个异常或者继承SQLException或 者继承字RuntimeException.proxool自带了2个实 现:'org.logicalcobwebs.proxool.FatalSQLException' 和'org.logicalcobwebs.proxool.FatalRuntimeException' .后者更合适.

house-keeping-sleep-time: house keeper 保留线程处于睡眠状态的最长时间,house keeper 的职责就是检查各个连接的状态,并判断是否需要销毁或者创建.

house-keeping-test-sql: 如果发现了空闲的数据库连接.house keeper 将会用这个语句来测试.这个语句最好非常快的被执行.如果没有定义,测试过程将会被忽略。

injectable-connection-interface: 允许proxool实现被代理的connection对象的方法.

injectable-statement-interface: 允许proxool实现被代理的Statement 对象方法.

injectable-prepared-statement-interface: 允许proxool实现被代理的PreparedStatement 对象方法.

injectable-callable-statement-interface: 允许proxool实现被代理的CallableStatement 对象方法.

jmx: 略

jmx-agent-id: 略

jndi-name: 数据源的名称

maximum-active-time: 如果housekeeper 检测到某个线程的活动时间大于这个数值.它将会杀掉这个线程.所以确认一下你的服务器的带宽.然后定一个合适的值.默认是5分钟.

maximum-connection-count: 最大的数据库连接数.

maximum-connection-lifetime: 一个线程的最大寿命.

minimum-connection-count: 最小的数据库连接数

overload-without-refusal-lifetime: 略

prototype-count: 连接池中可用的连接数量.如果当前的连接池中的连接少于这个数值.新的连接将被建立(假设没有超过最大可用数).例如.我们有3个活动连接2个可用连接,

而我们的prototype-count是4,那么数据库连接池将试图建立另外2个连接.这和 minimum-connection-count不同. minimum-connection-count把活动的连接也计算在内.prototype-count 是spare connections 的数量.

recently-started-threshold: 略

simultaneous-build-throttle: 略

statistics: 连接池使用状况统计。 参数“10s,1m,1d”

statistics-log-level: 日志统计跟踪类型。 参数“ERROR”或 “INFO”

test-before-use: 略

test-after-use: 略

trace: 如果为true,那么每个被执行的SQL语句将会在执行期被log记录(DEBUG LEVEL).你也可以注册一个ConnectionListener (参看ProxoolFacade)得到这些信息.
verbose: 详细信息设置。 参数 bool 值

alias:数据源的别名
driver-url:url连接串,须确定用户名和密码
driver-class:驱动名
username:用户名(proxool没有使用,但是不能没有)
password:密码(proxool没有使用,但是不能没有)
maximum-connection-count:最大连接数(默认5个),超过了这个连接数,再有请求时,就排在队列中等候,最大的等待请求数由maximum-new-connections决定
minimum-connection-count:最小连接数(默认2个)
house-keeping-sleep-time:proxool自动侦察各个连接状态的时间间隔(毫秒),侦察到空闲的连接就马上回收,超时的销毁 默认30秒)
prototype-count:最少保持的空闲连接数(默认2个)
maximum-new-connections:有空闲连接可以分配而在队列中等候的最大请求数,超过这个请求数的用户连接就不会被接受
test-before-use和house-keeping-test-sql:测试用

三、更详细的配置示例
1、更详细的proxool.xml的配置属性说明:

复制代码

<?xml version="1.0" encoding="ISO-8859-1"?>
<!--
Properties for Proxool Configurator testing. Defines the same parameters as
TestHelper.buildCompleteAlternativeProperties()
-->
<something-else-entirely xmlns="http://sumthin.else.entirely" xmlns:proxool="The latest version is available at http://proxool.sourceforge.net/xml-namespace"><proxool:proxool><proxool:alias>xml-test-ns</proxool:alias><proxool:driver-url>jdbc:hsqldb:db/test</proxool:driver-url><proxool:driver-class>org.hsqldb.jdbcDriver</proxool:driver-class><proxool:driver-properties><proxool:property name="user" value="sa"/><proxool:property name="password" value=""/></proxool:driver-properties><proxool:house-keeping-sleep-time>40000</proxool:house-keeping-sleep-time><proxool:house-keeping-test-sql>select CURRENT_DATE</proxool:house-keeping-test-sql><proxool:maximum-connection-count>10</proxool:maximum-connection-count><proxool:minimum-connection-count>3</proxool:minimum-connection-count><proxool:maximum-connection-lifetime>18000000</proxool:maximum-connection-lifetime><!-- 5 hours --><proxool:simultaneous-build-throttle>5</proxool:simultaneous-build-throttle><proxool:recently-started-threshold>40000</proxool:recently-started-threshold><proxool:overload-without-refusal-lifetime>50000</proxool:overload-without-refusal-lifetime><proxool:maximum-active-time>60000</proxool:maximum-active-time><proxool:verbose>true</proxool:verbose><proxool:trace>true</proxool:trace><proxool:fatal-sql-exception>Fatal error</proxool:fatal-sql-exception><proxool:prototype-count>2</proxool:prototype-count></proxool:proxool><nothing-to-do-with-proxool><proxool:proxool><proxool:alias>xml-test-ns-2</proxool:alias><proxool:driver-url>jdbc:hsqldb:db/test</proxool:driver-url><proxool:driver-class>org.hsqldb.jdbcDriver</proxool:driver-class><proxool:driver-properties><proxool:property name="user" value="sa"/><proxool:property name="password" value=""/></proxool:driver-properties><proxool:house-keeping-sleep-time>40000</proxool:house-keeping-sleep-time><proxool:house-keeping-test-sql>select CURRENT_DATE</proxool:house-keeping-test-sql><proxool:maximum-connection-count>10</proxool:maximum-connection-count><proxool:minimum-connection-count>3</proxool:minimum-connection-count><proxool:maximum-connection-lifetime>18000000</proxool:maximum-connection-lifetime><!-- 5 hours --><proxool:simultaneous-build-throttle>5</proxool:simultaneous-build-throttle><proxool:recently-started-threshold>40000</proxool:recently-started-threshold><proxool:overload-without-refusal-lifetime>50000</proxool:overload-without-refusal-lifetime><proxool:maximum-active-time>60000</proxool:maximum-active-time><proxool:verbose>true</proxool:verbose><proxool:trace>true</proxool:trace><proxool:fatal-sql-exception>Fatal error</proxool:fatal-sql-exception><proxool:prototype-count>2</proxool:prototype-count></proxool:proxool></nothing-to-do-with-proxool>
</something-else-entirely>

复制代码

"proxool.properties"格式如下:

复制代码

jdbc-0.proxool.alias=Pool_dbname
jdbc-0.proxool.driver-url=jdbc:mysql://localhost:3306/dbname
jdbc-0.proxool.driver-class=com.mysql.jdbc.Driver
jdbc-0.user=yourname
jdbc-0.password=yourpass
jdbc-0.proxool.house-keeping-sleep-time=60000
jdbc-0.proxool.house-keeping-test-sql=select CURRENT_DATE
jdbc-0.proxool.maximum-connection-count=10
jdbc-0.proxool.minimum-connection-count=3
jdbc-0.proxool.maximum-connection-lifetime=18000000
jdbc-0.proxool.prototype-count=3
jdbc-0.proxool.simultaneous-build-throttle=10
jdbc-0.proxool.recently-started-threshold=60000
jdbc-0.proxool.overload-without-refusal-lifetime=50000
jdbc-0.proxool.maximum-active-time=60000
jdbc-0.proxool.verbose=true
jdbc-0.proxool.trace=true
jdbc-0.proxool.fatal-sql-exception=Fatal errorjdbc-2.proxool.alias=Pool_dbname2
……
<!--可以配置多个库-->
至此,已完成所有配置。

复制代码

个人比较倾向于第二种配置方式,
1:可以避免在Spring的"applicationContext.xml"中写一大堆参数,
尤其是避免了driverUrl中带用户名密码(这会显示在proxool包中带的
org.logicalcobwebs.proxool.admin.servlet.AdminServlet输出的页面中)
2:proxool连接池可以在tomcat启动时就初始化好,可以提高第一次访问web时的连接速度

 

https://www.cnblogs.com/wllyy189/archive/2008/10/15/1311560.html

 

  相关解决方案