memcached java client性能测试的几点疑问和说明 -欧洲杯足彩官网

dennis_zane

浏览: 919368 次
性别:
来自: 杭州

博主相关

博客

微博

相册

文章分类

社区版块

( 33)
( 1529)
( 28)

存档分类

2011-06 ( 1)
2011-05 ( 1)
2009-03 ( 9)

memcached java client性能测试的几点疑问和说明

memcached java 软件测试 up

最近发布了2.6.1版本，号称性能提升了300%，这是相对于原始主干代码来说。这个改进是由国人做的一个分支，首先得向他们致敬，great job。

我这里想谈的主要是里的性能测试，从他们的测试结果来看java memcached client的性能确实非常优秀。但是我认为这个测试并不能算非常公平的测试，有几点需要开发者来澄清和说明一下。

抛开硬件声明不谈，软件上的配置没有说明，比如各个软件的版本，测试的各个client的参数设置没有说明。为了证明可以做到比测试中的更优秀，我也做了个简单测试，我测试的场景如下：

并发n个(1,10,50,100,300)线程存取memcached数据，数据大小为64字节，存取次数随并发程度递增,读写比例为4:1。测试的客户端用java memcached client 2.6.1和xmemcachd 1.3.3。memcached版本为1.4.5，内存开大为4g。两者的配置如下

java memcached client

                basicconfigurator.configure();
		sockiopool pool = sockiopool.getinstance();
		pool.setminconn(10);
		pool.setmaxconn(20);
		pool.setmaxidle(60 * 60 * 1000);
		pool.setservers(servers.split(" "));
		pool.initialize();

memcachedclientbuilder builder = new xmemcachedclientbuilder(addrutil
				.getaddresses(servers));
builder.setconnectionpoolsize(20);

连接数都设置成20个，我们看下测试的结果。

java memcached client

warm up
threads=1,repeats=40000,valuelength=64,tps=9207,miss=0,fail=0,hit=32004,all=40000,hitrate=1.00
threads=10,repeats=40000,valuelength=64,tps=51788,miss=0,fail=0,hit=320040,all=400000,hitrate=1.00
threads=50,repeats=40000,valuelength=64,tps=90019,miss=0,fail=0,hit=1600200,all=2000000,hitrate=1.00
threads=100,repeats=40000,valuelength=64,tps=90610,miss=0,fail=0,hit=3200400,all=4000000,hitrate=1.00
threads=300,repeats=40000,valuelength=64,tps=86025,miss=0,fail=0,hit=9601200,all=12000000,hitrate=1.00

threads=1,repeats=40000,valuelength=64,tps=6513,miss=0,fail=0,hit=32004,all=40000,hitrate=1.00
threads=10,repeats=40000,valuelength=64,tps=38763,miss=0,fail=0,hit=320040,all=400000,hitrate=1.00
threads=50,repeats=40000,valuelength=64,tps=102081,miss=0,fail=0,hit=1600200,all=2000000,hitrate=1.00
threads=100,repeats=40000,valuelength=64,tps=124928,miss=0,fail=0,hit=3200400,all=4000000,hitrate=1.00
threads=300,repeats=40000,valuelength=64,tps=149125,miss=0,fail=0,hit=9601200,all=12000000,hitrate=1.00

可以看到，在1个或者10个线程并发的时候，xmc确实比java memcached client差，但是随着并发程度的升高，xmc都超过了java memcached client，顶峰可以达到接近15万的tps。那么，如果java memcached client使用更多的连接池呢，比如200个连接，结果如下

java-memcached startup
warm up
threads=1,repeats=40000,valuelength=64,tps=9248,miss=0,fail=0,hit=32004,all=40000,hitrate=1.00
threads=10,repeats=40000,valuelength=64,tps=50881,miss=0,fail=0,hit=320040,all=400000,hitrate=1.00
threads=50,repeats=40000,valuelength=64,tps=87111,miss=0,fail=0,hit=1600200,all=2000000,hitrate=1.00
threads=100,repeats=40000,valuelength=64,tps=87563,miss=0,fail=0,hit=3200400,all=4000000,hitrate=1.00
threads=300,repeats=40000,valuelength=64,tps=85685,miss=0,fail=0,hit=9601200,all=12000000,hitrate=1.00

从结果来看，并没有明显的改善。

软件配置是我想说的第一个测试中没提到的因素。第二个因素是java memcached client 2.6.1去掉了数据压缩功能，那么在测试大数据的时候，是否将其他客户端的数据压缩功能关掉，这个因素对测试结果的影响很大。我将xmemcached的压缩阈值设置成1m，准备再测试看看，结果稍候奉上。

分享到：

本blog不维护了，请订阅我在blogjava的博客

2011-06-29 10:40
浏览 8383
评论(6)
论坛回复 / 浏览 (4 / 3214)
分类:编程语言

6 楼 thinkingmysky 2013-11-23

楼主，你确定，java memached client能处理并发吗？而且设置也有问题，无法控制池的回收，并且它根本不能控制，在并发一个时间节点，突然400-1000并发访问，如果你设置max最大为60，它依然能无限网上增长！

5 楼 2012-04-13

你好，我使用的是memcache1.4.4 xmemcached1.3.5 是和spring2.5.6整合的，
但系统运行一段时间后，就会报错，一直是 try reconnect memcache，部分异常见下：
java.util.concurrent.timeoutexception: timed out(5000) waiting for operation
        at net.rubyeye.xmemcached.xmemcachedclient.latchwait(xmemcachedclient.java:2528)
        at net.rubyeye.xmemcached.xmemcachedclient.fetch0(xmemcachedclient.java:574)
        at net.rubyeye.xmemcached.xmemcachedclient.get0(xmemcachedclient.java:971)
        at net.rubyeye.xmemcached.xmemcachedclient.get(xmemcachedclient.java:929)
        at net.rubyeye.xmemcached.xmemcachedclient.get(xmemcachedclient.java:940)
        at net.rubyeye.xmemcached.xmemcachedclient.get(xmemcachedclient.java:962)

只要出现了这样的一次 mem就不能使用了，但mem的服务端是好的（但不排除服务有些参数设置不当）。您能不能帮忙给看看这个问题，我qq 490836924 。

4 楼 2011-06-29

哈哈，xmemcached还是很v5的。
现在公司里也有2个memcache客户端实现，从他们的性能测试来看，xmemcached的性能还是很难超越。

3 楼 2011-06-29

哈哈，boyan不淡定了。不过xmc确实不错,一直在用。期待进一步测试结果。

2 楼 dennis_zane 2011-06-29

nanguocoffee 写道

lz 是boyan吧。
呵呵，我一直在xmemcached，挺好用的。

从上面的比较测试来看，xmemcached找到了提升的空间地方(1-10并发数时的性能)。

嗯，我就是伯岩

这个很难提升，低并发的时候，nio比bio要多不少的context switch。

1 楼 2011-06-29

lz 是boyan吧。
呵呵，我一直在xmemcached，挺好用的。

从上面的比较测试来看，xmemcached找到了提升的空间地方(1-10并发数时的性能)。

发表评论

您还没有登录,请您登录后再发表评论