Node.js集群并未显著提高性能

2022-03-30 00:00:00 node.js cluster-computing javascript

如果有人想尝试: https://github.com/codependent/cluster-performance

我正在用一个简单的应用程序测试Node.js(v0.11.13-Windows 7)每秒请求数限制。我已经用Express4实现了一个服务,它模拟I/O操作,比如带有setTimeout回调的DB查询。

首先,我只用一个节点进程测试它。对于第二个测试,我启动与机器拥有的CPU一样多的工作进程。

我正在使用loadtest使用以下参数测试服务:

loadtest -n 50000 -c 220 -k http://localhost:5000/operations/timeout/20

也就是总共50k个请求,220个并发客户端。

我的服务根据最后一个url参数(20 Mseg)设置超时时间(处理时间的时长):

router.route('/timeout/:time')
.get(function(req, res) {
    setTimeout(function(){
        appLog.debug("Timeout completed %d", process.pid);
        res.json(200,{result:process.pid});
    },req.param('time'));
});    
  1. 只有一个节点进程

结果如下:

INFO Max requests:        50000
INFO Concurrency level:   200
INFO Agent:               keepalive
INFO
INFO Completed requests:  50000
INFO Total errors:        0
INFO Total time:          19.326443741 s
INFO Requests per second: 2587
INFO Total time:          19.326443741 s
INFO
INFO Percentage of the requests served within a certain time
INFO   50%      75 ms
INFO   90%      92 ms
INFO   95%      100 ms
INFO   99%      117 ms
INFO  100%      238 ms (longest request)

每秒2580个请求,还不错。

  1. n个工作进程(n=数量CPU)

在本例中,我使用循环调度策略在工作进程之间平均分配负载。由于现在有8个内核处理请求,我预计会有显著的改进(速度快8倍?)在每秒请求数结果中,仅增加到2905 RPS!!(多出318 RPS)您如何解释?我做错了什么吗?

结果:

Max requests:        50000
Concurrency level:   220
Agent:               keepalive

Completed requests:  50000
Total errors:        0
Total time:          17.209989764000003 s
Requests per second: 2905
Total time:          17.209989764000003 s

Percentage of the requests served within a certain time
  50%      69 ms
  90%      103 ms
  95%      112 ms
  99%      143 ms
 100%      284 ms (longest request)

我的集群初始化代码:

#!/usr/bin/env node
var nconf = require('../lib/config');
var app = require('express')();
var debug = require('debug')('mma-nodevents');
var http = require("http")
var appConfigurer = require('../app');
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;

if('v0.11.13'.localeCompare(process.version)>=0){
    cluster.schedulingPolicy = cluster.SCHED_RR;
}

if (cluster.isMaster) {
    // Fork workers.
    for (var i = 0; i < numCPUs; i++) {
        cluster.fork();
    }
    cluster.on('exit', function(worker, code, signal) {
        console.log('worker ' + worker.process.pid + ' died');
        cluster.fork();
    });
}else{
    console.log("starting worker [%d]",process.pid);
    appConfigurer(app);
    var server = http.createServer(app);
    server.listen(nconf.get('port'), function(){
        debug('Express server listening on port ' + nconf.get('port'));
    });

}

module.exports = app;

更新:

我终于接受了Slebetman的回答,因为他关于在这种情况下集群性能在多达8个进程的情况下没有显著提高的原因是正确的。不过,我想指出一个有趣的事实:在当前的io.js版本(2.4.0)中,即使对于这种高I/O操作(SetTimeout),它也确实得到了改进:

loadtest -n 50000 -c 220 -k http://localhost:5000/operations/timeout/20

单线程:

Max requests:        50000
Concurrency level:   220
Agent:               keepalive

Completed requests:  50000
Total errors:        0
Total time:          13.391324847 s
Requests per second: 3734
Total time:          13.391324847 s

Percentage of the requests served within a certain time
  50%      57 ms
  90%      67 ms
  95%      74 ms
  99%      118 ms
 100%      230 ms (longest request)

8核集群:

Max requests:        50000
Concurrency level:   220
Agent:               keepalive

Completed requests:  50000
Total errors:        0
Total time:          8.253544166 s
Requests per second: 6058
Total time:          8.253544166 s

Percentage of the requests served within a certain time
  50%      35 ms
  90%      47 ms
  95%      52 ms
  99%      68 ms
 100%      178 ms (longest request)

很明显,使用当前的io.js/node.js版本,虽然RPS没有增加8倍,但吞吐量几乎快了1.7倍。

另一方面,不出所料,使用for循环迭代请求中指示的毫秒数(从而阻塞线程),RPS与线程数成比例增加。


解决方案

I/O操作正是Node.js设计和优化的应用程序类型。I/O操作(和setTimeout)基本上与硬件(网络、磁盘、PCI桥、DMA控制器等)一样并行运行。允许。

一旦您意识到这一点,就很容易理解为什么在单个进程中运行多个并行I/O操作所花费的时间与在多个进程/线程中运行多个并行I/O操作所花费的时间大致相同。实际上,直接模拟在一个进程中运行多个并行I/O操作与在多个并行进程中运行单个阻塞I/O操作完全相同。

集群允许您使用多个CPU/核心(如果您有的话)。但是您的进程不使用CPU周期。因此,集群给您带来的优势很小(如果有的话)。

相关文章