Redis中pop出队列多个元素思考

2022-11-13 08:11:46 多个元素队列

业务场景及问题的提出

业务的情景是这样的，服务A 是面向客户的服务，主要是用了Redis作为存储的，而服务B是面向业务人员使用的，服务A 的数据服务B 是需要拿到的，所以我会把每次服务A 的请求参数放到一个Redis的队列中，而服务B 会起一个线程来定时的获取我队列的数据，其实这里涉及到了一个简易rpc框架的设计，下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁，大致的架构如下：

所以现在问题就来了，内部的定时服务如果一次pop一个那性能可就太差了，所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法，而redis本身是没有这种方法的，所以得我们自己来设计，一起来聊一聊吧。

解决方案

1.多次请求

这应该是正常人都可以想到的办法了，任何问题都可以使用一个for循环来解决，如果不行，那就再来一个for循环，我们来看下这个简单的代码：

      public List<String> multiRPopForCycle(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 最终可以取出的数量
        int finalSize = Math.toIntExact(Math.min(curSize, size));
        List<String> resultList = new ArrayList<>();
        for (int i = 0; i < finalSize; i++) {
            String popElement = redisTemplate.opsForList().rightPop(key);
            resultList.add(popElement);
        }
        return resultList;
    }

这个代码写出来很简单，但是它好危险啊，如果我们需要pop出的数据很多怎么办，每次都需要进行通信，这来来回回就会产生很多时耗，上生产我们是没办法接受的，所以必须改进。因为pop出多个元素，我们不可避免的需要进行for循环进行pop然后收集返回，也就是说我们需要执行多次redis的pop命令,为了减少通信时耗，我们可以一次性将所有的命令都发过去，一起执行，而实现这种方案我们有以下两种方法：

2.利用Redis事务

利用redis的事务来实现：拿到连接后，开启事务，然后进行执行pop命令，代码如下：

         
    public List<String> multiRPopTx(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 最终可以取出的数量
        int finalSize = Math.toIntExact(Math.min(curSize, size));
        // 事务支持
        return redisTemplate.execute(new SessionCallback<List<Object>>() {
            @Override
            public List<Object> execute(RedisOperations redisOperations) throws DataAccessException {
                redisOperations.multi();
                for (int i = 0; i < finalSize; i++) {
                    redisOperations.opsForList().rightPop(key);
                }
                return redisOperations.exec();
            }
        }).stream().map(obj -> (String) obj).collect(Collectors.toList());
    }

3.利用Pipeline

当然了，还可以使用我们之前讲的pipeline来实现：

     
    public List<String> multiRPopPipeline(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 判断操作次数
        return redisTemplate.executePipelined(new SessionCallback<String>() {
            @Override
            public String execute(RedisOperations redisOperations) throws DataAccessException {
                final int finalSize = Math.toIntExact(Math.min(curSize, size));
                for (int i = 0; i < finalSize; i++) {
                    redisOperations.opsForList().rightPop(key);
                }
                return null;
            }
        }).stream().map(obj -> (String) obj).collect(Collectors.toList());
    }

其实在我们这种场景中是没必要使用事务的，使用事务还会带来一定的性能损耗，所以最终选择的是方案三，即基于管道来实现pop多个元素。

到此这篇关于Redis中pop出队列多个元素思考的文章就介绍到这了,更多相关Redis pop队列内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！