使用Spark进行Redis数据读取（spark 读redis）

Redis作为一个非常出色、快速的内存型 key-value 数据库，很多应用项目都在使用它作为数据库，其中要求由 Apache Spark 来读取 Redis 数据的场景也不乏其例。本文将详细介绍如何使用 Spark 读取 Redis 数据。

1、介绍 Redis 以及 Spark

Redis 是一款开源、内存数据存储，广泛用于数据存储、缓存、消息队列等场景，它拥有多种数据结构支持，如String、List、Set、Sorted Set、Hash等，借助这些结构，可以让Redis担当更多的角色，为用户提供更好的性能、复杂度和功能。

Apache Spark是一个易于使用、高性能的大数据分析引擎，它是把大数据分析与处理结合在一起的开放源码分布式计算系统，Spark的灵活的编程模型使用户可以直接将批量处理、机器学习和流分析等功能组件连接起来，在大数据分析中兼备高性能和易用性。

2、将 Redis 数据用 Spark 来读取

要将 Redis 数据用 Spark 来读取，可以使用 Java API。需要引入 Jar 包：

    
         redis.clients 
         jedis 
         3.2.0 
    

紧接着，声明一个 Jedis 对象：

Jedis jedis = null;
  try{
      jedis = new Jedis(host, port) ;
  }catch(Exception e){...}

可以使用 Spark 的 JavaPrRDD 类将 Redis 的值读取出来：

JavaPrRDD valuesRDD = jsc.parallelize(keys).mapToPr(new PrFunction() {
    @Override
    public Tuple2 call(String key) throws Exception {
        return new Tuple2(key, jedis.get(key));
    }
});

该类实现 map 操作，将传入的各个 key 对应的value 读取出来后，存入 JavaPrRDD 中供使用。

3、结论

使用 Spark 进行 Redis 数据读取并不难，通过以上步骤，可以很方便的将 Redis 中的数据利用 Spark 的分布式计算，从而提高统计数据的性能和效率。