redis过期-多线程-Redis过期机制下的多线程优化 (redis过期key如何处理)

redis过期机制idc.com/xtywjcwz/22761.html" target="_blank">下的多线程优化

Redis是一款高速的开源键值存储系统，它能在内存中操作数据，并可以定期将数据写入磁盘保存。其中过期键是一种自动过期的机制，可以保证Redis空间的合理利用。但是在高并发场景下，单线程的过期机制已经不能满足需求，需要通过使用多线程的方式来进行优化。

过期键的实现原理

Redis 的过期键是通过每个键设置一个过期时间，当 Redis 每一次对键的读写操作时会检查键的过期时间是否已到，若到达过期时间则自动删除该过期键。过期键并不是立刻删除，而是在 Redis 进行写操作时通过惰性删除算法进行删除。

懒惰删除算法（lazy deletion）是 Redis 用来处理过期键的一种算法，所有过期的键值对并不是立即删除，而是等到写操作执行时才会进行删除。这种算法的好处是避免了每秒钟进行一次 GC（垃圾回收）操作，可以减少 Redis 的 I/O 操作，同时避免 Redis 由于执行删除操作而带来的性能损失。

但是这种算法也有一些缺点，单线程模型下，若有大量的键过期，那么每当客户端执行写操作时，Redis 会逐个检查键是否过期，导致卡顿，这时候就需要多线程的来优化。

Redis多线程过期键的实现

使用多线程可以让过期键的处理变得更加高效。实现多线程的方式有很多种，可以选择使用jdk自带的ThreadPoolExecutor或者使用Quartz定时器的方式。

– 使用Java自带的ThreadPoolExecutor：

public class RedisExpireKeyThread implements Runnable{

public static final int THREAD_NUMBER = 5;

public void run() {

while (true) {

Jedis jedis = RedisPool.getConnection();

SCanParams scanParams = new ScanParams().count(100);

String cursor = “0”;

ScanResult scanResult = jedis.scan(cursor, scanParams);

List result = scanResult.getResult();

for (String key : result) {

//转换成字节数组

byte[] rawKey = SafeEncoder.encode(key);

if (jedis.exists(rawKey) && jedis.ttl(rawKey) == -1) {

jedis.expire(rawKey, 30);

cursor = scanResult.getStringCursor();

} while (!”0″.equals(cursor));

} catch (Exception e) {

// 异常处理

RedisPool.returnConnection(jedis);

Thread.sleep(100);

} catch (InterruptedException e) {

e.printStackTrace();

public class RedisExpireKeyManager {

private static ExecutorService executor = ThreadPoolExecutor.newFixedThreadPool(THREAD_NUMBER);

for (int i = 0; i

RedisExpireKeyThread expireThread = new RedisExpireKeyThread();

Thread thread = new Thread(expireThread);

executor.submit(thread);

public static void shutDownTimeOutThread() {

executor.shutdown();

使用线程池来管理多个RedisExpireKeyThread，在实际使用中可以根据性能调试线程的数量。- 使用Quartz定时器：在 Quartz 定时器的使用中，我们可以通过创建一个 Job 来遍历 Redis 中所有的过期键，并在将其删除或者修改其 TTL 的方式来达到 passivate 的目的。首先实现一个类实现 Quartz 的 Job 接口，为了保证可用性，我们对代码进行了完善：``` javapublic class RedisExpireKeyQuartzJob implements Job {public void execute(JobExecutionContext context) throws JobExecutionException {Jedis jedis = RedisPool.getConnection();try {ScanParams scanParams = new ScanParams().count(100);String cursor = "0";do {ScanResult scanResult = jedis.scan(cursor, scanParams);List result = scanResult.getResult();for (String key : result) {//转换成字节数组byte[] rawKey = SafeEncoder.encode(key);if (jedis.exists(rawKey) && jedis.ttl(rawKey) == -1) {jedis.expire(rawKey, 30);}}cursor = scanResult.getStringCursor();} while (!"0".equals(cursor));} catch (Exception e) {// 警告 / 抛出异常} finally {RedisPool.returnConnection(jedis);}}}

我们将执行 Redis 的操作封装进了 RedisExpireKeyQuartzJob 类之中。在 execute() 方法中与前面的 RedisExpireKeyThread 的实现没有区别，这里就不介绍了，直接看下面的主函数：

public static void mn(String[] args) {

//创建scheduler

SchedulerFactory schedulerFactory = new StdSchedulerFactory();

Scheduler scheduler = schedulerFactory.getScheduler();

//创建任务

JobDetl jobDetl = JobBuilder.newJob(RedisExpireKeyQuartzJob.class).withIdentity(“RedisExpireKeyPassivator”, “RedisPassivateGroup”).build();

//创建每个10秒执行一次的定时器

Trigger trigger = TriggerBuilder.newTrigger().withIdentity(“redisExpireKeyTrigger”, “RedisPassivateGroup”).withSchedule(SimpleScheduleBuilder.simpleSchedule().withIntervalInSeconds(10).repeatForever()).build();

//将定时器和任务添加到 scheduler 中

scheduler.scheduleJob(jobDetl, trigger);

//启动Scheduler

scheduler.start();

} catch (Exception e) {

//警告/抛出异常

我们首先启动一个 Quartz 调度器，然后使用 JobBuilder 创建一个执行 Redis 过期键的 Job，并设置了 trigger，让 Job 每隔 10 秒钟执行一次。最后通过 scheduleJob 将其添加到调度器中，整个过程非常简单。结语以上就是 Redis 过期键实现的优化方案，从单线程过期机制到多线程过期机制可以大大提高 Redis 在并发场景下的处理负载能力。这两种实现方式均有优劣，可能需要根据具体的业务场景来选择。同时，在分布式场景下 Redis 过期键的处理也是一大难点，如果需要做部署方面的优化，可以考虑使用 Redis 集群方案。

香港服务器首选树叶云，2H2G首月10元开通。树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云 服务器 和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。

REDIS学习查看redis状态，以及rdb和aof两种持久化方案的区别

命令：redis-cli info //查看redis服务器状态的rdb : redis database 默认开启的，是将数据从内存备份到硬盘中。 aof：append only f 需要自己根据需要开启，是将执行命令存储在一个文件中。 建议看一下apeit-程序猿IT的文章《redis数据持久化》，讲的简单明了。

redis 所有key 都在内存么

Redis 中的每一个数据库，都由一个 redisDb 的结构存储。 其中， 存储着 redis 数据库以整数表示的号码。 存储着该库所有的键值对数据。 保存着每一个键的过期时间。

redis set集合可以分页吗

第一个是 (String key, double score, String member)这个方法 是类似于 map 的功能第二个方法(String key, String value)这个就是根据key获取对应的值第三个方法 (String key, long start, long end) 是对list中的数据 向下取值第四个方法 (String key, long start, long end) 是对list中的数据 向上取值第五个方法是(Sting key)获取集合中的总数！