Redis清理垃圾快速删除失效Key（redis清除失效key） (redis清理缓存flushall)

Redis清理垃圾：快速删除失效Key

Redis是业界常用的高性能Key-Value存储系统，它的高速读写和持久化能力广泛应用于缓存、会话管理、排行榜、消息队列等领域。但是，当Redis中的Key过多或者失效，会导致内存和存储空间的浪费，并且可能影响Redis性能。因此，清理Redis中的垃圾成为必要的任务之一。

本文主要介绍如何快速删除Redis中失效的Key，提高Redis的性能。

1. 如何判断Redis中的Key是否失效？

我们需要理解Redis中的Key失效是怎么样的一种情况。在Redis中，每个Key可以设置一个生存时间（TTL），表示这个Key的存在时间，单位是秒。当一个Key的生存时间为0时，该Key就被判定为失效。

Redis提供了命令`TTL key`，用来获取指定Key的生存时间。当Key不存在或者生存时间已经过期时，返回-2；当Key存在但没有设置生存时间时，返回-1；当Key存在而生存时间未过期时，返回剩余的生存时间。

因此，我们可以通过在Redis客户端中执行`TTL key`命令，来判断某个Key是否失效。

2. Redis如何快速删除失效Key？

在Redis中，删除失效Key的常见方法是使用TTL命令来遍历所有Key，然后将失效的Key删除。但是，如果Redis中Key的数量非常大，这个方法会导致性能问题和内存占用过高。

为了解决这个问题，Redis引入了Redis自带的expire cycle机制。该机制每秒钟会随机测试100个Key，如果发现某个Key已经失效，那么就会自动将其删除。这样就大大减小了删除失效Key的负担和占用的内存。

然而，如果Redis的Key数量非常大，而且自带的expire cycle机制不能满足实际需求，我们可以采用以下两种常见的方法来提高清理Redis垃圾的效率。

方法一：使用Redis SCAN命令扫描所有的Key

Redis提供了SCAN命令，可以基于游标分步遍历Redis中的所有Key，并根据条件过滤出满足要求的Key。比如，我们可以使用如下代码片段来遍历所有Key，以及其生存时间。

import redis

cursor = ‘0’

r = redis.Redis(host=’localhost’, port=6379, db=0)

while cursor != 0:

cursor, keys = r.scan(cursor=cursor)

for key in keys:

print(key, r.ttl(key))

在`r.scan`中，`cursor`参数用于指定当前扫描的位置，初始化时设置成0；而返回值`cursor`表示下一次扫描时应该使用的游标；`keys`包含本次扫描返回的Key列表（最多1000个）。在循环中，我们遍历`r.scan`每次返回的Key列表，然后使用`r.ttl`来获取Key的生存时间。此方法的优点是，可以批量处理所有Key，并同时获取其生存时间。但是，因为使用SCAN命令会阻塞Redis的主线程，会影响Redis的性能，因此需要控制扫描的速度，避免影响Redis的正常操作。方法二：使用Redis LUA脚本删除满足条件的KeyRedis支持使用LUA脚本来在Redis-server端执行一些复杂的操作。结合SCAN命令，在LUA脚本中实现高效删除失效Key是一个不错的选择。以下是一个使用LUA脚本删除失效Key的范例：```pythonimport redisdef delete_expired_keys(r, cursor=0, count=1000):script = """local cursor, keys = {}, {}cursor[1] = ARGV[1]while cursor[1] ~= "0" docursor, keys = redis.call("SCAN", cursor[1], "COUNT", ARGV[2])for _, key in iprs(keys) doif redis.call("TTL", key) redis.call("DEL", key)endendif tonumber(cursor[1]) == 0 thenbreakendend"""r.eval(script, 0, cursor, count)r = redis.Redis(host='localhost', port=6379, db=0)delete_expired_keys(r)

在LUA脚本中，我们先定义了一个`delete_expired_keys`函数，用于删除所有失效Key。在函数中，我们使用SCAN命令逐步遍历Redis中的Key，如果遇到失效的Key，就立即删除。需要注意的是，如果使用SCAN命令一次性遍历所有的Key，会影响Redis的性能，因此我们需要使用`COUNT`参数控制每次遍历的Key数量。

可以在Python脚本中，调用`delete_expired_keys`函数即可快速清理失效的Key。

总结

通过本文内容的介绍，我们了解到了如何使用Redis自带的expire cycle机制以及SCAN命令和LUA脚本来删除失效的Key，提高Redis的性能和空间利用率。如果您在使用Redis时，发现Redis的性能受到了影响，不妨尝试使用以上方法，看看能否解决问题。

香港服务器首选树叶云，2H2G首月10元开通。树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。

redis对象操作setTimeout()，在哪里可以查到用法？

redis对象操作setTimeout()的用法如下：setTimeout, expire设定一个key的活动时间（s）$redis->setTimeout(x, 3);有关redis的一系列set操作总结如下：//SET 集合的相关操作// sadd 集合添加数据初始化数据for($i=0; $i < 10 ; $i++){$redis->sadd(myset,$i+rand(10,99));}//srem 删除集合中的一个元素$bool = $redis->srem(myset,16);echo (int) $bool;//sMove 将value元素从名称为srckey的集合移到名称为dstkey的集合$bool = $redis->sMove(myset, myset1, 35);echo $bool;//smembers 显示集合中的元素$data = $redis->smembers(myset);// sIsMember, sContains 名称为key的集合中查找是否有value元素，有ture 没有 false$bool = $redis->sismember(myset,555);echo (int)$bool;//scard ssize集合key元素的个数echo $redis->scard(myset); //sInterStore//求交集并将交集保存到output的集合//$redis->sInterStore(output, key1, key2, key3)$redis->sinterstore(output,myset,myset1);$data = $redis->smembers(output);echo

;print_r($data);// sUnionStore求并集并将并集保存到output的集合//$redis->sUnionStore(output, key1, key2, key3);$redis->sunionstore(uoutput,myset,myset1);$data = $redis->smembers(uoutput);echo ;print_r($data);//sort// 排序，分页等// 参数// by => some_pattern_*,// limit => array(0, 1),// get => some_other_pattern_* or an array of patterns,// sort => asc or desc,// alpha => TRUE,// store => external-key$data = $redis->sort(myset,array(sort=>desc));echo ;print_r($data);//ZSET 有序集合的相关操作//zadd添加元素 zAdd(key, score, member)：for($i=0; $i < 10 ; $i++){$redis->zadd(zset,$i+rand(10,99),$i+rand(100,999));}//zrangezRange(key, start, end,withscores) 返回指定范围的元素//zRevRange(key, start, end,withscores)：返回名称为key的zset（元素已按score从大到小排序）中的index从start到end的所有元素: 是否输出socre的值，默认false，不输出//zRangeByScore, zRevRangeByScore//$redis->zRangeByScore(key, star, end, array(withscores， limit ));//返回名称为key的zset中score >= star且score <= end的所有元素$data = $redis->zrange(zset,0,3,withscores);//end -1 返回所有元素加withscoreswithscores做值 使用echo ;print_r($data);//zDelete, zRem//zRem(key, member) ：删除名称为key的zset中的元素member$redis->zrem(zset,456);//zCount//$redis->zCount(key, star, end);//返回名称为key的zset中score >= star且score <= end的所有元素的个数echo $redis->zcount(zset,10,50);//zRemRangeByScore, zDeleteRangeByScore$redis->zRemRangeByScore(key, star, end);//zremrangebyscore 删除 socre 大于star score 小于 end d的元素//删除名称为key的zset中score >= star且score <= end的所有元素，返回删除个数//zScore 返回名称为key的zset中元素val2的scoreecho $redis->zScore(zset, 503);//zRank, zRevRankzrank(set,value) 返回value 在集合中的位置 索引从0开始echo$redis->zrank(zset,723);//zIncrBy//$redis->zIncrBy(key, increment, member);//如果在名称为key的zset中已经存在元素member，则该元素的score增加increment；否则向集合中添加该元素，其score的值为increment//zUnion/zInter 就集合的合集和交集//HASH 哈希的相关操作//hset 初始化数据for( $i=0; $i < 10 ;$i++){$redis->hset(myhash,$i,rand(10,99)+$i);}//hget(myhash,key1) 返回哈希 myhash 中键为key1的对应的数值echo $redis->hget(myhash,0);//hLen 返回名称为h的hash中元素个数echo $redis->hlen(myhash);//hDel 删除名称为h的hash中键为key1的域echo $redis->hdel(myhash,0);// hKeys返回名称为key的hash中所有键$data = $redis->hkeys(myhash);//hVals返回名称为h的hash中所有键对应的value$data = $redis->hvals(myhash);//hGetAll 返回名称为h的hash中所有的键（field）及其对应的value$data = $redis->hgetall(myhash);echo ;print_r($data);//hExists 判断某个hash的对应的键是否存在echo $redis->hexists(myhash,0);//hMset 向名称为key的hash中批量添加元素$redis->hmset(user:1,array(name1=>name1,name2=>Joe2));//hMGet 返回名称为h的hash中field1,field2对应的value$data = $redis->hmget(user:1, array(name, salary));echo ;print_r($data);//Redis 相关操作//flushDB 清空当前数据库//flushAll 清空所有数据库//select 选择数据库//$redis->select(0);//move 把key1 移动到数据库2 $redis->move(key1,2);//rename, renameKey 给key从新命名//renameNx与remane类似，但是，如果重新命名的名字已经存在，不会替换成功//setTimeout, expire 设置key的生命时间$redis->settimeout(user:1,10);//expireat 指定一个key的生命时间为一个时间戳//expireAtkey存活到一个unix时间戳时间$redis->expireat(myhash,time()+ 10);//dbSize查看现在数据库有多少key $count = $redis->dbSize();//auth 密码认证$redis->auth(foobared);//bgrewriteaof使用aof来进行数据库持久化$redis->bgrewriteaof();//slaveof 通过执行 SLAVEOF host port 命令，可以将当前服务器转变为指定服务器的从属服务器(slave server)。$redis->slaveof(10.0.1.7, 6379);//save将数据同步保存到磁盘//bgsave 将数据异步保存到磁盘//lastSave返回上次成功将数据保存到磁盘的Unix时戳//info 返回redis的版本信息等详情echo ;print_r($redis->info());// type 返回key的类型值 1-5 //string: Redis::REDIS_STRING 1//set: Redis::REDIS_SET 2//list: Redis::REDIS_LIST 3//zset: Redis::REDIS_ZSET 4//hash: Redis::REDIS_HASH 5//other: Redis::REDIS_NOT_FOUND 6echo $redis->type(myset); //2



 Redis有哪些数据结构？


 Redis有五种结构：1、String可以是字符串，整数或者浮点数，对整个字符串或者字符串中的一部分执行操作，对整个整数或者浮点执行自增(increment)或者自减(decrement)操作。
  
  
  字符串命令：①get、获取存储在指定键中的值②set、设置存储在指定键中的值③del、删除存储在指定键中的值（这个命令可以用于所有的类型）2、list一个链表，链表上的每个节点都包含了一个字符串，虫链表的两端推入或者弹出元素，根据偏移量对链表进行修剪(trim)，读取单个或者多个元素，根据值查找或者移除元素。
  
  
  列表命令：①rpush、将给定值推入列表的右端②lrange、获取列表在指定范围上的所有值③lindex、获取列表在指定范围上的单个元素④lpop、从列表的左端弹出一个值，并返回被弹出的值3、set包含字符串的无序收集器(unordered collection)、并且被包含的每个字符串都是独一无二的。
  
  
  添加，获取，移除单个元素，检查一个元素是否存在于集合中，计算交集，并集，差集，从集合里面随机获取元素。
  
  
  集合命令：①sadd、将给定元素添加到集合②smembers、返回集合包含的所有元素③sismember、检查指定元素是否存在于集合中④srem、检查指定元素是否存在于集合中，那么移除这个元素4、hash包含键值对无序散列表，添加，获取，移除当键值对，获取所有键值对。
  
  
  散列命令：①hset、在散列里面关联起指定的键值对②hget、获取指定散列键的值③hgetall、获取散列包含的所有键值对④hdel、如果给定键存在于散列里面，那么移除这个键5、zset字符串成员(member)与浮点数分值(score)之间的有序映射，元素的排列顺序由分值的大小决定。
  
  
  添加，获取，删除单个元素，根据分值范围(range)或者成员来获取元素。
  
  
  有序集合命令：①zadd、将一个带有给定分值的成员添加到有序集合里面②zrange、根据元素在有序排列中所处的位置，从有序集合里面获取多个元素③zrangebyscore、获取有序集合在给定分值范围内的所有元素④zrem、如果指定成员存在于有序集合中，那么移除这个成员


 memcached和redis的区别


 medis与Memcached的区别传统Mysql+ Memcached架构遇到的问题　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：　需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。
  
  
  与mysql数据库数据一致性问题。
  
  
  数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。
  
  
  4.跨机房cache同步问题。
  
  
  众多NoSQL百花齐放，如何选择　最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短，总体上这些NoSQL主要用于解决以下几种问题　1.少量数据存储，高速读写访问。
  
  
  此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。
  
  
  2.海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。
  
  
  3.这方面最具代表性的是dynamo和bigtable 2篇论文所阐述的思路。
  
  
  前者是一个完全无中心的设计，节点之间通过gossip方式传递集群信息，数据保证最终一致性，后者是一个中心化的方案设计，通过类似一个分布式锁服务来保证强一致性,数据写入先写内存和redo log，然后定期compat归并到磁盘上，将随机写优化为顺序写，提高写入性能。
  
  
  free，auto-sharding等。
  
  
  比如目前常见的一些文档数据库都是支持schema-free的，直接存储json格式数据，并且支持auto-sharding等功能，比如mongodb。
  
  
  面对这些不同类型的NoSQL产品,我们需要根据我们的业务场景选择最合适的产品。
  
  
  Redis适用场景，如何正确的使用　前面已经分析过，Redis最适合所有数据in-momory的场景，虽然Redis也提供持久化功能，但实际更多的是一个disk-backed的功能，跟传统意义上的持久化有比较大的差别，那么可能大家就会有疑问，似乎Redis更像一个加强版的Memcached，那么何时使用Memcached,何时使用Redis呢?如果简单地比较Redis与Memcached的区别，大多数都会得到以下观点：　1Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
  
  
  2Redis支持数据的备份，即master-slave模式的数据备份。
  
  
  3Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。
  
  
  抛开这些，可以深入到Redis内部构造去观察更加本质的区别，理解Redis的设计。
  
  
  在Redis中，并不是所有的数据都一直存储在内存中的。
  
  
  这是和Memcached相比一个最大的区别。
  
  
  Redis只会缓存所有的 key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发Swap的操作，Redis根据“swappability = age*log(size_in_memory)”计 算出哪些key对应的value需要swap到磁盘。
  
  
  然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。
  
  
  这种特性使得Redis可以 保持超过其机器本身内存大小的数据。
  
  
  当然，机器本身的内存必须要能够保持所有的key，毕竟这些数据是不会进行swap操作的。
  
  
  同时由于Redis将内存 中的数据swap到磁盘中的时候，提供服务的主线程和进行swap操作的子线程会共享这部分内存，所以如果更新需要swap的数据，Redis将阻塞这个 操作，直到子线程完成swap操作后才可以进行修改。
  
  
  使用Redis特有内存模型前后的情况对比：　VM off: 300k keys, 4096 bytes values: 1.3G used　VM on:300k keys, 4096 bytes values: 73M used　VM off: 1 million keys, 256 bytes values: 430.12M used　VM on:1 million keys, 256 bytes values: 160.09M used　VM on:1 million keys, values as large as you want, still: 160.09M used当 从Redis中读取数据的时候，如果读取的key对应的value不在内存中，那么Redis就需要从swap文件中加载相应数据，然后再返回给请求方。
  
  
  这里就存在一个I/O线程池的问题。
  
  
  在默认的情况下，Redis会出现阻塞，即完成所有的swap文件加载后才会相应。
  
  
  这种策略在客户端的数量较小，进行 批量操作的时候比较合适。
  
  
  但是如果将Redis应用在一个大型的网站应用程序中，这显然是无法满足大并发的情况的。
  
  
  所以Redis运行我们设置I/O线程 池的大小，对需要从swap文件中加载相应数据的读取请求进行并发操作，减少阻塞的时间。
  
  
  如果希望在海量数据的环境中使用好Redis，我相信理解Redis的内存设计和阻塞的情况是不可缺少的。