Redis缓存雪崩是指在系统中存在大量的缓存数据,在缓存过期时间到达时,大量的请求同时涌入,导致缓存层无法承载,即缓存层同时崩溃,最终导致整个系统崩溃的情况。这是系统中非常危险的情况,因为系统无法处理任何请求,导致用户无法访问。
为了解决这个问题,我们需要采取一系列的措施。其中,最重要的是扩容缓存 服务器 。扩容可以极大地提高缓存服务的崩溃性,缓解缓存层对于请求的压力。在缓存服务扩容之后,我们需要在代码层面上对于缓存的使用进行优化,使得缓存层对于请求的响应时间更快,同时能够更好地承担请求的压力。
下面是我们所采取的措施:
1.扩容缓存服务器
在系统中,我们使用Redis作为缓存服务器。由于缓存层的容量有限,我们需要不断地扩容缓存服务器的容量。当然,缓存服务器的扩容需要消耗一定的成本,因此我们需要计算好容量和成本之间的关系,以及下一步需要扩容的时间节点。
2.设置缓存的过期时间
在设置缓存的过期时间时,我们需要合理地设置过期时间,以免在过期时间到达之后,大量的请求同时涌入。对于不同的 key 值,我们设置不同的过期时间,以避免大量 key 值同时过期的情况。
以下是设置缓存过期时间代码实现:
Jedis jedis = jedisPool.getResource();String key = "key";String value = "value";int seconds = 3600;jedis.setex(key, seconds, value);
3.使用互斥锁

在进行缓存查询时,我们可以使用互斥锁来解决缓存查询时的并发问题。在查询缓存之前,我们先尝试获取互斥锁,如果获取成功,则进行缓存查询,如果获取失败,则进行等待。互斥锁只有在缓存查询完成之后才会释放。
以下是使用互斥锁的代码实现:
public Object getValue(String key) {Object value;ReentrantLock lock = lockService.getLock(key);lock.lock();try {value = getDataFromRedis(key);if (value == null) {value = getDataFromDB();if (value != null) {jedis.set(key, value);}}} finally {lock.unlock();}return value;}
4.数据预加载
在系统启动时,我们可以将部分缓存数据提前加载到缓存服务器中。这样做可以避免在高并发情况下,大量的请求同时查询缓存,从而导致缓存层崩溃的情况。
以下是数据预加载的代码实现:
public void startUp() {List userList = getUserList();for (User user : userList) {String key = "user_" + user.getId();jedis.set(key, Json.toJSONString(user));}}
通过以上措施,我们可以有效地解决Redis缓存雪崩的问题,保障系统的正常运行。但是,除了以上措施之外,我们还需要不断地监控和优化系统,以保障系统的性能和可靠性。
香港服务器首选树叶云,2H2G首月10元开通。树叶云(shuyeidc.com)提供简单好用,价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。
java 连接 redis 存值存不进去
你看下看下redis是否开启远程访问权限,bind ip 0.0.0.0,使用telenet测试端口是否通了。
数据写入redis并返回怎么处理
1、 快照的方式持久化到磁盘自动持久化规则配置save 900 1save 300 10save 60 上面的配置规则意思如下:# In the example below the behaviour will be to save:# after 900 sec (15 min) if at least 1 key changed# after 300 sec (5 min) if at least 10 keys changed# after 60 sec if at least keys changedredis也可以关闭自动持久化,注释掉这些save配置,或者save “”如果后台保存到磁盘发生错误,将停止写操作-writes-on-bgsave-error yes使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用 yes保存rdb和加载rdb文件的时候检验,可以防止错误,但是要付出约10%的性能,可以关闭他,提高性能。 rdbchecksum yes导出的rdb文件名dbfilename 设置工作目录, rdb文件会写到该目录, append only file也会存储在该目录下 ./Redis自动快照保存到磁盘或者调用bgsave,是后台进程完成的,其他客户端仍然和可以读写redis服务器,后台保存快照到磁盘会占用大量内存。 调用save保存内存中的数据到磁盘,将阻塞客户端请求,直到保存完毕。 调用shutdown命令,Redis服务器会先调用save,所有数据持久化到磁盘之后才会真正退出。 对于数据丢失的问题:如果服务器crash,从上一次快照之后的数据将全部丢失。 所以在设置保存规则的时候,要根据实际业务设置允许的范围。 如果对于数据敏感的业务,在程序中要使用恰当的日志,在服务器crash之后,通过日志恢复数据。 2、 Append-only file 的方式持久化另外一种方式为递增的方式,将会引起数据变化的操作, 持久化到文件中, 重启redis的时候,通过操作命令,恢复数据.每次执行写操作命令之后,都会将数据写到中。 # appendfsync alwaysappendfsync everysec# appendfsync no当配置为always的时候,每次中的数据写入到文件之后,才会返回给客户端,这样可以保证数据不丢,但是频繁的IO操作,会降低性能。 everysec每秒写一次,这可能会丢失一秒内的操作。 aof最大的问题就是随着时间append file会变的很大,所以我们需要bgrewriteaof命令重新整理文件,只保留最新的kv数据。
scrapy使用redis的时候,redis需要进行一些设置吗
1.使用两台机器,一台是win10,一台是centos7,分别在两台机器上部署scrapy来进行分布式抓取一个网站7的ip地址为192.168.1.112,用来作为redis的master端,win10的机器作为的爬虫运行时会把提取到的url封装成request放到redis中的数据库:“dmoz:requests”,并且从该数据库中提取request后下载网页,再把网页的内容存放到redis的另一个数据库中“dmoz:items”从master的redis中取出待抓取的request,下载完网页之后就把网页的内容发送回master的redis5.重复上面的3和4,直到master的redis中的“dmoz:requests”数据库为空,再把master的redis中的“dmoz:items”数据库写入到mongodb中里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹(使用哈希函数将url运算后的结果),是防止重复抓取的!
发表评论