红色的缓存：堆叠Redis的新使用方式
Redis作为一款高性能的缓存数据库，一直是开发人员的首选。但是在大规模应用中，单一的Redis集群往往无法满足需要，需要进行堆叠以提高性能和可用性。堆叠Redis，一直是Redis社区的热门话题。这篇文章将介绍使用Redis Cluster和Redis Sentinel进行堆叠Redis的新方法——红色的缓存。
一、Redis Cluster
Redis Cluster是一种完全分布式的Redis系统，它支持自动分片和高可用性。Redis Cluster最大的特点就是可以将数据自动分片并存储在不同的节点上，这样就可以承载更多的数据，并提高Redis的性能。
在Redis Cluster中，每个节点与其他节点保持连接，并共享数据，通过一致哈希算法将键映射到节点。如果有节点故障，Redis Cluster可以自动发现并将数据迁移到其他节点上。因此Redis Cluster可以提供高可用性的服务。
在使用Redis Cluster之前，需要先安装Redis Cluster，然后配置节点。以下是一个简单的Redis Cluster例子：
# 创建Redis Cluster配置
mkdir redis-cluster
cd redis-cluster
for port in `seq 7000 7005`; do
mkdir -p $port
PORT=$port envsubst $port/redis.conf
# 启动节点
redis-server 7000/redis.conf
redis-server 7001/redis.conf
redis-server 7002/redis.conf
redis-server 7003/redis.conf
redis-server 7004/redis.conf
redis-server 7005/redis.conf
# 创建集群
redis-cli –cluster create 127.0.0.1:7000 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 \
–cluster-replicas 1
以上命令将启动6个Redis节点，并使用默认哈希算法将键分配给节点。Replicas表示备份节点。二、Redis SentinelRedis Sentinel是一种著名的高可用性的解决方案，它可以自动监控Redis集群的健康状况，并在发现故障时自动启动故障转移。Redis Sentinel可以保证Redis集群在出现故障时，具有高可用性和可恢复性。在Redis Sentinel中，有三种角色：Master、Slave和Sentinel。Master是Redis集群的主节点，Slave是Redis集群的备份节点，Sentinel是监控和故障转移工具。在Redis Sentinel中，每个Master可以有多个Slave，且每个Slave只能有一个Master。Sentinel可以监控多个Master，并在主节点故障时，通过投票选出新的Master，并启动故障转移。以下是一个简单的Redis Sentinel例子：```bash# 创建Redis配置mkdir redis-sentinelcd redis-sentinelfor port in `seq 7000 7005`; domkdir -p $portPORT=$port envsubst$port/redis.confdone# 启动节点redis-server 7000/redis.confredis-server 7001/redis.confredis-server 7002/redis.confredis-server 7003/redis.confredis-server 7004/redis.confredis-server 7005/redis.conf# 创建Sentinel配置mkdir sentinel1 sentinel2 sentinel3PORT=27100 envsubstsentinel1/sentinel.confPORT=27101 envsubstsentinel2/sentinel.confPORT=27102 envsubstsentinel3/sentinel.conf# 启动Sentinelredis-sentinel sentinel1/sentinel.confredis-sentinel sentinel2/sentinel.confredis-sentinel sentinel3/sentinel.conf
以上命令启动了6个Redis节点和3个Sentinel节点。Sentinel节点会自动监控Redis节点的健康状况，并在发现故障时启动故障转移。
三、红色的缓存
红色的缓存是一种新的使用方式，它将Redis Cluster和Redis Sentinel进行堆叠，从而提高Redis的性能和可用性。红色的缓存可以在Redis节点故障时提供持久性，并在Redis集群故障时提供可恢复性。
以下是一个简单的红色的缓存例子：
# 创建Redis Cluster配置
mkdir redis-cluster
cd redis-cluster
for port in `seq 7000 7005`; do
mkdir -p $port
PORT=$port envsubst $port/redis.conf
# 启动节点
redis-server 7000/redis.conf
redis-server 7001/redis.conf
redis-server 7002/redis.conf
redis-server 7003/redis.conf
redis-server 7004/redis.conf
redis-server 7005/redis.conf
# 创建Sentinel配置
mkdir sentinel1 sentinel2 sentinel3
PORT=27100 envsubst sentinel1/sentinel.conf
PORT=27101 envsubst sentinel2/sentinel.conf
PORT=27102 envsubst sentinel3/sentinel.conf
# 启动Sentinel
redis-sentinel sentinel1/sentinel.conf
redis-sentinel sentinel2/sentinel.conf
redis-sentinel sentinel3/sentinel.conf
以上命令启动了6个Redis节点和3个Sentinel节点。Sentinel节点会自动监控Redis节点的健康状况，并在发现故障时启动故障转移。因此，在出现故障时，Redis Cluster可以提供高可用性和持久性的服务。
香港服务器首选树叶云，2H2G首月10元开通。树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云 服务器 和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。
scrapy使用redis的时候，redis需要进行一些设置吗
1.使用两台机器，一台是win10，一台是Centos7，分别在两台机器上部署scrapy来进行分布式抓取一个网站7的ip地址为192.168.1.112，用来作为redis的master端，win10的机器作为的爬虫运行时会把提取到的url封装成request放到redis中的数据库：“dmoz:requests”，并且从该数据库中提取request后下载网页，再把网页的内容存放到redis的另一个数据库中“dmoz:items”从master的redis中取出待抓取的request，下载完网页之后就把网页的内容发送回master的redis5.重复上面的3和4，直到master的redis中的“dmoz:requests”数据库为空，再把master的redis中的“dmoz:items”数据库写入到mongodb中里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹（使用哈希函数将url运算后的结果），是防止重复抓取的！
Redis和Memcache的区别分析
1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。 不过memcache还可用于缓存其他东西，例如图片、视频等等。 2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3、虚拟内存--Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘4、过期策略--memcache在set时就指定，例如set key1 0 0 8,即永不过期。 Redis可以通过例如expire 设定，例如expire name 105、分布式--设定memcache集群，利用magent做一主多从;redis可以做一主多从。 都可以一主一从6、存储数据安全--memcache挂掉后，数据没了；redis可以定期保存到磁盘（持久化）7、灾难恢复--memcache挂掉后，数据不可恢复; redis数据丢失后可以通过aof恢复8、Redis支持数据的备份，即master-slave模式的数据备份。
Intel 80核处理器
2008年10月，Intel公开展出首款80核处理器原型：Teraflop Research Chip，它也是Intel公司在“万亿级计算”研究领域内取得的最新成果。从外观上看，Teraflop Research Chip封装和一般的x86处理器要大一些，但核心尺寸也只275mm2，和指甲盖差不多大小；这款芯片内配置了80个处理器内核，默认频率下耗电量只有62W，功耗甚至比目前许多桌面处理器低。 当然，这个原型芯片内集成的仅是最简单的浮点计算单元，因此芯片规模可以很小，仅作为研究和展示用途。
Teraflop Research Chip的默认运行频率为3.16GHz，此时它可提供1.01Teraflops的浮点计算性能，芯片内部互连总带宽为1.62Terabits/s(也就是0.2TB/s)。 如果将电压增加到1.2V，那么Teraflop Research Chip的工作频率可以提高到5.1GHz，此时计算能力达到1.63Teraflop，不过功耗也猛增至175W。 如加压至1.25V，芯片频率将进一步提升到5.7GHz，此时其计算性能为1.81Teraflop，功耗则达到265W，其计算性能非常强悍。
在芯片布局方面，Teraflop Research Chip也非常特殊，它被设计成8×10结构的晶体管阵列，每个基本单元称为一个“块面(Tile)”，块面包括一个微小的内核(或者是计算单元)和一个路由器。 其中，内核含有一些能够生成数据的简单指令，而路由器则负责与高速缓存和相邻块面的连接。
Teraflop Research Chip的每个内核都拥有256KB高速缓存，不过它并不是像常规处理器一样，以平面方式与CPU核心电路直接集成，而是基于硅核植入(Through silicon Vias)技术的3维堆叠式内存。 这项技术的基本原理是将缓存芯片和CPU芯片叠放在一起，电源和I/O信号从内存穿过到达CPU；每个内核都与3维堆叠内存直接相连。 Teraflop Research Chip的每个CPU内核都配备256KB SRAM高速缓存(累计有20MB)，CPU与SRAM间共有8490个连接点─由于每个内核都与3维堆叠缓存相连，系统同时满足了大容量和低延迟传输的要求。 研究人员表示，该技术目前已在小批量生产中实现，下一步的研究计划是如何将这套方案推广到大规模量产的生产工艺，但我们相信该技术出现在商用产品中也只是一个时间问题。
从数字上看，Teraflop Research Chip的计算能力堪比现在的顶级GPU，但实际上Teraflop Research Chip的用途很有限，因为它的CPU内核还太简单，Intel的下一步目标是利用普通内核来代替当前设计的浮点单元，让Teraflop Research Chip具有进入商业应用的能力，但高功耗显然将会是Intel要面临的第一个问题─Intel以两个措施来应对：一是让闲置的内核可以进入休眠状态，由此节省能源开销和发热量；二就是引入先进的半导体工艺，毕竟Teraflop Research Chip原型只是采用65nm工艺制造，正式商用版本将采用32nm甚至22nm工艺，高功耗和发热问题可以得到较好的解决。
发表评论