redis进出队列-Redis构建进出队列实现异步任务 (redis进入命令行)

Redis作为一种开源内存数据库，开发者可以采用多种功能对其进行定制。它最大的特点是高性能，多种数据类型支持和可扩展，因此Redis常被用来构建进出队列、定时任务等场景，来实现异步任务的处理。

要使用Redis实现异步任务，首先要搭建一个进出队列系统。Redis可以创建一个名为tasks的list集合，以JSON格式将任务存储到该list里，然后定期从list里pop任务，使任务得以被及时处理完毕。

下面来看一段代码，以PHP为例，让大家更加清晰。

// 将任务加入到tasks这个list里面

$redis->rpush(tasks, json_encode($task));

// 死循环，不断从list里取出任务，实现异步任务的处理

while (true) {

// 获取队列中的任务数据

$data = $redis->brpop(‘tasks’, 0);

$task = json_decode($data[1], true);

// TODO:对任务做具体的处理

上述代码，利用Redis的list机制，先将任务存储在list里，然后不断取出任务进行处理，即可实现异步任务处理。Redis拥有丰富的数据结构，除了可以实现进出队列、异步任务场景外，还可以实现缓存、消息发布订阅等一系列功能，是一款相对简单而实用的开源数据库。

香港服务器首选树叶云，2H2G首月10元开通。树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云 服务器 和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。

如何理解而value对于Redis来说是一个字节数组，Redis并不知道value中存储的是什么

Redis不仅仅是一个简单的Key-value内存数据库，Redis官网对自身的定义是“数据结构服务器”。 通过用心设计各种数据结构类型的数据存储，可以实现部分的数据查询功能。 因为在Redis的设计中，key是一切，对于Redis是可见的，而value对于Redis来说就是一个字节数组，Redis并不知道你的value中存储的是什么，所以要想实现比如‘select * from Users where =shanghai’这样的查询，在Redis是没办法通过value进行比较得出结果的。 但是可以通过不同的数据结构类型来做到这一点。 比如如下的数据定义users:1 {name:Jack,age:28,location:shanghai}users:2 {name:Frank,age:30,location:beijing}users:location:shanghai [1]其中users:1 users:2 分别定义了两个用户信息，通过Redis中的hash数据结构，而users:location:shanghai 记录了所有上海的用户id，通过集合数据结构实现。 这样通过两次简单的Redis命令调用就可以实现我们上面的查询。 Jedis jedis = ();Set shanghaiIDs = (users:location:shanghai);//遍历该set//...//通过hgetall获取对应的user信息(users: + shanghaiIDs[0]);通过诸如以上的设计，可以实现简单的条件查询。 但是这样的问题也很多，首先需要多维护一个ID索引的集合，其次对于一些复杂查询无能为力(当然也不能期望Redis实现像关系数据库那样的查询，Redis不是干这的)。 但是Redis2.6集成了Lua脚本，可以通过eval命令，直接在RedisServer环境中执行Lua脚本，并且可以在Lua脚本中调用Redis命令。 其实，就是说可以让你用Lua这种脚本语言，对Redis中存储的key value进行操作，这个意义就大了，甚至可以将你们系统所需的各种业务写成一个个lua脚本，提前加载进入Redis，然后对于请求的响应，只需要调用一个个lua脚本就行。 当然这样说有点夸张，但是意思就是这样的。 比如，现在我们要实现一个‘所有age大于28岁的user’这样一个查询，那么通过以下的Lua脚本就可以实现public static final String SCRIPT =local resultKeys={};+ for k,v in ipairs(KEYS) do + local tmp = (hget, v, age);+ if tmp > ARGV[1] then + (resultKeys,v);+ end;+ end;+ return resultKeys;;执行脚本代码 Jedis jedis = ();(auth);List keys = (allUserKeys);List args = new ArrayList<>();(28);List resultKeys = (List)(funcKey, keys, args);return resultKeys;注意，以上的代码中使用的是evalsha命令，该命令参数的不是直接Lua脚本字符串，而是提前已经加载到Redis中的函数的一个SHA索引，通过以下的代码将系统中所有需要执行的函数提前加载到Redis中，我们的系统维护一个函数哈希表，后续需要实现什么功能，就从函数表中获取对应功能的SHA索引，通过evalsha调用就行。 String shaFuncKey = (SCRIPT);//加载脚本，获取sha索引(funcName_age, shaFuncKey);//添加到函数表中通过以上的方法，便可以使较为复杂的查询放到Redis中去执行，提高效率。

redis lpush 和sadd的区别

lpush 操作的是队列sadd 操作的是集合 LPUSH key value [value ...]将一个或多个值 value 插入到列表 key 的表头如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表头： 比如说，对空列表 mylist 执行命令 LPUSH mylist a bc ，列表的值将是 c b a ，这等同于原子性地执行 LPUSH mylist a 、 LPUSH mylist b 和 LPUSH mylist c 三个命令。 如果 key 不存在，一个空列表会被创建并执行 LPUSH 操作。 当 key 存在但不是列表类型时，返回一个错误。 SADD key member [member ...]将一个或多个 member 元素加入到集合 key 当中，已经存在于集合的 member 元素将被忽略。 假如 key 不存在，则创建一个只包含 member 元素作成员的集合。 当 key 不是集合类型时，返回一个错误。

scrapy使用redis的时候，redis需要进行一些设置吗

1.使用两台机器，一台是win10，一台是centos7，分别在两台机器上部署scrapy来进行分布式抓取一个网站7的ip地址为192.168.1.112，用来作为redis的master端，win10的机器作为的爬虫运行时会把提取到的url封装成request放到redis中的数据库：“dmoz:requests”，并且从该数据库中提取request后下载网页，再把网页的内容存放到redis的另一个数据库中“dmoz:items”从master的redis中取出待抓取的request，下载完网页之后就把网页的内容发送回master的redis5.重复上面的3和4，直到master的redis中的“dmoz:requests”数据库为空，再把master的redis中的“dmoz:items”数据库写入到mongodb中里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹（使用哈希函数将url运算后的结果），是防止重复抓取的！