Redis 过期：高效多线程解决之道
Redis是一个高性能的key-value存储系统，作为内存数据库由于其快速、可靠和可扩展的功能得到了广泛的应用。而Redis的一个重要特性就是支持设置过期时间，这为实现缓存等应用提供了很大的便利。但是，当Redis中的数据过多，在key的过期会因为Redis要遍历所有的key来判断该key是否过期而降低Redis的性能。
因此，我们需要寻找一种高效多线程的解决之道，以避免这种性能下降的问题。
解决方案
我们可以使用Redis API中提供的scan命令。scan命令可以遍历Redis中的每个key，找到过期的key，然后使用Redis API中的del命令将其删除。这种方法需要使用多线程来提高效率。
以下是使用Java多线程的示例代码：
public class RedisExpiredKeyRemover implements Runnable {Jedis jedis;boolean stop;public RedisExpiredKeyRemover(Jedis jedis) {this.jedis = jedis;this.stop = false;}@Overridepublic void run() {while (!stop) {String cursor = ScanParams.SCAN_POINTER_START;do {ScanResult result = jedis.scan(cursor);List keys = result.getResult();for (String key : keys) {if (jedis.ttl(key) jedis.del(key);}}cursor = result.getStringCursor();} while (!cursor.equals(ScanParams.SCAN_POINTER_START));}}public void stop() {stop = true;}}
该示例代码中，我们使用了一个名为RedisExpiredKeyRemover的Java类。该类实现了Runnable接口，使用多线程执行扫描Redis中所有的key和删除过期key的操作。在run方法中，我们使用了jedis.scan(cursor)命令遍历Redis中的每个key。
使用jedis.ttl(key)获得每个key的剩余过期时间，如果剩余过期时间小于0，则使用jedis.del(key)命令将其删除。
执行该类的方法如下所示：
public static void mn(String[] args) {JedisPool pool = new JedisPool(new JedisPoolConfig(), "localhost", 6379);Jedis jedis = pool.getResource();int threadNum = 4;List threads = new ArrayList();for (int i = 0; i RedisExpiredKeyRemover remover = new RedisExpiredKeyRemover(jedis);Thread thread = new Thread(remover);thread.start();threads.add(thread);}try {Thread.sleep(60000);} catch (InterruptedException e) {e.printStackTrace();}for (Thread thread : threads) {((RedisExpiredKeyRemover)thread).stop();}jedis.close();pool.close();}
该代码创建了一个连接到Redis的连接池，并启动了4个线程执行RedisExpiredKeyRemover类。执行一段时间后，调用每个线程对象的stop()方法，便可以实现退出程序。
总结
通过以上的方案，我们可以避免Redis的性能下降问题。使用scan命令定期删除过期的key，可以提高Redis的性能。同时，使用多线程来扫描Redis中的数据，可以极大地提高效率，从而避免单线程的性能瓶颈。
我们需要考虑的是，在使用扫描Redis的过程中，可能会影响到Redis的其他操作，因此我们需要在使用scan命令的同时，注意对Redis性能的影响。
香港服务器首选树叶云，2H2G首月10元开通。树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云 服务器 和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。
如何在Java中使用双重检查锁实现单例
单例类在Java开发者中非常常用，但是它给初级开发者们造成了很多挑战。 他们所面对的其中一个关键挑战是，怎样确保单例类的行为是单例？也就是说，无论任何原因，如何防止单例类有多个实例。 在整个应用生命周期中，要保证只有一个单例类的实例被创建，双重检查锁（Double checked locking of Singleton）是一种实现方法。 顾名思义，在双重检查锁中，代码会检查两次单例类是否有已存在的实例，一次加锁一次不加锁，一次确保不会有多个实例被创建。 顺便提一下，在JDK1.5中，Java修复了其内存模型的问题。 在JDK1.5之前，这种方法会有问题。 本文中，我们将会看到怎样用Java实现双重检查锁的单例类，为什么Java 5之前的版本双重检查锁会有问题，以及怎么解决这个问题。 顺便说一下，这也是重要的面试要点，我曾经在金融业和服务业的公司面试被要求手写双重检查锁实现单例模式、相信我，这很棘手，除非你清楚理解了你在做什么。 你也可以阅读我的完整列表“单例模式设计问题”来更好的准备面试。 为什么你需要双重检查锁来实现单例类？一个常见情景，单例类在多线程环境中违反契约。 如果你要一个新手写出单例模式，可能会得到下面的代码： private static Singleton _instance;public static Singleton getInstance() {if (_instance == null) {_instance = new Singleton();}return _instance;}然后，当你指出这段代码在超过一个线程并行被调用的时候会创建多个实例的问题时，他很可能会把整个getInstance()方法设为同步（synchronized），就像我们展示的第二段示例代码getInstanceTS()方法一样。 尽管这样做到了线程安全，并且解决了多实例问题，但并不高效。 在任何调用这个方法的时候，你都需要承受同步带来的性能开销，然而同步只在第一次调用的时候才被需要，也就是单例类实例创建的时候。 这将促使我们使用双重检查锁模式（double checked locking pattern），一种只在临界区代码加锁的方法。 程序员称其为双重检查锁，因为会有两次检查 _instance == null，一次不加锁，另一次在同步块上加锁。 这就是使用Java双重检查锁的示例： public static Singleton getInstanceDC() {if (_instance == null) {// Single Checkedsynchronized () {if (_instance == null) {// Double checked_instance = new Singleton();}}}return _instance;}这个方法表面上看起来很完美，你只需要付出一次同步块的开销，但它依然有问题。 除非你声明_instance变量时使用了volatile关键字。 没有volatile修饰符，可能出现Java中的另一个线程看到个初始化了一半的_instance的情况，但使用了volatile变量后，就能保证先行发生关系（happens-before relationship）。 对于volatile变量_instance，所有的写（write）都将先行发生于读（read），在Java 5之前不是这样，所以在这之前使用双重检查锁有问题。 现在，有了先行发生的保障（happens-before guarantee），你可以安全地假设其会工作良好。 另外，这不是创建线程安全的单例模式的最好方法，你可以使用枚举实现单例模式，这种方法在实例创建时提供了内置的线程安全。 另一种方法是使用静态持有者模式（static holder pattern）。 /* * A journey to write double checked locking of Singleton class in Java. */class Singleton {private volatile static Singleton _instance;private Singleton() {// preventing Singleton object instantiation from outside}/* * 1st version: creates multiple instance if two thread access * this method simultaneously */public static Singleton getInstance() {if (_instance == null) {_instance = new Singleton();}return _instance;} /** 2nd version : this definitely thread-safe and only* creates one instance of Singleton on concurrent environment* but unnecessarily expensive due to cost of synchronization* at every call.*/ public static synchronized Singleton getInstanceTS() { if (_instance == null) { _instance = new Singleton(); } return _instance; } /** 3rd version : An implementation of double checked locking of Singleton.* Intention is to minimize cost of synchronization andimprove performance,* by only locking critical section of code, the code which creates instance of Singleton class.* By the way this is still broken, if we dont make _instance volatile, as another thread can* see a half initialized instance of Singleton.*/public static Singleton getInstanceDC() {if (_instance == null) {synchronized () {if (_instance == null) {_instance = new Singleton();}}}return _instance;}}这就是本文的所有内容了。 这是个用Java创建线程安全单例模式的有争议的方法，使用枚举实现单例类更简单有效。 我并不建议你像这样实现单例模式，因为用Java有许多更好的方式。 但是，这个问题有历史意义，也教授了并发是如何引入一些微妙错误的。 正如之前所说，这是面试中非常重要的一点。 在去参加任何Java面试之前，要练习手写双重检查锁实现单例类。 这将增强你发现Java程序员们所犯编码错误的洞察力。 另外，在现在的测试驱动开发中，单例模式由于难以被模拟其行为而被视为反模式（anti pattern），所以如果你是测试驱动开发的开发者，最好避免使用单例模式。
VC毕业论文
VC++的论文，键盘论文网很多的，我之前做了个小的VC++系统也是找他们帮忙弄的，非常专业 还有些资料，你看下，或许有用 本文所涉及的通信总台是一个集传统通信技术与最新通信技术于一体， 包括短波、有线（DDN专线、拨号专线等）、卫星等多种通信手段，对通信 的及时、可靠、准确、安全、高效、智能化、可扩充性都有很高要求的系统。 同时，通信总台也是一个基于TCP/IP协议、具有良好的开放性、能适应通 信网的不断发展、与Internet完全隔离的Intranet系统。 为实现通信总台能可 靠、安全、稳定地传输文件，确保系统在有故障时还能不停机连续、正确运 行，本文不仅研究了基本的文件存储、传输技术（大型数据库访问方法、高 效的多线程技术），而且探讨了目前计算机领域研究的热点——高可用性集 群系统技术。 本文讨论了在设计高可用集群系统时采用的重要技术，如故障监测、 Heart Beat技术、Agent技术等，分析了集群系统下的通信系统的基本模式， 提出了高可用性集群系统的实施方案。 本文使用面向对象技术，设计开发了在无人值守时完成同一链路的文件 双向收、发功能的通信子系统。 集中管理、调度具有复杂的通讯协议的多线 程通讯子系统，合理调整由于并行操作多线程、复杂通讯协议、大型数据库 访问所带来的复杂性。 通信子系统的技术分支主要包括：设计一套具有较高 可靠性及保密性的专用通讯协议（应答协议，加密、校验、高效传输及断点 续传等）；设计集中控制管理多线程的启动、中止的模式；设计能完成线程 之间的互锁及资源共享的线程堆栈；设计访问Sybase数据库的通用方法，和 管理Sybase数据库中的消息传递机制，具有较高的执行效率及可操作性的对 象堆栈。 如果还有不清楚的，自己上键盘论文看下吧
scrapy使用redis的时候，redis需要进行一些设置吗
1.使用两台机器，一台是win10，一台是centos7，分别在两台机器上部署scrapy来进行分布式抓取一个网站7的ip地址为192.168.1.112，用来作为redis的master端，win10的机器作为的爬虫运行时会把提取到的url封装成request放到redis中的数据库：“dmoz:requests”，并且从该数据库中提取request后下载网页，再把网页的内容存放到redis的另一个数据库中“dmoz:items”从master的redis中取出待抓取的request，下载完网页之后就把网页的内容发送回master的redis5.重复上面的3和4，直到master的redis中的“dmoz:requests”数据库为空，再把master的redis中的“dmoz:items”数据库写入到mongodb中里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹（使用哈希函数将url运算后的结果），是防止重复抓取的！
发表评论