构建高性能Redis集群主节点个数的选择-redis集群主节点个数 (构建高性能web站点)

构建高性能Redis集群——主节点个数的选择

构建高性能的Redis集群是许多企业技术团队的重要管理工作之一，也是数据库性能架构设计的关键环节。在构建Redis集群的时候，往往都要处理一些关键的参数，比如选择主节点的个数。主节点的个数往往是影响Redis集群的重要参数，不同的主节点决定集群的性能和根据集群的负载，决定数据库的性能是否达到预期。这就需要技术团队根据实际情况，选择合适的主节点，以获得最佳性能。

在构建Redis集群时，最佳的主节点个数可以根据实际情况而定，一般来说，可以根据集群的负载来确定主节点个数，比如大负载环境，就需要配置更多的主节点；而小负载环境就可以配置较少的主节点。

此外，主节点的个数可以根据Redis的官方文档进行确定。Redis的官方文档对主节点的最佳个数列出明确的标准，比如2-10个主节点之间的可用性最好；如果主节点个数超过10个，Redis的性能会减弱。

此外，主节点的个数也可以通过Redis的性能测试来确定。技术团队可以根据Redis集群的性能需求，进行性能测试，最终确定主节点的最佳个数。

以上是Redis集群构建中，选择主节点个数比较靠谱的方法。技术团队可以根据实际情况，选择合适的方法，来确定最佳的Redis集群的主节点个数，实现 Redis集群的高性能架构设计。

香港服务器首选树叶云，2H2G首月10元开通。树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云 服务器 和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。

雷网主机服务器虚拟化技术的优缺点有哪些？请详解

朋友：你问题中的雷网主机是一家空间提供商。 服务器虚拟化技术最显著的功能之一就是可以在主机集群内瞬间迁移虚拟机(VM)、减少服务器或应用系统的停机时间。 在使用微软Hyper-V搭建的测试环境中，通过构建主机集群环境，我节省了无数的服务器停机时间。 但是，这个技术也引起了一些问题。 这里，TechTarget中国的特约专家RobMcShinsky将阐述虚拟主机集群环境最重要的三个优缺点。 服务器虚拟化技术优点一：主动的风险回避我相信，服务器集群的最大优点是它可以主将VM从一个主机迁移到另外一个主机。 这样的话，就可以提高服务器和应用系统的运行时间。 在我的环境中，当内存不足、CPU负载偏高或者虚拟主机遇到较高的I/O压力时，我会收到警报。 如果我不能确定真正的原因或者系统需要重启，我就可以主动将VM迁移到集群内的其他主机。 如果这是一个单机，或者说，在主机重启期间，VM不可以关闭;如果重启之后，问题依然存在，我就不得不延长VM的停机时间直到我找到了问题的起因。 但是，在虚拟主机集群中，VM就可以被迁移到其他的主机直到问题解决。 服务器虚拟化技术优点二：反应性容错因为集群中的主机监控着所有VM的活动，因此，当一个节点失效时，失效节点的负载就会被指派到另外一个替代的主机。 如果需要较长时间解决失效主机的故障，只要替代它的健康主机有足够的资源，VM就会正常工作。 在我的环境中，如果一个主机失效，VM会自动迁移到另外一个节点。 虽然迁移的过程并不平滑，但工作负载自动变化几乎没有停顿。 服务器虚拟化技术优点三：主动的管理我在一个7*24的组织中工作，因此，打补丁和升级工作就必须采取非常严格的管理。 正常情况下，协调1—2台物理主机的停机时间已经比较困难，而要关闭位于同一个物理主机的30多个VM的复杂性就会呈指数增长。 自从切换到单机之后，我妻子就不用担心我要在周日早上1：00-6：00去升级虚拟主机，那个时候，我可以呆在家里休息。 利用虚拟主机集群，当某个主机打补丁和重启的时候，其上的VM迁移到替代的主机。 打完补丁，VM再迁移到原来的主机。 这样，就允许我们在早上极短的时间内，不用停掉整个系统，完成集群的升级。 服务器虚拟化技术的缺点虽然主机集群环境有令人瞩目的优点，但它同样存在一些实施和管理上的缺点。 服务器虚拟化技术缺点一：实施和配置的复杂性配置复杂可能是集群的最大缺点。 建立集群框架、管理主机间的连通性、配置共享存储都不是简单的任务，可能涉及到组织内部多个团队。 你可能不害怕增加的复杂度，然而，很大程度上，都是技术性的工作;但是，随着复杂度的增加，你可能会遗漏某些东西从而影响系统的稳定性。 服务器虚拟化技术缺点二：更新和升级的不利因素升级到更新版本的产品和硬件组件也可能引起困难。 因为，虚拟主机集群连接多个系统，各组件间发生着大量的、复杂的交互。 以更新主机上的多路径I/O(MPIO)驱动为例，该操作会影响整个集群。 首先，它影响节点转移逻辑单元号(LUN)到其他节点的效率。 同时，在更新MPIO驱动之前，集群中所有主机的HBA卡的Firmware都需要升级。 如果FW不用升级，那也必须首先安装HBA卡的驱动。 如果是单机，这可以通过1-2次重启解决。 在集群环境中，协调多个虚拟主机服务器则较为困难。 升级实际的虚拟主机软件一定是一个具有挑战性的任务，因为集群节点的交互以及不同软件版本支持(比如，SCVMM、ProtectionManager等)。 一般情况下，厂商会为这些复杂升级提供详细的、一步一步的操作操作指南;同时，大多数情况下，都会比较顺利。 服务器虚拟化技术缺点三：集群成本因素成本是另外一个主要的考虑因素。 要实现一个虚拟主机集群环境，你需要复制部分基础架构并同时保持虚拟机与主机的比例。 此外，大部分厂商的实现需要一个SAN或者独立的磁盘子系统。 开源iSCSI或者廉价的磁盘阵列可能是个精明的选择，但这些选项可能存在性能和稳定性的问题。 以我的经验，在重要的基础架构组件上选择廉价的路线会产生问题，造成绊脚石。 就因为选择了一个特殊的配置能够工作并不意味着就满足了项目目标。 如果管理部门对成本感到担忧，你可以解释给他们虚拟主机集群环境可以提高正常运行时间、提供更好的服务。 依我看，如果正确实施，这种配置就完全对得起付出的成本。 最后，每个组织不得不判断虚拟主机集群环境是否适合自己业务系统模式。 虽然虚拟主机集群环境引入配置的复杂度、升级问题和潜在的额外成本，但是，你的环境可以从加强的服务器或者应用系统可用性和更好的管理上获益。 尽管有潜在的困难或不利因素，但是，我相信实施虚拟主机集群所付出的努力和成本是值得的。 以上就是本人对服务器虚拟化技术的优缺点的分析，希望对你会有些帮助。

java中的xml解析

dom是解析xml的底层接口之一(另一种是sax) 而jdom和dom4j则是基于底层api的更高级封装dom是通用的，而jdom和dom4j则是面向java语言的 DOM 是用与平台和语言无关的方式表示 XML 文档的官方 W3C 标准。 DOM 是以层次结构组织的节点或信息片断的集合。 这个层次结构允许开发人员在树中寻找特定信息。 分析该结构通常需要加载整个文档和构造层次结构，然后才能做任何工作。 由于它是基于信息层次的，因而 DOM 被认为是基于树或基于对象的。 DOM 以及广义的基于树的处理具有几个优点。 首先，由于树在内存中是持久的，因此可以修改它以便应用程序能对数据和结构作出更改。 它还可以在任何时候在树中上下导航，而不是像 SAX 那样是一次性的处理。 DOM 使用起来也要简单得多。 XML的四种解析器(dom,sax,jdom,dom4j)原理及性能比较(转自zsq) 1、DOM DOM 是用与平台和语言无关的方式表示 XML 文档的官方 W3C 标准。 DOM 是以层次结构组织的节点或信息片断的集合。 这个层次结构允许开发人员在树中寻找特定信息。 分析该结构通常需要加载整个文档和构造层次结构，然后才能做任何工作。 由于它是基于信息层次的，因而 DOM 被认为是基于树或基于对象的。 DOM 以及广义的基于树的处理具有几个优点。 首先，由于树在内存中是持久的，因此可以修改它以便应用程序能对数据和结构作出更改。 它还可以在任何时候在树中上下导航，而不是像 SAX 那样是一次性的处理。 DOM 使用起来也要简单得多。 另一方面，对于特别大的文档，解析和加载整个文档可能很慢且很耗资源，因此使用其他手段来处理这样的数据会更好。 这些基于事件的模型，比如 SAX。 2、SAX 这种处理的优点非常类似于流媒体的优点。 分析能够立即开始，而不是等待所有的数据被处理。 而且，由于应用程序只是在读取数据时检查数据，因此不需要将数据存储在内存中。 这对于大型文档来说是个巨大的优点。 事实上，应用程序甚至不必解析整个文档；它可以在某个条件得到满足时停止解析。 一般来说，SAX 还比它的替代者 DOM 快许多。 3、选择 DOM 还是选择 SAX ？ 对于需要自己编写代码来处理 XML 文档的开发人员来说，选择 DOM 还是 SAX 解析模型是一个非常重要的设计决策。 DOM 采用建立树形结构的方式访问 XML 文档，而 SAX 采用的事件模型。 DOM 解析器把 XML 文档转化为一个包含其内容的树，并可以对树进行遍历。 用 DOM 解析模型的优点是编程容易，开发人员只需要调用建树的指令，然后利用navigation APIs访问所需的树节点来完成任务。 可以很容易的添加和修改树中的元素。 然而由于使用 DOM 解析器的时候需要处理整个 XML 文档，所以对性能和内存的要求比较高，尤其是遇到很大的 XML 文件的时候。 由于它的遍历能力，DOM 解析器常用于 XML 文档需要频繁的改变的服务中。 SAX 解析器采用了基于事件的模型，它在解析 XML 文档的时候可以触发一系列的事件，当发现给定的tag的时候，它可以激活一个回调方法，告诉该方法制定的标签已经找到。 SAX 对内存的要求通常会比较低，因为它让开发人员自己来决定所要处理的tag。 特别是当开发人员只需要处理文档中所包含的部分数据时，SAX 这种扩展能力得到了更好的体现。 但用 SAX 解析器的时候编码工作会比较困难，而且很难同时访问同一个文档中的多处不同数据。 4、JDOM JDOM的目的是成为 Java 特定文档模型，它简化与 XML 的交互并且比使用 DOM 实现更快。 由于是第一个 Java 特定模型，JDOM 一直得到大力推广和促进。 正在考虑通过“Java 规范请求 JSR-102”将它最终用作“Java 标准扩展”。 从 2000 年初就已经开始了 JDOM 开发。 JDOM 与 DOM 主要有两方面不同。 首先，JDOM 仅使用具体类而不使用接口。 这在某些方面简化了 API，但是也限制了灵活性。 第二，API 大量使用了 Collections 类，简化了那些已经熟悉这些类的 Java 开发者的使用。 JDOM 文档声明其目的是“使用 20%（或更少）的精力解决 80%（或更多）Java/XML 问题”（根据学习曲线假定为 20%）。 JDOM 对于大多数 Java/XML 应用程序来说当然是有用的，并且大多数开发者发现 API 比 DOM 容易理解得多。 JDOM 还包括对程序行为的相当广泛检查以防止用户做任何在 XML 中无意义的事。 然而，它仍需要您充分理解 XML 以便做一些超出基本的工作（或者甚至理解某些情况下的错误）。 这也许是比学习 DOM 或 JDOM 接口都更有意义的工作。 JDOM 自身不包含解析器。 它通常使用 SAX2 解析器来解析和验证输入 XML 文档（尽管它还可以将以前构造的 DOM 表示作为输入）。 它包含一些转换器以将 JDOM 表示输出成 SAX2 事件流、DOM 模型或 XML 文本文档。 JDOM 是在 Apache 许可证变体下发布的开放源码。 5、DOM4J 虽然 DOM4J 代表了完全独立的开发结果，但最初，它是 JDOM 的一种智能分支。 它合并了许多超出基本 XML 文档表示的功能，包括集成的 XPath 支持、XML Schema 支持以及用于大文档或流化文档的基于事件的处理。 它还提供了构建文档表示的选项，它通过 DOM4J API 和标准 DOM 接口具有并行访问功能。 从 2000 下半年开始，它就一直处于开发之中。 为支持所有这些功能，DOM4J 使用接口和抽象基本类方法。 DOM4J 大量使用了 API 中的 Collections 类，但是在许多情况下，它还提供一些替代方法以允许更好的性能或更直接的编码方法。 直接好处是，虽然 DOM4J 付出了更复杂的 API 的代价，但是它提供了比 JDOM 大得多的灵活性。 在添加灵活性、XPath 集成和对大文档处理的目标时，DOM4J 的目标与 JDOM 是一样的：针对 Java 开发者的易用性和直观操作。 它还致力于成为比 JDOM 更完整的解决方案，实现在本质上处理所有 Java/XML 问题的目标。 在完成该目标时，它比 JDOM 更少强调防止不正确的应用程序行为。 DOM4J 是一个非常非常优秀的Java XML API，具有性能优异、功能强大和极端易用使用的特点，同时它也是一个开放源代码的软件。 如今你可以看到越来越多的 Java 软件都在使用 DOM4J 来读写 XML，特别值得一提的是连 Sun 的 JAXM 也在用 DOM4J。 6、总述 JDOM 和 DOM 在性能测试时表现不佳，在测试 10M 文档时内存溢出。 在小文档情况下还值得考虑使用 DOM 和 JDOM。 虽然 JDOM 的开发者已经说明他们期望在正式发行版前专注性能问题，但是从性能观点来看，它确实没有值得推荐之处。 另外，DOM 仍是一个非常好的选择。 DOM 实现广泛应用于多种编程语言。 它还是许多其它与 XML 相关的标准的基础，因为它正式获得 W3C 推荐（与基于非标准的 Java 模型相对），所以在某些类型的项目中可能也需要它（如在 javascript 中使用 DOM）。 SAX表现较好，这要依赖于它特定的解析方式。 一个 SAX 检测即将到来的XML流，但并没有载入到内存（当然当XML流被读入时，会有部分文档暂时隐藏在内存中）。 无疑，DOM4J是最好的，目前许多开源项目中大量采用 DOM4J，例如大名鼎鼎的 Hibernate 也用 DOM4J 来读取 XML 配置文件。 如果不考虑可移植性，那就采用DOM4J吧！

如何入门 Python 爬虫

“入门”是良好的动机，但是可能作用缓慢。 如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。 另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。 因为学习A的经验可以帮助你学习B。 因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会需要学会的东西的。 当然，你可以争论说需要先懂python，不然怎么学会python做爬虫呢？但是事实上，你完全可以在做这个爬虫的过程中学习python :D看到前面很多答案都讲的“术”——用什么软件怎么爬，那我就讲讲“道”和“术”吧——爬虫怎么工作以及怎么在python实现。 先长话短说summarize一下：你需要学习基本的爬虫工作原理基本的http抓取工具，scrapyBloom Filter: Bloom Filters by example如果需要大规模网页抓取，你需要学习分布式爬虫的概念。 其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。 最简单的实现是python-rq:和Scrapy的结合：darkrho/scrapy-redis · GitHub后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)