分布式技术是冗余存储

分布式技术是冗余存储

在数字化浪潮席卷全球的今天,数据已成为驱动社会运转的核心要素，从个人手机中的照片视频，到企业核心业务系统，再到国家关键基础设施，数据的存储与安全直接关系到价值创造与社会稳定，单一存储设备或节点的脆弱性——硬件故障、自然灾害、人为操作失误等——始终悬在数据安全的“达摩克利斯之剑”之上，分布式技术正是在这一背景下崛起，而其核心要义之一，便是通过冗余存储构建起坚固的数据“护城河”，让数据在分散与协同中获得永恒的生命力。

分布式技术中的冗余存储：从“单点守护”到“多点备份”

传统存储模式往往依赖单一设备或中心化节点,数据全部集中存储，一旦节点故障，轻则服务中断，重则数据永久丢失，分布式技术则彻底打破了这一局限，将数据切分为多个“数据块”，分散存储在物理位置不同、功能独立的多个节点（如服务器、硬盘）上，而冗余存储，正是这一分散架构的“安全阀”——通过为每个数据块创建多个副本，或通过算法生成校验信息，确保即使部分节点失效，数据仍能完整、可用。

最典型的冗余机制是副本存储,以Hadoop分布式文件系统（HDFS）为例，它默认将每个数据块保存3个副本，分别存储在不同机架的不同服务器上，这种“三副本策略”实现了“故障隔离”：当一个节点因硬盘损坏或宕机丢失数据时，其他副本仍可提供服务，系统甚至能自动利用剩余副本在新的节点上重建副本，恢复冗余级别，类似地，云计算平台如AWS S3、阿里云OSS也通过多副本+跨地域备份，确保数据在单个区域发生灾难时仍能从其他区域快速恢复。

另一种更高效的冗余方式是纠删码（Erasure Coding, EC），与简单复制不同，纠删码将数据分片后，通过数学算法生成一定数量的校验片，数据片与校验片共同存储，将6GB数据分为4个数据片（每片1.5GB），再生成2个校验片，共6片存储在不同节点，此时即使任意2个节点（无论数据片还是校验片）故障，仍可通过剩余片恢复原始数据，纠删码的存储效率远高于副本——在相同可靠性下，存储开销可降低50%以上，因此常被用于冷数据、归档数据等对成本敏感的场景，如Ceph分布式存储系统就支持EC模式，成为大规模数据存储的优选。

冗余存储的核心价值：构建高可用的数据基石

分布式技术中的冗余存储,绝非简单的“数据复制”，而是一套兼顾可靠性、可用性与性能的系统性工程，其核心价值体现在三个维度。

可靠性，即“数据不丢失” ，冗余存储通过“化整为零、多点备份”的策略，将单点故障的风险稀释到几乎可以忽略的程度，假设单个节点的年故障率为1%，采用3副本后，三个节点同时故障的概率降至百万分之一以下；而纠删码则通过数学计算进一步提升了容错能力，对于金融、医疗等对数据完整性要求极高的领域，冗余存储是满足合规要求（如GDPR、HIPAA）的“必选项”。

可用性，即“服务不中断” ，传统存储中，节点故障往往意味着服务暂停；而在分布式冗余架构下，用户请求可自动切换到可用副本，整个过程对用户透明，全球视频流媒体平台netflix通过AWS的跨区域多副本存储，当某个数据中心出现故障时，用户仍能无缝观看视频——其核心正是依赖冗余存储实现的“故障转移”能力，这种“永不掉线”的体验，已成为互联网服务的核心竞争力。

性能优化，即“访问更高效” ，冗余存储并非“被动备份”，而是“主动加速”，通过将数据副本部署在不同地理位置，用户可就近访问，减少网络延迟（如CDN的本质就是分布式冗余存储的一种应用）；在读取密集型场景下，多个副本可并行响应请求，大幅提升吞吐量，分布式数据库Cassandra通过多副本机制，实现了跨数据中心的读写负载均衡，支撑了像Twitter这样高并发平台的稳定运行。

挑战与突破：在冗余中寻求“最优解”

尽管冗余存储为分布式技术提供了坚实保障,但其实现并非一劳永逸，如何在冗余、成本与性能之间找到平衡，是分布式系统设计者面临的核心挑战。

数据一致性 是首要难题，多个副本同时存在时，如何确保所有副本的数据实时同步？当一个副本被写入新数据后，其他副本若未能及时更新，就会导致“数据不一致”，为此，分布式系统引入了共识算法（如Paxos、Raft），通过“多数派确认”机制保证数据变更的原子性与一致性——只有当多数副本完成写入，操作才算成功，从而避免“脑裂”问题。

存储成本 是另一重考量，3副本策略的可靠性虽高，但存储开销是原始数据的3倍；纠删码虽节省空间，但编码与解码过程需要额外计算资源，可能增加写入延迟，对此，业界提出了“分层存储”策略：对热数据（如实时交易数据）采用高副本策略，保证低延迟与高可用；对温数据（如历史日志）采用低副本或纠删码，平衡成本与可靠性；对冷数据（如归档数据）则采用更高压缩比的纠删码，最大化存储效率。

管理复杂性 也不容忽视，随着节点数量增长（如分布式系统常包含数千甚至上万个节点），副本的放置、故障检测、自动恢复等操作变得极为复杂，为此，智能调度算法应运而生：通过“机架感知”策略将副本分布在不同机架，避免机架级故障（如断电）导致数据丢失；通过“副本均衡算法”确保各节点的存储负载均匀，避免“热点节点”成为性能瓶颈。

未来趋势：从“冗余备份”到“智能冗余”

随着人工智能、物联网、边缘计算的快速发展，数据量正呈指数级增长，分布式冗余存储也在向更智能、更高效的方向演进。

智能化副本管理 成为新趋势，通过机器学习分析数据访问模式，系统可动态调整副本数量与位置：对频繁访问的热数据自动增加副本，提升访问速度；对长期不访问的冷数据减少副本，释放存储资源，Google的Spanner系统就利用AI预测数据访问热点，实现副本的“按需迁移”，在可靠性不变的前提下降低30%以上的存储成本。

边缘冗余 的重要性日益凸显，在自动驾驶、工业物联网等场景中，数据需要在边缘节点（如工厂设备、汽车传感器）实时处理，若依赖中心化冗余存储，将面临高延迟与网络带宽瓶颈。“边缘-中心协同冗余”模式逐渐兴起：边缘节点保存本地副本，保证毫秒级响应；同时定期将数据同步至中心云，实现跨地域的灾难恢复。

绿色冗余 也开始受到关注，传统数据中心因冗余存储导致的能耗问题日益突出，未来将通过“压缩算法优化”“低功耗硬件”“算力调度”等手段，在提升可靠性的同时降低单位数据的能耗，实现“绿色存储”与“可靠存储”的统一。

从本质上看,分布式技术中的冗余存储，是人类对抗数据脆弱性的智慧结晶——它以“分散”对冲“集中”的风险，以“冗余”换取“可靠”的底气，在数据成为核心资产的数字时代，冗余存储不仅是分布式技术的基石，更是数字文明持续发展的“安全阀”，随着技术的不断演进，冗余存储将更加智能、高效，继续为数据的“永恒之旅”保驾护航。

oracle数据库的后台进程有哪些

DBWR进程：该进程执行将缓冲区写入数据文件，是负责缓冲存储区管理的一个ORACLE后台进程。 当缓冲区中的一缓冲区被修改，它被标志为“弄脏”，DBWR的主要任务是将“弄脏”的缓冲区写入磁盘，使缓冲区保持“干净”。 由于缓冲存储区的缓冲区填入数据库或被用户进程弄脏，未用的缓冲区的数目减少。 当未用的缓冲区下降到很少，以致用户进程要从磁盘读入块到内存存储区时无法找到未用的缓冲区时，DBWR将管理缓冲存储区，使用户进程总可得到未用的缓冲区。 ORACLE采用LRU（LEAST RECENTLY USED）算法（最近最少使用算法）保持内存中的数据块是最近使用的，使I/O最小。 在下列情况预示DBWR 要将弄脏的缓冲区写入磁盘：当一个服务器进程将一缓冲区移入“弄脏”表，该弄脏表达到临界长度时，该服务进程将通知DBWR进行写。 该临界长度是为参数DB-BLOCK-WRITE-BATCH的值的一半。 当一个服务器进程在LRU表中查找DB-BLOCK-MAX-SCAN-CNT缓冲区时，没有查到未用的缓冲区，它停止查找并通知DBWR进行写。 出现超时（每次3秒），DBWR 将通知本身。 当出现检查点时，LGWR将通知DBWR.在前两种情况下，DBWR将弄脏表中的块写入磁盘，每次可写的块数由初始化参数DB-BLOCK- WRITE-BATCH所指定。 如果弄脏表中没有该参数指定块数的缓冲区，DBWR从LUR表中查找另外一个弄脏缓冲区。 如果DBWR在三秒内未活动，则出现超时。 在这种情况下DBWR对LRU表查找指定数目的缓冲区，将所找到任何弄脏缓冲区写入磁盘。 每当出现超时，DBWR查找一个新的缓冲区组。 每次由DBWR查找的缓冲区的数目是为寝化参数DB-BLOCK- WRITE-BATCH的值的二倍。 如果数据库空运转，DBWR最终将全部缓冲区存储区写入磁盘。 在出现检查点时，LGWR指定一修改缓冲区表必须写入到磁盘。 DBWR将指定的缓冲区写入磁盘。 在有些平台上，一个实例可有多个DBWR.在这样的实例中，一些块可写入一磁盘，另一些块可写入其它磁盘。 参数DB-WRITERS控制DBWR进程个数。 LGWR进程：该进程将日志缓冲区写入磁盘上的一个日志文件，它是负责管理日志缓冲区的一个ORACLE后台进程。 LGWR进程将自上次写入磁盘以来的全部日志项输出，LGWR输出：当用户进程提交一事务时写入一个提交记录。 每三秒将日志缓冲区输出。 当日志缓冲区的1/3已满时将日志缓冲区输出。 当DBWR将修改缓冲区写入磁盘时则将日志缓冲区输出。 LGWR进程同步地写入到活动的镜象在线日志文件组。 如果组中一个文件被删除或不可用，LGWR 可继续地写入该组的其它文件。 日志缓冲区是一个循环缓冲区。 当LGWR将日志缓冲区的日志项写入日志文件后，服务器进程可将新的日志项写入到该日志缓冲区。 LGWR 通常写得很快，可确保日志缓冲区总有空间可写入新的日志项。 注意：有时候当需要更多的日志缓冲区时，LWGR在一个事务提交前就将日志项写出，而这些日志项仅当在以后事务提交后才永久化。 ORACLE使用快速提交机制，当用户发出COMMIT语句时，一个COMMIT记录立即放入日志缓冲区，但相应的数据缓冲区改变是被延迟，直到在更有效时才将它们写入数据文件。 当一事务提交时，被赋给一个系统修改号（SCN），它同事务日志项一起记录在日志中。 由于SCN记录在日志中，以致在并行服务器选项配置情况下，恢复操作可以同步。 CKPT进程：该进程在检查点出现时，对全部数据文件的标题进行修改，指示该检查点。 在通常的情况下，该任务由LGWR执行。 然而，如果检查点明显地降低系统性能时，可使CKPT进程运行，将原来由LGWR进程执行的检查点的工作分离出来，由 CKPT进程实现。 对于许多应用情况，CKPT进程是不必要的。 只有当数据库有许多数据文件，LGWR在检查点时明显地降低性能才使CKPT运行。 CKPT进程不将块写入磁盘，该工作是由DBWR完成的。 初始化参数CHECKPOINT-PROCESS控制CKPT进程的使能或使不能。 缺省时为FALSE，即为使不能。 SMON进程：该进程实例启动时执行实例恢复，还负责清理不再使用的临时段。 在具有并行服务器选项的环境下，SMON对有故障CPU或实例进行实例恢复。 SMON进程有规律地被呼醒，检查是否需要，或者其它进程发现需要时可以被调用。 PMON进程：该进程在用户进程出现故障时执行进程恢复，负责清理内存储区和释放该进程所使用的资源。 例：它要重置活动事务表的状态，释放封锁，将该故障的进程的ID从活动进程表中移去。 PMON还周期地检查调度进程（DISPATCHER）和服务器进程的状态，如果已死，则重新启动（不包括有意删除的进程）。 PMON有规律地被呼醒，检查是否需要，或者其它进程发现需要时可以被调用。 RECO进程：该进程是在具有分布式选项时所使用的一个进程，自动地解决在分布式事务中的故障。 一个结点RECO后台进程自动地连接到包含有悬而未决的分布式事务的其它数据库中，RECO自动地解决所有的悬而不决的事务。 任何相应于已处理的悬而不决的事务的行将从每一个数据库的悬挂事务表中删去。 当一数据库服务器的RECO后台进程试图建立同一远程服务器的通信，如果远程服务器是不可用或者网络连接不能建立时，RECO自动地在一个时间间隔之后再次连接。 RECO后台进程仅当在允许分布式事务的系统中出现，而且DISTRIBUTED ？C TRANSACTIONS参数是大于进程：该进程将已填满的在线日志文件拷贝到指定的存储设备。 当日志是为ARCHIVELOG使用方式、并可自动地归档时ARCH进程才存在。 LCKn进程：是在具有并行服务器选件环境下使用，可多至10个进程（LCK0，LCK1……，LCK9），用于实例间的封锁。 Dnnn进程（调度进程）：该进程允许用户进程共享有限的服务器进程（SERVER PROCESS）。 没有调度进程时，每个用户进程需要一个专用服务进程（DEDICATEDSERVER PROCESS）。 对于多线索服务器（MULTI-THREADED SERVER）可支持多个用户进程。 如果在系统中具有大量用户，多线索服务器可支持大量用户，尤其在客户_服务器环境中。 在一个数据库实例中可建立多个调度进程。 对每种网络协议至少建立一个调度进程。 数据库管理员根据操作系统中每个进程可连接数目的限制决定启动的调度程序的最优数，在实例运行时可增加或删除调度进程。 多线索服务器需要SQL*NET版本2或更后的版本。 在多线索服务器的配置下，一个网络接收器进程等待客户应用连接请求，并将每一个发送到一个调度进程。 如果不能将客户应用连接到一调度进程时，网络接收器进程将启动一个专用服务器进程。 该网络接收器进程不是ORACLE实例的组成部分，它是处理与ORACLE有关的网络进程的组成部分。 在实例启动时，该网络接收器被打开，为用户连接到ORACLE建立一通信路径，然后每一个调度进程把连接请求的调度进程的地址给予于它的接收器。 当一个用户进程作连接请求时，网络接收器进程分析请求并决定该用户是否可使用一调度进程。 如果是，该网络接收器进程返回该调度进程的地址，之后用户进程直接连接到该调度进程。 有些用户进程不能调度进程通信（如果使用SQL*NET以前的版本的用户），网络接收器进程不能将如此用户连接到一调度进程。 在这种情况下，网络接收器建立一个专用服务器进程，建立一种合适的连接.即主要的有：DBWR,LGWR,SMON 其他后台进程有PMON,CKPT等

fiddler怎么抓取路由器上的数据

你这个工具只能抓取网络中的h t t p协议的数据包。 刷几局网中其他机器的数据包也是可以的，只需要在开启该工具的机器上设置一下代理服务器，然后再需要抓包的服务器上使用该代理服务器上网即可抓取到数据包。

什么是缓冲区溢出

缓冲区溢出是指当计算机程序向缓冲区内填充的数据位数超过了缓冲区本身的容量。 溢出的数据覆盖在合法数据上。 理想情况是，程序检查数据长度并且不允许输入超过缓冲区长度的字符串。 但是绝大多数程序都会假设数据长度总是与所分配的存储空间相匹配，这就为缓冲区溢出埋下隐患。 操作系统所使用的缓冲区又被称为堆栈，在各个操作进程之间，指令被临时存储在堆栈当中，堆栈也会出现缓冲区溢出。 当一个超长的数据进入到缓冲区时，超出部分就会被写入其他缓冲区，其他缓冲区存放的可能是数据、下一条指令的指针，或者是其他程序的输出内容，这些内容都被覆盖或者破坏掉。 可见一小部分数据或者一套指令的溢出就可能导致一个程序或者操作系统崩溃。 缓冲区溢出是由编程错误引起的。 如果缓冲区被写满，而程序没有去检查缓冲区边界，也没有停止接收数据，这时缓冲区溢出就会发生。 缓冲区边界检查被认为是不会有收益的管理支出，计算机资源不够或者内存不足是编程者不编写缓冲区边界检查语句的理由，然而摩尔定律已经使这一理由失去了存在的基础，但是多数用户仍然在主要应用中运行十年甚至二十年前的程序代码。 缓冲区溢出之所以泛滥，是由于开放源代码程序的本质决定的。 一些编程语言对于缓冲区溢出是具有免疫力的，例如Perl能够自动调节字节排列的大小，Ada95能够检查和阻止缓冲区溢出。 但是被广泛使用的C语言却没有建立检测机制。 标准C语言具有许多复制和添加字符串的函数，这使得标准C语言很难进行边界检查。 C＋＋略微好一些，但是仍然存在缓冲区溢出。 一般情况下，覆盖其他数据区的数据是没有意义的，最多造成应用程序错误，但是，如果输入的数据是经过“黑客”或者病毒精心设计的，覆盖缓冲区的数据恰恰是“黑客”或者病毒的入侵程序代码，一旦多余字节被编译执行，“黑客”或者病毒就有可能为所欲为，获取系统的控制权。 使用一组或多组附加驱动器存储数据的副本,这就叫数据冗余技术。 比如镜像就是一种数据冗余技术。