都很不错!-3个开源分布式跟踪系统 (都很不错英文)

教程大全 2025-07-09 14:58:13 浏览

3个开源分布式跟踪系统,都很不错!

2018-09-29 08:44:24分布式跟踪系统使用户能够通过分布在多个应用程序,服务和数据库以及代理等中介上的软件系统来跟踪请求。这样可以更深入地了解软件系统中发生的情况。这些系统生成图形表示,显示请求在每个步骤上花费了多少时间并列出每个已知步骤。

分布式跟踪系统使用户能够通过分布在多个应用程序,服务和数据库以及代理等中介上的软件系统来跟踪请求。这样可以更深入地了解软件系统中发生的情况。这些系统生成图形表示,显示请求在每个步骤上花费了多少时间并列出每个已知步骤。

用户可以确定系统在哪里遇到延迟或阻塞。当请求开始失败时,操作员和开发人员可以确切地看到问题的开始位置,而不是像二进制搜索树那样测试系统。这还可以揭示从部署到部署可能发生的性能变化。通过警告异常行为而不是让客户告诉你,***自动捕获回归。

跟踪事件是如何工作的?每个请求都会获得一个特殊的ID,通常会将其注入到标头中。此ID唯一标识该事务。此事务通常称为跟踪。跟踪是整个事务的整体抽象概念。每个跟踪都由span组成。这些span是正在执行的实际工作,如服务调用或数据库请求。每个span也有一个唯一的ID。span可以创建称为子span的后续span,并且子span可以具有多个父级。

OpenTracing api

OpenTracing是一种源自Zipkin的规范,旨在提供跨平台兼容性。它提供了供应商中立的API,用于向应用程序添加跟踪并将数据传递到分布式跟踪系统。为OpenTracing规范编写的库可以与任何符合OpenTracing的系统一起使用。Zipkin,Jaeger和Appdash是采用开放标准的开源工具的例子,但即使是像Datadog和Instana这样的专有工具也在采用它。随着OpenTracing无处不在,这种情况有望继续下去。

OpenCensus

有OpenTracing,但是OpenCensus呢?它是竞争标准,完全不同的东西,还是互补的东西?

OpenTracing专注于建立开放的API和规范,而不是针对每种语言和跟踪系统的开放实现。OpenCensus不仅提供规范,还提供语言实现和有线协议。它还包括通过包含通常在分布式跟踪系统范围之外的其他度量标准来进行跟踪。

OpenCensus允许在运行应用程序的主机上查看数据,但它还具有可插拔的导出系统,用于将数据导出到中央聚合器。

二者有重叠。一个不一定比另一个好,但重要的是要知道每个做什么和不做什么。OpenTracing主要是一个规范。OpenCensus为本地组件提供了一种整体方法,具有更多的观点,但仍需要其他系统进行远程聚合。

是最早的此类系统之一。它是由Twitter基于Google Dapper论文开发的,内容涉及Google使用的内部系统。Zipkin是使用Java编写的,它可以使用Cassandra或ElasticSearch作为可扩展的后端。大多数公司应该对其中一种选择感到满意。支持***的Java版本是Java 6.它还使用Thrift二进制通信协议,该协议在Twitter堆栈中很流行,并作为Apache项目托管。

该系统由reporters(客户端),收集器(collectors),查询服务和Web UI组成。Zipkin通过在事务上下文中仅传输跟踪ID来通知接收者正在进行跟踪,从而保证生产中的安全。然后将每个报告器中收集的数据异步传输到收集器。收集器将这些span存储在数据库中,并且Web UI以可使用的格式将该数据呈现给最终用户。向收集器传递数据可以通过三种不同的方法进行:HTTP,Kafka和Scribe。

Zipkin与OpenTracing标准兼容,流行的Spring框架有一个名为Spring Cloud Sleuth的组件,它与Zipkin兼容。

Jaeger是Uber Technologies的一个新项目,CNCF已将其作为孵化项目采用。它是用Golang编写的,因此你不必担心在主机上安装依赖项或者解释器或语言虚拟机的任何开销。与Zipkin类似,Jaeger也支持Cassandra和ElasticSearch作为可扩展的存储后端。Jaeger还完全兼容OpenTracing标准。

Jaeger的架构与Zipkin类似,包括客户端(reporters),收集器,查询服务和Web UI,但它在每个主机上都有一个本地聚合数据的代理。代理通过UDP连接接收数据,并将其批处理并发送给收集器。收集器以Thrift协议的形式接收该数据,并将该数据存储在Cassandra或ElasticSearch中。查询服务可以直接访问数据存储并将该信息提供给Web UI。

默认情况下,用户不会从Jaeger客户端获取所有跟踪。系统会对通过每个客户端的0.1%(1/1000)跟踪进行采样。保留和传输所有跟踪对于大多数系统来说有点压力。但是,可以通过配置客户端进行配置的代理来增加或减少这种情况。然而,这种抽样并不是完全随机的,它正在变得越来越好。Jaeger使用概率抽样,试图对是否应该对新踪迹进行抽样进行有根据的猜测。自适应采样是其路线图,它将通过添加额外的上下文来制定决策来改进采样算法。

Appdash是一个用Golang编写的分布式跟踪系统,就像Jaeger一样。它是由Sourcegraph基于Google的Dapper和Twitter的Zipkin创建的。与Jaeger和Zipkin类似,Appdash支持OpenTracing标准。

Appdash的架构主要由三个部分组成:客户端,本地收集器和远程收集器。没有很多文档,所以这个描述来自测试系统和查看代码。Appdash中的客户端会添加到你的代码中。 Appdash提供Python,Golang和Ruby实现,但OpenTracing库可以与Appdash的OpenTracing实现一起使用。客户端收集span并将它们发送到本地收集器。然后,本地收集器将数据发送到运行其自己的本地收集器的集中式Appdash 服务器 ,该收集器是系统中所有其他节点的远程收集器。


oracle数据库的后台进程有哪些

DBWR进程:该进程执行将缓冲区写入数据文件,是负责缓冲存储区管理的一个ORACLE后台进程。 当缓冲区中的一缓冲区被修改,它被标志为“弄脏”,DBWR的主要任务是将“弄脏”的缓冲区写入磁盘,使缓冲区保持“干净”。 由于缓冲存储区的缓冲区填入数据库或被用户进程弄脏,未用的缓冲区的数目减少。 当未用的缓冲区下降到很少,以致用户进程要从磁盘读入块到内存存储区时无法找到未用的缓冲区时,DBWR将管理缓冲存储区,使用户进程总可得到未用的缓冲区。 ORACLE采用LRU(LEAST RECENTLY USED)算法(最近最少使用算法)保持内存中的数据块是最近使用的,使I/O最小。 在下列情况预示DBWR 要将弄脏的缓冲区写入磁盘:当一个服务器进程将一缓冲区移入“弄脏”表,该弄脏表达到临界长度时,该服务进程将通知DBWR进行写。 该临界长度是为参数DB-BLOCK-WRITE-BATCH的值的一半。 当一个服务器进程在LRU表中查找DB-BLOCK-MAX-SCAN-CNT缓冲区时,没有查到未用的缓冲区,它停止查找并通知DBWR进行写。 出现超时(每次3秒),DBWR 将通知本身。 当出现检查点时,LGWR将通知DBWR.在前两种情况下,DBWR将弄脏表中的块写入磁盘,每次可写的块数由初始化参数DB-BLOCK- WRITE-BATCH所指定。 如果弄脏表中没有该参数指定块数的缓冲区,DBWR从LUR表中查找另外一个弄脏缓冲区。 如果DBWR在三秒内未活动,则出现超时。 在这种情况下DBWR对LRU表查找指定数目的缓冲区,将所找到任何弄脏缓冲区写入磁盘。 每当出现超时,DBWR查找一个新的缓冲区组。 每次由DBWR查找的缓冲区的数目是为寝化参数DB-BLOCK- WRITE-BATCH的值的二倍。 如果数据库空运转,DBWR最终将全部缓冲区存储区写入磁盘。 在出现检查点时,LGWR指定一修改缓冲区表必须写入到磁盘。 DBWR将指定的缓冲区写入磁盘。 在有些平台上,一个实例可有多个DBWR.在这样的实例中,一些块可写入一磁盘,另一些块可写入其它磁盘。 参数DB-WRITERS控制DBWR进程个数。 LGWR进程:该进程将日志缓冲区写入磁盘上的一个日志文件,它是负责管理日志缓冲区的一个ORACLE后台进程。 LGWR进程将自上次写入磁盘以来的全部日志项输出,LGWR输出:当用户进程提交一事务时写入一个提交记录。 每三秒将日志缓冲区输出。 当日志缓冲区的1/3已满时将日志缓冲区输出。 当DBWR将修改缓冲区写入磁盘时则将日志缓冲区输出。 LGWR进程同步地写入到活动的镜象在线日志文件组。 如果组中一个文件被删除或不可用,LGWR 可继续地写入该组的其它文件。 日志缓冲区是一个循环缓冲区。 当LGWR将日志缓冲区的日志项写入日志文件后,服务器进程可将新的日志项写入到该日志缓冲区。 LGWR 通常写得很快,可确保日志缓冲区总有空间可写入新的日志项。 注意:有时候当需要更多的日志缓冲区时,LWGR在一个事务提交前就将日志项写出,而这些日志项仅当在以后事务提交后才永久化。 ORACLE使用快速提交机制,当用户发出COMMIT语句时,一个COMMIT记录立即放入日志缓冲区,但相应的数据缓冲区改变是被延迟,直到在更有效时才将它们写入数据文件。 当一事务提交时,被赋给一个系统修改号(SCN),它同事务日志项一起记录在日志中。 由于SCN记录在日志中,以致在并行服务器选项配置情况下,恢复操作可以同步。 CKPT进程:该进程在检查点出现时,对全部数据文件的标题进行修改,指示该检查点。 在通常的情况下,该任务由LGWR执行。 然而,如果检查点明显地降低系统性能时,可使CKPT进程运行,将原来由LGWR进程执行的检查点的工作分离出来,由 CKPT进程实现。 对于许多应用情况,CKPT进程是不必要的。 只有当数据库有许多数据文件,LGWR在检查点时明显地降低性能才使CKPT运行。 CKPT进程不将块写入磁盘,该工作是由DBWR完成的。 初始化参数CHECKPOINT-PROCESS控制CKPT进程的使能或使不能。 缺省时为FALSE,即为使不能。 SMON进程:该进程实例启动时执行实例恢复,还负责清理不再使用的临时段。 在具有并行服务器选项的环境下,SMON对有故障CPU或实例进行实例恢复。 SMON进程有规律地被呼醒,检查是否需要,或者其它进程发现需要时可以被调用。 PMON进程:该进程在用户进程出现故障时执行进程恢复,负责清理内存储区和释放该进程所使用的资源。 例:它要重置活动事务表的状态,释放封锁,将该故障的进程的ID从活动进程表中移去。 PMON还周期地检查调度进程(DISPATCHER)和服务器进程的状态,如果已死,则重新启动(不包括有意删除的进程)。 PMON有规律地被呼醒,检查是否需要,或者其它进程发现需要时可以被调用。 RECO进程:该进程是在具有分布式选项时所使用的一个进程,自动地解决在分布式事务中的故障。 一个结点RECO后台进程自动地连接到包含有悬而未决的分布式事务的其它数据库中,RECO自动地解决所有的悬而不决的事务。 任何相应于已处理的悬而不决的事务的行将从每一个数据库的悬挂事务表中删去。 当一数据库服务器的RECO后台进程试图建立同一远程服务器的通信,如果远程服务器是不可用或者网络连接不能建立时,RECO自动地在一个时间间隔之后再次连接。 RECO后台进程仅当在允许分布式事务的系统中出现,而且DISTRIBUTED ?C TRANSACTIONS参数是大于进程:该进程将已填满的在线日志文件拷贝到指定的存储设备。 当日志是为ARCHIVELOG使用方式、并可自动地归档时ARCH进程才存在。 LCKn进程:是在具有并行服务器选件环境下使用,可多至10个进程(LCK0,LCK1……,LCK9),用于实例间的封锁。 Dnnn进程(调度进程):该进程允许用户进程共享有限的服务器进程(SERVER PROCESS)。 没有调度进程时,每个用户进程需要一个专用服务进程(DEDICATEDSERVER PROCESS)。 对于多线索服务器(MULTI-THREADED SERVER)可支持多个用户进程。 如果在系统中具有大量用户,多线索服务器可支持大量用户,尤其在客户_服务器环境中。 在一个数据库实例中可建立多个调度进程。 对每种网络协议至少建立一个调度进程。 数据库管理员根据操作系统中每个进程可连接数目的限制决定启动的调度程序的最优数,在实例运行时可增加或删除调度进程。 多线索服务器需要sql*NET版本2或更后的版本。 在多线索服务器的配置下,一个网络接收器进程等待客户应用连接请求,并将每一个发送到一个调度进程。 如果不能将客户应用连接到一调度进程时,网络接收器进程将启动一个专用服务器进程。 该网络接收器进程不是ORACLE实例的组成部分,它是处理与ORACLE有关的网络进程的组成部分。 在实例启动时,该网络接收器被打开,为用户连接到ORACLE建立一通信路径,然后每一个调度进程把连接请求的调度进程的地址给予于它的接收器。 当一个用户进程作连接请求时,网络接收器进程分析请求并决定该用户是否可使用一调度进程。 如果是,该网络接收器进程返回该调度进程的地址,之后用户进程直接连接到该调度进程。 有些用户进程不能调度进程通信(如果使用SQL*NET以前的版本的用户),网络接收器进程不能将如此用户连接到一调度进程。 在这种情况下,网络接收器建立一个专用服务器进程,建立一种合适的连接.即主要的有:DBWR,LGWR,SMON 其他后台进程有PMON,CKPT等

谁家的CMS最开源功能最强大?

都很不错!

我觉得PHP168的还不错- -标签方面,模板容易制作。 。 而DEDE就比较简洁结构清晰明了各有所爱吧

我这个网站就是用PHP168做的

memcached和redis的区别

medis与Memcached的区别传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: 需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。 与MySQL数据库数据一致性问题。 数据命中率低或down机,大量访问直接穿透到DB,MySQL无法支撑。 4.跨机房cache同步问题。 众多NoSQL百花齐放,如何选择 最近几年,业界不断涌现出很多各种各样的NoSQL产品,那么如何才能正确地使用好这些产品,最大化地发挥其长处,是我们需要深入研究和思考的问题,实际归根结底最重要的是了解这些产品的定位,并且了解到每款产品的tradeoffs,在实际应用中做到扬长避短,总体上这些NoSQL主要用于解决以下几种问题 1.少量数据存储,高速读写访问。 此类产品通过数据全部in-momery 的方式来保证高速访问,同时提供数据落地的功能,实际这正是Redis最主要的适用场景。 2.海量数据存储,分布式系统支持,数据一致性保证,方便的集群节点添加/删除。 3.这方面最具代表性的是dynamo和bigtable 2篇论文所阐述的思路。 前者是一个完全无中心的设计,节点之间通过gossip方式传递集群信息,数据保证最终一致性,后者是一个中心化的方案设计,通过类似一个分布式锁服务来保证强一致性,数据写入先写内存和redo log,然后定期compat归并到磁盘上,将随机写优化为顺序写,提高写入性能。 free,auto-sharding等。 比如目前常见的一些文档数据库都是支持schema-free的,直接存储json格式数据,并且支持auto-sharding等功能,比如mongodb。 面对这些不同类型的NoSQL产品,我们需要根据我们的业务场景选择最合适的产品。 Redis适用场景,如何正确的使用 前面已经分析过,Redis最适合所有数据in-momory的场景,虽然Redis也提供持久化功能,但实际更多的是一个disk-backed的功能,跟传统意义上的持久化有比较大的差别,那么可能大家就会有疑问,似乎Redis更像一个加强版的Memcached,那么何时使用Memcached,何时使用Redis呢?如果简单地比较Redis与Memcached的区别,大多数都会得到以下观点: 1Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 2Redis支持数据的备份,即master-slave模式的数据备份。 3Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。 抛开这些,可以深入到Redis内部构造去观察更加本质的区别,理解Redis的设计。 在Redis中,并不是所有的数据都一直存储在内存中的。 这是和Memcached相比一个最大的区别。 Redis只会缓存所有的 key的信息,如果Redis发现内存的使用量超过了某一个阀值,将触发swap的操作,Redis根据“swappability = age*log(size_in_memory)”计 算出哪些key对应的value需要swap到磁盘。 然后再将这些key对应的value持久化到磁盘中,同时在内存中清除。 这种特性使得Redis可以 保持超过其机器本身内存大小的数据。 当然,机器本身的内存必须要能够保持所有的key,毕竟这些数据是不会进行swap操作的。 同时由于Redis将内存 中的数据swap到磁盘中的时候,提供服务的主线程和进行swap操作的子线程会共享这部分内存,所以如果更新需要swap的数据,Redis将阻塞这个 操作,直到子线程完成swap操作后才可以进行修改。 使用Redis特有内存模型前后的情况对比: VM off: 300k keys, 4096 bytes values: 1.3G used VM on:300k keys, 4096 bytes values: 73M used VM off: 1 million keys, 256 bytes values: 430.12M used VM on:1 million keys, 256 bytes values: 160.09M used VM on:1 million keys, values as large as you want, still: 160.09M used当 从Redis中读取数据的时候,如果读取的key对应的value不在内存中,那么Redis就需要从swap文件中加载相应数据,然后再返回给请求方。 这里就存在一个I/O线程池的问题。 在默认的情况下,Redis会出现阻塞,即完成所有的swap文件加载后才会相应。 这种策略在客户端的数量较小,进行 批量操作的时候比较合适。 但是如果将Redis应用在一个大型的网站应用程序中,这显然是无法满足大并发的情况的。 所以Redis运行我们设置I/O线程 池的大小,对需要从swap文件中加载相应数据的读取请求进行并发操作,减少阻塞的时间。 如果希望在海量数据的环境中使用好Redis,我相信理解Redis的内存设计和阻塞的情况是不可缺少的。

本文版权声明本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请联系本站客服,一经查实,本站将立刻删除。

发表评论

热门推荐