技术
Redis是一款开源、内存数据库，是当前应用最广泛的内存数据库，由开源社区开发，支持丰富的服务端特性，可以极大地提高数据的写入和访问的性能。但是，由于Redis服务的特殊性，服务的运维也有一定的特殊性。其中，慢日志分析是运维Redis服务的重要环节，下文将对该技术进行介绍。
慢日志分析的主要技术就是实时日志分析。实时日志分析可以从Redis 服务器 中提取有用的信息，以有效地检测系统是否存在性能 、稳定性和其它问题，并将相关信息定期递交到运维中心。通过redis-cli工具，我们可以使用如下命令查看系统的实时日志：
/$ redis-cli SLOWLOG get
该命令会返回一个具体的日志信息列表。日志中记录了慢查询各种信息，如执行时间、script以及command，以及使用空间等。接下来，根据返回的日志信息，我们可以快速定位出系统中可能出现问题的部分，并对Redis进行优化以提高其性能。
此外，慢日志还可以分析业务吞吐量，帮助优化系统中负载量过大或者过小的部分。日志中记录的信息可以分析出每秒操作请求的总量，以及每次操作请求的时间长短。根据分析结果，在负载量过大的地方增加实例，负载量过小的地方减少实例，从而使系统达到最优性能。
归纳而言，在对Redis服务进行运维时，分析慢日志的关键技术涉及实时日志分析和业务吞吐量分析，尤其要注意由日志提取的有用信息，帮助我们更快更准确地定位系统出现的问题，为Redis服务的优化提供有力支持。
香港服务器首选树叶云，2H2G首月10元开通。树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。
如何将服务端log实时在页面输出展示
在部署状态页面点击查看日志，将会打开日志页面，下个图就是日志的输出页面。 简约时尚小清新的日志页面出来了，是不是很想一个terminal，有没有觉得俺弄的页面很漂亮。 哈哈哈哈，写不好前端的运维不是好DBA。 刚开始拿到这个需求，咋觉得很难。 因为在服务器上我们看一个日志，经常会Tail -f 看着刷屏的感觉倍爽。 如何在web页面上实现tailf的效果呢？后来想想这样实现是可行的。 前端写一个js定时器，不断的发ajax请求到后台，每回取出一段日志。 后台取日志可以直接调用系统命令，或者直接调取shell脚本，取日志，判断日志文件是否存在，是否为空，返回数据的起始位置等，都可以交给shell来做。 事实上我就是这么干的。 后台程序写一堆Shell命令调用有点别扭。 想到解决方案之后，实现的过程就比较简单了。 我的开发环境是基于python的Django框架来做的，现在就展示这个功能的实现过程。 Django部分点击查看日志的链接之后会调到views里的ajxGetLog方法，该方法需要两个参数，项目id和主机id，这两个参数主要是用来确定日志文件的位置。 该方法返回行号。 execcommand是封装的一个的一个工具函数，返回一个列表分别是标准输出，错误输出和shell returncodedef ajxGetLog(request,pid,hid): project = (pk=pid) host = (pk=hid) scriptname = %s%s%(base_path,get_) res = execcommand([sh,scriptname,,]) #如果错误输出不为空，直接返回错误输出 if not res[1]: try: #res[0]为行号，如果大于20行，从当前行的上面20行开始输出，为了用户体验，你懂得 if int(res[0]) > 20: line = int(res[0]) - 20if int(res[0]) == 0: line = 1return render(request,,{pid:pid,hid:hid,line:line}) except Exception,e: print e return HttpResponse(e) else: return HttpResponse(res[1])html部分首席写一个ajax请求，传递到后台取日志内容的方法，传递三个参数项目id，主机id，和行号，后台将会返回对应行号的日志内容。 该方法代码如下： def ajxGetLogHandle(request,pid,hid,line): project = (pk=pid) host = (pk=hid) scriptname = %s%s%(base_path,get_) res = execcommand([sh,scriptname,,,line])if not res[1] and res[0](): return HttpResponse(res[0]) else: return HttpResponse(500)
数据写入redis并返回怎么处理
1、 快照的方式持久化到磁盘自动持久化规则配置save 900 1save 300 10save 60 上面的配置规则意思如下:# In the example below the behaviour will be to save:# after 900 sec (15 min) if at least 1 key changed# after 300 sec (5 min) if at least 10 keys changed# after 60 sec if at least keys changedredis也可以关闭自动持久化，注释掉这些save配置，或者save “”如果后台保存到磁盘发生错误,将停止写操作-writes-on-bgsave-error yes使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用 yes保存rdb和加载rdb文件的时候检验，可以防止错误，但是要付出约10%的性能，可以关闭他，提高性能。 rdbchecksum yes导出的rdb文件名dbfilename 设置工作目录, rdb文件会写到该目录, append only file也会存储在该目录下 ./Redis自动快照保存到磁盘或者调用bgsave，是后台进程完成的，其他客户端仍然和可以读写redis服务器，后台保存快照到磁盘会占用大量内存。 调用save保存内存中的数据到磁盘，将阻塞客户端请求，直到保存完毕。 调用shutdown命令，Redis服务器会先调用save，所有数据持久化到磁盘之后才会真正退出。 对于数据丢失的问题：如果服务器crash，从上一次快照之后的数据将全部丢失。 所以在设置保存规则的时候，要根据实际业务设置允许的范围。 如果对于数据敏感的业务，在程序中要使用恰当的日志，在服务器crash之后，通过日志恢复数据。 2、 Append-only file 的方式持久化另外一种方式为递增的方式,将会引起数据变化的操作, 持久化到文件中, 重启redis的时候,通过操作命令,恢复数据.每次执行写操作命令之后,都会将数据写到中。 # appendfsync alwaysappendfsync everysec# appendfsync no当配置为always的时候，每次中的数据写入到文件之后,才会返回给客户端，这样可以保证数据不丢，但是频繁的IO操作，会降低性能。 everysec每秒写一次，这可能会丢失一秒内的操作。 aof最大的问题就是随着时间append file会变的很大，所以我们需要bgrewriteaof命令重新整理文件，只保留最新的kv数据。
关于memcache和Redis的区别和总结
aof目的主要是数据可靠性及高可用性，在Redis中有另外一种方法来达到目的：Replication。 由于Redis的高性能，复制基本没有延迟。 这样达到了防止单点故障及实现了高可用。 要想成功使用一种产品，我们需要深入了解它的特性。 Redis性能突出，如果能够熟练的驾驭，对国内很多大型应用具有很大帮助。
发表评论