技术
Redis是一款开源、内存数据库，是当前应用最广泛的内存数据库，由开源社区开发，支持丰富的服务端特性，可以极大地提高数据的写入和访问的性能。但是，由于Redis服务的特殊性，服务的运维也有一定的特殊性。其中，慢日志分析是运维Redis服务的重要环节，下文将对该技术进行介绍。
慢日志分析的主要技术就是实时日志分析。实时日志分析可以从Redis 服务器 中提取有用的信息，以有效地检测系统是否存在性能 、稳定性和其它问题，并将相关信息定期递交到运维中心。通过redis-cli工具，我们可以使用如下命令查看系统的实时日志：
/$ redis-cli SLOWLOG get
该命令会返回一个具体的日志信息列表。日志中记录了慢查询各种信息，如执行时间、script以及command，以及使用空间等。接下来，根据返回的日志信息，我们可以快速定位出系统中可能出现问题的部分，并对Redis进行优化以提高其性能。
此外，慢日志还可以分析业务吞吐量，帮助优化系统中负载量过大或者过小的部分。日志中记录的信息可以分析出每秒操作请求的总量，以及每次操作请求的时间长短。根据分析结果，在负载量过大的地方增加实例，负载量过小的地方减少实例，从而使系统达到最优性能。
归纳而言，在对Redis服务进行运维时，分析慢日志的关键技术涉及实时日志分析和业务吞吐量分析，尤其要注意由日志提取的有用信息，帮助我们更快更准确地定位系统出现的问题，为Redis服务的优化提供有力支持。
香港服务器首选树叶云，2H2G首月10元开通。树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。
如何将服务端log实时在页面输出展示
在部署状态页面点击查看日志，将会打开日志页面，下个图就是日志的输出页面。 简约时尚小清新的日志页面出来了，是不是很想一个terminal，有没有觉得俺弄的页面很漂亮。 哈哈哈哈，写不好前端的运维不是好DBA。 刚开始拿到这个需求，咋觉得很难。 因为在服务器上我们看一个日志，经常会tail -f 看着刷屏的感觉倍爽。 如何在web页面上实现tailf的效果呢？后来想想这样实现是可行的。 前端写一个js定时器，不断的发ajax请求到后台，每回取出一段日志。 后台取日志可以直接调用系统命令，或者直接调取shell脚本，取日志，判断日志文件是否存在，是否为空，返回数据的起始位置等，都可以交给shell来做。 事实上我就是这么干的。 后台程序写一堆shell命令调用有点别扭。 想到解决方案之后，实现的过程就比较简单了。 我的开发环境是基于python的Django框架来做的，现在就展示这个功能的实现过程。 Django部分点击查看日志的链接之后会调到views里的ajxGetLog方法，该方法需要两个参数，项目id和主机id，这两个参数主要是用来确定日志文件的位置。 该方法返回行号。 execcommand是封装的一个的一个工具函数，返回一个列表分别是标准输出，错误输出和shell returncodedef ajxGetLog(request,pid,hid): project = (pk=pid) host = (pk=hid) scriptname = %s%s%(base_path,get_) res = execcommand([sh,scriptname,,]) #如果错误输出不为空，直接返回错误输出 if not res[1]: try: #res[0]为行号，如果大于20行，从当前行的上面20行开始输出，为了用户体验，你懂得 if int(res[0]) > 20: line = int(res[0]) - 20if int(res[0]) == 0: line = 1return render(request,,{pid:pid,hid:hid,line:line}) except Exception,e: print e return HttpResponse(e) else: return HttpResponse(res[1])html部分首席写一个ajax请求，传递到后台取日志内容的方法，传递三个参数项目id，主机id，和行号，后台将会返回对应行号的日志内容。 该方法代码如下： def ajxGetLogHandle(request,pid,hid,line): project = (pk=pid) host = (pk=hid) scriptname = %s%s%(base_path,get_) res = execcommand([sh,scriptname,,,line])if not res[1] and res[0](): return HttpResponse(res[0]) else: return HttpResponse(500)
机房建设运维管理系统时服务器须注意什么?
linux 系统管理，linux 网络服务，linux 安全，数据库等等，关于编程最好会一点，这主要根据企业要求。 关于网络最好也要会一点。 反正做运维接触面一点要广。 目前很多企业信息化系统都有自己的监控平台和监控手段，无论是采用哪种手段去实现对系统的实时监控和故障告警，大多采用的方式也只有两种：集中式监控和分布式监控。 为了更好、更有效的保障系统上线后的稳定的运行。 对于服务器的硬件资源、性能、带宽、端口、进程、服务等都必须有一个可靠和可持续的监测机制，统计分析每天的各种数据，从而能及时反映出服务器哪里存在性能瓶颈、安全隐患等。 另外是要有危机意识，就是了解服务器有可能出现哪些严重的问题，出现这些问题后该如何去迅速处理。 比如数据库的数据丢失，日志容量过大，被黑客入侵等等。 一、上线之前的准备工作1、首先是备份，做好定时备份策略，备份所有你认为重要的数据，并且定期检查你的备份是否有效、全面；2、日志轮换，无论你想用哪种轮换方式，控制日志增长避免驱动器已满是你的目的；3、做一定的安全措施，如防火墙iptables的访问控制，用denyhosts防止黑客远程暴力破解；4、mysql远程登录权限等等；5、最后就是服务器、网元设备的监控。 二、监控策略1、定义告警优先级策略一般的监控到的结果是成功或者失败，如Ping不通、访问网页出错、连接不到Socket，发生时这些称之为故障，故障是最优先的告警。 除此之外，还能监控到返回的延时、内容等，如Ping返回的延时、访问网页的时间、访问网页取到的内容等。 利用返回的结果可以自定义告警条件，如Ping监控的返回延时一般是10-30ms之间，当延时大于100ms时候，表示网络或者服务器可能出现问题，引起网络响应慢，需要立即检查是否流量过大或者服务器CPU太高等问题。 2、定义告警信息内容标准当服务器或应用发生故障时告警信息内容非常多，如告警运行业务名称、服务器IP、监控的线路、监控的服务错误级别、出错信息、发生时间等。 预先定义告警内容及标准使收到的告警内容具有规范性及可读性。 这点对于用短信接受告警内容特别有意义，短信内容最多是70个字符，要在70个字符完全知道故障内容比较困难，更需要预先定义内容规范。 如：“视频直播服务器10.0.211.65 在2012-10-18 13:00电信线路监控第到1次失败”，清晰明了的知道故障信息。 3、通过邮件接收汇总报表每天收到一封网站服务器监控的汇总报表邮件，花个两三分钟就大致了解网站和服务器状态。 4、 集中监控和分布式监控相结合主动（集中）监控虽然能不需要安装代码和程序，非常安全和方便，但缺少很多细致的监控内容，如无法获取硬盘大小、CPU的使用率、网络的流量等，这些监控内容非常有用，如CPU太高表示有网站或者程序出问题，流量太高表示可能被攻击等。 被动（分布式）监控常用的是SNMP(简单网络管理协议)，通过SNMP能监控到大部分你感兴趣的内容。 大部分操作系统支持SNMP，开通管理非常方便，也非常安全。 SNMP缺点是比较占用带宽，会消耗一定的CPU和内存，在CPU太高和网络流量大情况下，无法有效进行监控。 5、定义故障告警主次对于监控同一台服务器的服务，需要定义一个主要监控对象，当主要监控对象出现故障，只发送主要监控对象的告警，其它次要的监控对象暂停监控和告警。 例如用Ping来做主要监控对象，如果Ping不通出现Timeout，表示服务器已经当机或者断网，这时只发送服务器Ping告警持续监控Ping，因为再继续监控和告警其它服务已经没有必要。 这样能大大减少告警消息数量，又让监控更加合理、更加有效率。 本地监控脚本的规范化部署6、对在本地部署的监控脚本要进行统一规范的部署并记录到KM系统。 7、实现对常见性故障业务自我修复功能实现对常见性故障业务自我修复功能脚本进行统一部署并对修复后故障进行检查告警检查频次不多于3次。 8、对监控的业务系统进行分级一级系统实现7*24小时告警，二级系统实现7*12小时告警，三级系统实现5*8小时告警。 9、 监控范围及目标实现对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控管理；同时自动收集、过滤、关联和分析各种管理功能产生的故障事件，实现对故障的提前预警和快速定位；对网络和业务应用等IT资源的性能进行监控，定期提供性能报表和趋势报表，为性能优化及未来系统扩容提供科学依据。 通常情况下，我们可以将监控对象这么来分：1.服务器监控，主要监控服务器如：CPU 负载、内存使用率、磁盘使用率、登陆用户数、进程状态、网卡状态等。 2.应用程序监控，主要监控该应用程序的服务状态，吞吐量和响应时间，因为不同应用需要监控的对象不同，这里不一一列举。 3.数据库监控，只所以把数据库监控单独列出来，足以说明它的重要性，一般监控数据库状态，数据库表或者表空间的使用情况，是否有死锁，错误日志，性能信息等等。 4.网络监控，主要监控当前的网络状况，网络流量等。 以上四条应该算是最基本的，也是保证网站正常运行必须要知道的几点内容，这样才能实现我们常说的“运筹帷幄之中，决胜千里之外”。
Redis和Memcache的区别分析
1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。 不过memcache还可用于缓存其他东西，例如图片、视频等等。 2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3、虚拟内存--Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘4、过期策略--memcache在set时就指定，例如set key1 0 0 8,即永不过期。 Redis可以通过例如expire 设定，例如expire name 105、分布式--设定memcache集群，利用magent做一主多从;redis可以做一主多从。 都可以一主一从6、存储数据安全--memcache挂掉后，数据没了；redis可以定期保存到磁盘（持久化）7、灾难恢复--memcache挂掉后，数据不可恢复; redis数据丢失后可以通过aof恢复8、Redis支持数据的备份，即master-slave模式的数据备份。
发表评论