截至2012年12月，全球互联网用户达到24亿；2012年，智能手机出货量达到4.27亿部，在IT迅速变革的今天，看看一分钟之内会有多少事发生吧，27.8万条Twitter信息发出，2.04亿封电子邮件被发出，15000条歌曲从iTunes上被下载，571个新网站被创建，今天，我们已经进入数据爆炸式增长期，而80%能访问到的数据都是过...。

三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构2020，04，0315，35，53我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础，机器学习、数据挖掘等各种大数据处理都离不开各种开源分布...。

旧的MapReduce架构此架构会有以下问题，总的来说就是单点问题和资源利用率问题YARN架构YARN就是将JobTracker的职责进行拆分，将资源管理和任务调度监控拆分成独立的进程，一个全局的资源管理和一个每个作业的管理，ApplicationMaster，ResourceManager和NodeManager提供了计算资源的分配...。

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的，partition，、多副本的，replica，，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于hadoop的批处理系统、低延迟的实时系统、storm，Spark流式处理引擎，web，nginx日志、...。

2018年，腾讯引入了Redis的CKV技术，实现了极大的性能提升和扩展性能，实现了数据的有效控制和可靠的业务场景，推动了其业务的转型，腾讯hadoop平台是腾讯云产品的基础，其原来的key，value框架是由多层hadoop系统构成的，每一层具有自己的、不断变化的技术和压力，用于存储和访问不同大小key，value对，因此，框架必须...。

分布式数据库和Hadoop都不够好，于是我们设计分布式SQL计算系统2017-06-2208:25:27为了解决分布式数据库下，复杂的SQL(如全局性的排序、分组、join、子查询，特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和Hadoop实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考,...

拥抱随开源而来的机遇和挑战原创2015-10-0815:38:43LinuxonPower是IBM开始走向开放路程中的“重型武器”。PowerLinux服务器的推出及OpenPower生态联盟的建立，为Linux、Hadoop、KVM、OpenStack、NoSQL等主流开源技术提供了良好的支持。除此之外，IBM在发挥Power架构可...

拥抱随开源而来的机遇和挑战原创2015-10-0815:38:43LinuxonPower是IBM开始走向开放路程中的“重型武器”。PowerLinux服务器的推出及OpenPower生态联盟的建立，为Linux、Hadoop、KVM、OpenStack、NoSQL等主流开源技术提供了良好的支持。除此之外，IBM在发挥Power架构可...

HBase是一个分布式的、可扩展的、基于列的数据库系统。在Hadoop生态系统中，它属于NoSQL数据库的一类，类似于Google的Bigtable。HBase是基于Hadoop的HDFS存储系统构建的，具有高可用、高可靠性和高可扩展性等特点。HBase数据库架构HBase数据库使用的是基于键值对的数据库结构，它的基本单元是一个表格。...

从dba转大数据是可行的，因为两者都需要处理大量数据和优化性能。dba的数据库管理经验有助于在大数据分析中发挥作用，但需学习新的技能如hadoop、spark等大数据技术。从数据库管理员（DBA）转型到大数据领域，是当前许多技术从业者面临的一个重要选择，随着数据量的爆炸性增长和大数据技术的广泛应用，传统的DBA角色正在发生显著变化，需...

Eagle–来自eBay的分布式实时监控及预警框架2015-07-2815:51:45Eagle是来自eBay的面向大型分布式系统比如Hadoop,Spark以及Cloud等设计的通用实时监控与与预警框架。主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这个复杂的大数据问题，具有高扩...