解析SparkStreaming和Kafka集成的两种方式2020，02，2117，33，17SparkStreaming是基于微批处理的流式计算引擎，通常是利用SparkCore或者SparkCore与SparkSql一起来处理数据，在企业实时处理架构中，通常将SparkStreaming和Kafka集成作为整个大数据处理架构的核心...。

Spark查询优化，提升关系型数据库性能随着数据量的不断增加，传统的关系型数据库在处理海量数据时显得力不从心，而Spark作为一种高速、通用、可扩展、分布式内存计算引擎，已成为处理大数据和机器学习任务的首选工具之一，在现实应用中，人们经常需要将关系型数据库数据导入到Spark中，来进行各种数据的分析和处理，但是，因为关系型数据库和Sp...。

Livy是一个提供Rest接口和spark集群交互的服务，它可以提交SparkJob或者Spark一段代码，同步或者异步的返回结果，也提供Sparkcontext的管理，通过Restful接口或RPC客户端库，Livy也简化了与Spark与应用服务的交互，这允许通过web，mobile与Spark的使用交互，...。

在当今大数据时代，Spark已经成为了一个非常受欢迎的开源分布式计算框架，对于想要在Linux上进行Spark开发的开发者来说，首先需要搭建一个可用的Spark开发环境，本文将为大家介绍如何在Linux上进行Spark开发，并简单介绍如何运行一个简单的Spark程序，1.准备环境之一步是确保您在Linux环境中安装了Java，如果尚未...。

JVM默认会通过JMX的方式暴露基础指标，很多中间件也会通过JMX的方式暴露业务指标，比如Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等，掌握了JMX监控方式，就掌握了一批程序的监控方式，本节介绍JMX，Exporter的使用，利用JMX，Exporter把JMX监控数据...。

三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构2020，04，0315，35，53我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础，机器学习、数据挖掘等各种大数据处理都离不开各种开源分布...。

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的，partition，、多副本的，replica，，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于hadoop的批处理系统、低延迟的实时系统、storm，Spark流式处理引擎，web，nginx日志、...。

从dba转大数据是可行的，因为两者都需要处理大量数据和优化性能。dba的数据库管理经验有助于在大数据分析中发挥作用，但需学习新的技能如hadoop、spark等大数据技术。从数据库管理员（DBA）转型到大数据领域，是当前许多技术从业者面临的一个重要选择，随着数据量的爆炸性增长和大数据技术的广泛应用，传统的DBA角色正在发生显著变化，需...

Eagle–来自eBay的分布式实时监控及预警框架2015-07-2815:51:45Eagle是来自eBay的面向大型分布式系统比如Hadoop,Spark以及Cloud等设计的通用实时监控与与预警框架。主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这个复杂的大数据问题，具有高扩...

SparkStreaming与Kafka整合遇到的问题及解决方案2017-08-0309:37:35最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark...

SparkStreaming与Kafka整合遇到的问题及解决方案2017-08-0309:37:35最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark...

使用Kafka和Druid了解Spark流2020-05-1410:26:27在本博文中，我将分享通过将SparkStreaming，Kafka和ApacheDruid结合在一起以构建实时分析仪表板，以确保精确的数据表示而获得的知识。作为一名数据工程师，我正在研究大数据技术，例如SparkStreaming，Kafka和ApacheD...