Python调用kafka构建完整实例分析与应用 (python怎么读)

技术教程 2025-05-04 21:43:02 浏览次

Python调用kafka构建完整实例分析与应用

2020-06-04 12:15:08这里应用端给出的方案是使用kafka来做，但是这个我在之前没有接触过，所以没有头绪，就想着在本机搭建一下kafka的环境，来去熟悉整个操作过程。

近期遇到一个需求就是我们需要把当前比较耗费资源的接口开发成异步通讯的机制，简单来说就是有一个消息队列来不停地进行消息的集中分发与任务处理，这里应用端给出的方案是使用kafka来做，但是这个我在之前没有接触过，所以没有头绪，就想着在本机搭建一下kafka的环境，来去熟悉整个操作过程。

接下来就先开始kafka环境的安装。kafka的安装需要依赖于zooeleeper模块，虽然说kafka自带了zooeleeper模块，但是网上清一色的教程都说还是需要自己手动提前去安装zooeleeper模块才行的，所以这里的第一步就是安装zooeleeper模块，下载地址在这里：

我下载的是3.4.14版本的：

安装的话是很简单的，直接解压缩到本地，之后按照下面的步骤进行操作即可：

安装和启动成功zooeleeper模块后，就可以下载和安装kafka模块了，这里需要注意一下下载合适的版本才可以的，网上很多教程都是比较早的了，所以给出来的版本信息可能找不到了也可能不再合适了，这里我是摸索进行尝试安装了，在第一次安装失败之后，我查了很多教程，后面发现自己安装的scala不对，这里需要注意的就是kafka是基于scala编写的，所以想要成功安装kafka就必须保证scala成功安装好了。

下载kafka另一个比较重要的点或者是需要注意的点就是需要下载和安装二进制的文件，这里我的下载链接如下：

我下载的是下面的版本:

下载到本地后，直接解压缩即可，结果截图如下所示：

进入到当前目录后，打开CMD窗口，执行下面的命令：

不出意外，只要前面的环境条件都满足了，这里应该是可以正常启动的，终端会输出一大堆密密麻麻的日志。

到这里kafka就安装成功了，下面就可以进行自己的使用了。

这里简单说一下，在编写程序的时候遇到了一些问题，报错如下：

解决上面的报错需要处理两个地方，分别如下：

python怎么读 1、修改系统hosts文件

2、修改kafka对应的配置文件

效果图如下所示：

处理完上面两个部分就可以了，接下来我们基于Python来开发对应的实例。

实例一：

这个是官方提供的实例，比较简单，主要是编写对应的生产者和消费者，下面是具体的代码实现：

生产者代码：

消费者代码：

接下来在终端启动消费者，然后执行生产者，观察消费者终端的输出：

可以看到，生产者发出对应的demo topic之后，消费者消费了这个Topic产生的数据，这是一个比较简单的实例应用。

实例二：

这部分主要是贴合自己的应用来构建的实例，这里需要传输的是Json数据对象，下面是具体的代码实现：

生产者代码：

消费者代码：

接下来在终端启动消费者，然后执行生产者，生产者的输出如下：

消费者输出如下：

可以看到，生产者发出去的json数据对象已经被消费者“消费”了，本部分主要是演示json数据的处理与应用。到这里，本文的主要内容就结束了。

大数据云计算好不好学习？

学习大数据处理需要的语言：javaMR语言这种语言产生很早了，大家也或多或少的接触过，但是在大数据中使用已经有的原型进行构建庞大系统，是一种基本的选择。 Scala语言以java为基础的语言，和java很像，对任何想要进行大规模的机械学习或是建立高阶的算法，Scala是逐渐兴起的工具，善于呈现且拥有建立可靠系统的能力。 Hadoop在以java为基础的大数据处理当中，Hadoop为作一批数据处理，发展以java为基础的架构关键。相对于其他处理工具而言，Hadoop慢许多，但是无比的准确可被后端数据库分析广泛使用Kafka andStorm它是一个特别快速的查询信息系统，但是因为太快了在实施操作时会犯错，有时候会漏掉东西。 Pythom语言Python拥有R语言处理复杂数据的能力及更务实的语言特质，更简单和直观，在近几年的成长很快。在数据处理范畴内，通常在规模与复杂之间要有个选择，Python无疑当选。