通过 Docker-Compose 快速部署 Elasticsearch 和 Kibana 保姆级教程

2023-10-23 00:06:29Elasticsearch 是一个开源的分布式搜索和分析引擎，最初由 Elasticsearch N.V.（现在是 Elastic N.V.）开发并维护。它是基于 Apache Lucene 搜索引擎构建的，专门设计用于处理和分析大规模的数据，提供了强大的全文搜索、结构化数据存储、分析和可视化功能。

一、概述

使用 Docker Compose 快速部署 Elasticsearch 和 Kibana 可以帮助您在本地或开发环境中轻松设置和管理这两个重要的工具，用于存储和可视化日志数据、监控和搜索。以下是一个概述的步骤：

docker-compose up -d# -d 选项用于在后台运行容器。

这些步骤将帮助您快速部署 Elasticsearch 和 Kibana，以便进行日志分析、数据可视化和搜索等操作。请注意，您可以根据需要在docker-compose.yml文件中更改版本和配置选项。确保您的系统资源足够以支持 Elasticsearch 和 Kibana 的运行。

二、开始编排部署（Elasticsearch 和 Kibana）

Elasticsearch是一个开源的分布式搜索和分析引擎，最初由 Elasticsearch N.V.（现在是 Elastic N.V.）开发并维护。它是基于Apache Lucene搜索引擎构建的，专门设计用于处理和分析大规模的数据，提供了强大的全文搜索、结构化数据存储、分析和可视化功能。以下是 Elasticsearch 的主要特点和用途的概述：

总之，Elasticsearch 是一个强大且多才多艺的搜索和分析引擎，适用于各种用途，从全文搜索到日志分析和可视化数据。它在各种行业中被广泛使用，包括搜索引擎、电子商务、日志管理、安全信息与事件管理、科学研究和更多领域。

服务布局：

1）部署 docker

# 安装yum-config-manager配置工具yum -y install yum-utils# 建议使用阿里云yum源：（推荐）#yum-config-manager --add-repo--add-repo安装docker-ce版本yum install -y docker-ce# 启动并开机启动systemctl enable --now dockerdocker --version

2）部署 docker-compose

curl -SL-o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-composedocker-compose --version

3）创建网络

# 创建docker network create bigdata# 查看docker network ls

4）创建挂载目录

#创建 es 目录chmod 777 ./es/node-{1..3}/{config,data,log}chmod 777 ./es/plugins# 创建kibana的配置目录mkdir -p ./kibana/config#目录授权chmod 777 ./es/node-{1..3}/{config,data,log}chmod 777 ./es/pluginschmod 777 ./kibana/config

5）修改 Linux 句柄数

#查看当前最大句柄数sysctl -a | grep vm.max_map_count#修改句柄数vi /etc/sysctl.confvm.max_map_count=262144#临时生效，修改后需要重启才能生效，不想重启可以设置临时生效sysctl -w vm.max_map_count=262144

6）修改句柄数和最大线程数

#修改后需要重新登录生效vi /etc/security/limits.conf# 添加以下内容* soft nofile 65535* hard nofile 65535* soft nproc 4096* hard nproc 4096# 重启服务，-h 立刻重启，默认间隔一段时间才会开始重启reboot -h now

7）添加 IK 分词器

github 下载地址：

# 将下载的分词器复制到ES安装目录的plugins目录中并进行解压mkdir ./es/plugins/ik && cd ./es/plugins/ikwgetelasticsearch-analysis-ik-7.17.5.zip

8）编写配置文件

./es/node-1/config/elasticsearch.yml

#集群名称cluster.name: elastic#当前该节点的名称node.name: node-1#是不是有资格竞选主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3#给当前节点自定义属性（可以省略）#node.attr.rack: r1#数据存档位置path.data: /usr/share/elasticsearch/data#日志存放位置path.logs: /usr/share/elasticsearch/log#是否开启时锁定内存（默认为是）#bootstrap.memory_lock: true#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0network.host: 0.0.0.0#设置映射端口http.port: 9200#内部节点之间沟通端口transport.tcp.port: 9300#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"]#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"]#在群集完全重新启动后阻止初始恢复，直到启动N个节点#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，gateway.recover_after_nodes: 2#删除索引是是否需要显示其名称，默认为显示#action.destructive_requires_name: true# 禁用安全配置，否则查询的时候会提示警告xpack.security.enabled: false

./es/node-2/config/elasticsearch.yml

#集群名称cluster.name: elastic#当前该节点的名称node.name: node-2#是不是有资格竞选主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3#给当前节点自定义属性（可以省略）#node.attr.rack: r1#数据存档位置path.data: /usr/share/elasticsearch/data#日志存放位置path.logs: /usr/share/elasticsearch/log#是否开启时锁定内存（默认为是）#bootstrap.memory_lock: true#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0network.host: 0.0.0.0#设置映射端口http.port: 9200#内部节点之间沟通端口transport.tcp.port: 9300#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"]#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"]#在群集完全重新启动后阻止初始恢复，直到启动N个节点#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，gateway.recover_after_nodes: 2#删除索引是是否需要显示其名称，默认为显示#action.destructive_requires_name: true# 禁用安全配置，否则查询的时候会提示警告xpack.security.enabled: false

./es/node-3/config/elasticsearch.yml

#集群名称cluster.name: elastic#当前该节点的名称node.name: node-3#是不是有资格竞选主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3#给当前节点自定义属性（可以省略）#node.attr.rack: r1#数据存档位置path.data: /usr/share/elasticsearch/data#日志存放位置path.logs: /usr/share/elasticsearch/log#是否开启时锁定内存（默认为是）#bootstrap.memory_lock: true#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0network.host: 0.0.0.0#设置映射端口http.port: 9200#内部节点之间沟通端口transport.tcp.port: 9300#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"]#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"]#在群集完全重新启动后阻止初始恢复，直到启动N个节点#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，gateway.recover_after_nodes: 2#删除索引是是否需要显示其名称，默认为显示#action.destructive_requires_name: true# 禁用安全配置，否则查询的时候会提示警告xpack.security.enabled: false

./kibana/config/kibana.yml

server.host: 0.0.0.0# 监听端口server.port: 5601server.name: "kibana"# kibana访问es服务器的URL,就可以有多个，以逗号","隔开elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"]monitoring.ui.container.elasticsearch.enabled: true# kibana访问Elasticsearch的账号与密码(如果ElasticSearch设置了的话)elasticsearch.username: "kibana"elasticsearch.password: "12345"# kibana日志文件存储路径logging.dest: stdout# 此值为true时，禁止所有日志记录输出logging.silent: false# 此值为true时，禁止除错误消息之外的所有日志记录输出logging.quiet: false# 此值为true时，记录所有事件，包括系统使用信息和所有请求logging.verbose: falseops.interval: 5000# kibana web语言i18n.locale: "zh-CN"

9）构建镜像

这里就用别人已经构建好的好的镜像，不再重复构建镜像了，如果不了解怎么构建镜像，可以私信我。

### ESdocker pull elasticsearch:7.17.5# tagdocker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5# 登录将镜像推送到阿里云docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5### kibanadocker pull docker.io/library/kibana:7.17.5docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5

10）编排 docker-compose.yml

version: "3"services:node-1:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5container_name: node-1hostname: node-1environment:- "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"- "TZ=Asia/Shanghai"ulimits:memlock:soft: -1hard: -1nofile:soft: 65536hard: 65536ports:- "9200:9200"logging:driver: "json-file"options:max-size: "50m"volumes:- ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml- ./es/plugins:/usr/share/elasticsearch/plugins- ./es/node-1/data:/usr/share/elasticsearch/data- ./es/node-1/log:/usr/share/elasticsearch/lognetworks:- bigdatahealthcheck:test: ["CMD-SHELL", "curl -I|| exit 1"]interval: 10stimeout: 10sretries: 5node-2:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5container_name: node-2hostname: node-2environment:- "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"- "TZ=Asia/Shanghai"ulimits:memlock:soft: -1hard: -1nofile:soft: 65536hard: 65536ports:- "9201:9200"logging:driver: "json-file"options:max-size: "50m"volumes:- ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml- ./es/plugins:/usr/share/elasticsearch/plugins- ./es/node-2/data:/usr/share/elasticsearch/data- ./es/node-2/log:/usr/share/elasticsearch/lognetworks:- bigdatahealthcheck:test: ["CMD-SHELL", "curl -I|| exit 1"]interval: 10stimeout: 10sretries: 5node-3:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5container_name: node-3hostname: node-3environment:- "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"- "TZ=Asia/Shanghai"ulimits:memlock:soft: -1hard: -1nofile:soft: 65536hard: 65536ports:- "9202:9200"logging:driver: "json-file"options:max-size: "50m"volumes:- ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml- ./es/plugins:/usr/share/elasticsearch/plugins- ./es/node-3/data:/usr/share/elasticsearch/data- ./es/node-3/log:/usr/share/elasticsearch/lognetworks:- bigdatahealthcheck:test: ["CMD-SHELL", "curl -I|| exit 1"]interval: 10stimeout: 10sretries: 5kibana:container_name: kibanahostname: kibanaimage: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5environment:TZ: 'Asia/Shanghai'volumes:- ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.ymlports:- 5601:5601networks:- bigdatahealthcheck:test: ["CMD-SHELL", "curl -I|| exit 1"]interval: 10stimeout: 10sretries: 5# 连接外部网络networks:bigdata:external: true

开始执行部署

docker-compose up -d# 查看docker-compose ps

11）测试验证

ES 访问地址：

docker-compose pscurl localhost:9200curl localhost:9200/_cat/health

kibana：

git 地址：

docker 里可以安装docker吗

可以的，我们将讨论如何在 CentOS 7.x 中安装 docker。 CentOS 7 中 Docker 的安装Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。 因此想要安装 docker，只需要运行下面的 yum 命令：[root@localhost ~]# yum install docker启动 Docker 服务安装完成后，使用下面的命令来启动 docker 服务，并将其设置为开机启动：[root@localhost ~]# service docker start[root@localhost ~]# chkconfig docker on此处采用了旧式的 sysv 语法，如采用CentOS 7中支持的新式 systemd 语法，如下：[root@localhost ~]# systemctlstart [root@localhost ~]# systemctlenable

docker在web开发中得使用流程是怎样的

设想一个如下场景：我们需要一个webapp，其功能是用户注册并将注册信息插入到数据库，环境为Ubuntu+Tomcat+Mysql,怎么做?不使用Docker的话，我们通常会这样做，以Ubuntu为操作系统，然后安装Tomcat和MySQL，最后把app部署上就可以了。 那么使用Docker会怎么做呢，在这个场景下，可以有两种方式：1.仍然以Ubuntu为操作系统，然后构建一个安装有MySQL和Tomcat的Docker镜像，并把app部署到其中，最后启动Docker镜像就可以了。 看起来好像和不使用Docker基本相同，甚至还要麻烦一些，是这样吗?别着急，继续往下看。 2.第二种方式则体现了Docker的每个容器只做一件事情的思想，我们构建两个镜像，一个仅安装Tomcat并部署我们的app，另一个仅安装MySQL，然后启动这两个镜像，得到两个容器，再利用Docker的容器互联技术将二者连接(Docker的容器是通过http连接的)。

如何进入docker的node镜像

1.什么是docker？Docker allows you to package an application WITH all of its dependencies into a standardized unit for software 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。 容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。 几乎没有性能开销，可以很容易地在机器和数据中心中运行。 最重要的是，他们不依赖于任何语言、框架包括系统。 Docker 的目标是实现轻量级的操作系统虚拟化解决方案。 Docker 的基础是 Linux 容器（LXC）等技术。 在 LXC 的基础上 Docker 进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。 用户操作 Docker 的容器就像操作一个快速轻量级的虚拟机一样简单。 下面的图片比较了 Docker 和传统虚拟化方式的不同之处，可见容器是在操作系统层面上实现虚拟化，直接复用本地主机的操作系统，而传统方式则是在硬件层面实现。 (图片来自Docker官方网站)简单入门Docker can build images automatically by reading the instructions from a Dockerfile. A Dockerfile is a text document that contains all the commands you would normally execute manually in order to build a Docker image. By calling docker build from your terminal, you can have Docker build your image step by step, executing the instructions 通过读取Dockerfile文件中的指令自动构建镜像。 Dcokerfile是一个文本文件，它包含了构建镜像所需要执行的全部命令。 执行docker build命令，Docker就会按照文档执行并最终创建一个镜像。 （这段话是翻译上面那段话的%>_<%）。 Dockerfile支持支持的语法命令如下：INSTRUCTION argument指令不区分大小写。 但是，命名约定为全部大写。 Dockerfile都必须以FROM命令开始。 FROM命令会指定镜像基于哪个基础镜像创建，接下来的命令也会基于这个基础镜像（译者注：CentOS和Ubuntu有些命令可是不一样的）。 FROM命令可以多次使用，表示会创建多个镜像。 具体语法如下：