Pulsar on Kubernetes 部署与验证指南
ckckck2025年1月10日54 浏览Pulsar 安装与配置指南
前提条件
- Kubernetes server 1.14.0+
- kubectl 1.14.0+
- Helm 3.0+
步骤 0：安装依赖的 charts（可选）
安装本地存储配置器
要使用本地持久化卷作为持久化存储，需要为本地持久化卷安装存储配置器。最简单的方法之一是使用与 Pulsar Helm chart 一起提供的本地存储配置器。
bash
helm repo add streamnative https://charts.streamnative.io
helm repo update
helm install pulsar-storage-provisioner streamnative/local-storage-provisioner安装证书管理器（cert-manager）
Pulsar Helm chart 使用 cert-manager 来自动提供和管理 TLS 证书。需要先安装 cert-manager 才能为 broker 和 proxy 启用 TLS 加密。
关于安装 cert-manager 的细节，参考官方说明。
我们还提供了 bash 脚本 install-cert-manager.sh 来安装 cert-manager 到命名空间 cert-manager 中。
bash
git clone https://github.com/apache/pulsar-helm-chart
cd pulsar-helm-chart
./scripts/cert-manager/install-cert-manager.sh步骤 1：安装 Pulsar Helm chart
-
添加 Pulsar Helm 仓库。
bashhelm repo add apache https://pulsar.apache.org/chart helm repo update -
克隆 Pulsar Helm chart 的仓库。
bashgit clone https://github.com/apache/pulsar-helm-chart cd pulsar-helm-chart -
在安装所有依赖的 chart 并收集了所有的配置选项后，运行
prepare_helm_release.sh来准备 Helm（可选）。bash./scripts/pulsar/prepare_helm_release.sh -n <k8s-namespace> -k <helm-release-name>prepare_helm_release创建了下列资源：- 用于安装 Pulsar 的 Kubernetes 命名空间。
- 三个超级用户：
broker-admin、proxy-admin、admin的 JWT 密钥和令牌。
-
使用 Pulsar Helm chart 来将一个 Pulsar 集群安装至 Kubernetes。
bashhelm install pulsar apache/pulsar --timeout 10m --set initialize=true --set volumes.persistence=false --set affinity.anti_affinity=false --set [your configuration options]默认情况下，Pulsar Helm chart 会创建持久卷声明，并期望动态提供者创建底层持久卷。
yamlvolumes: persistence: true local_storage: false要使用本地持久卷作为 Helm 的持久化存储，你可以安装
local storage provisioner，并在helm install命令中添加以下选项。bash--set volumes.local_storage=true备注：在安装 Pulsar 的生产实例前，需规划好存储设置以避免额外的存储迁移工作。因为在首次安装后，若想改变存储设置，必须手动编辑 Kubernetes 对象。
在开发环境（如 Minikube）中使用，可以在
helm install命令中添加以下选项来禁用持久化。bash--set volumes.persistence=false -
检查所有 pod 的状态。
bashkubectl get pods -n pulsar如果所有 pod 都成功启动，你会看到
STATUS变为Running或Completed。 -
检查命名空间
pulsar下所有服务的状态。bashkubectl get services -n pulsar
步骤 2：使用 pulsar-admin 来创建 Pulsar 租户/命名空间/主题
pulsar-admin 是 Pulsar 的 CLI（命令行客户端）工具。这一步中，你可以使用 pulsar-admin 来创建资源，包括租户、命名空间和主题。
-
进入
toolset容器。bashkubectl exec -it -n pulsar pulsar-toolset-0 -- /bin/bash -
在
toolset容器里，创建一个名为apache的租户。bashbin/pulsar-admin tenants create apache然后你可以列出所有租户，来查看租户是否创建成功。
bashbin/pulsar-admin tenants list -
在
toolset容器里，在租户apache下创建一个名为pulsar的命名空间。bashbin/pulsar-admin namespaces create apache/pulsar然后你可以列出租户
apache的所有命名空间，来查看命名空间是否创建成功。bashbin/pulsar-admin namespaces list apache -
在
toolset容器里，在命名空间apache/pulsar下创建一个包含4个分区的主题test-topic。bashbin/pulsar-admin topics create-partitioned-topic apache/pulsar/test-topic -p 4 -
在
toolset容器里，列出命名空间apache/pulsar中的所有分区主题。bashbin/pulsar-admin topics list-partitioned-topics apache/pulsar
步骤 3：使用 Pulsar 客户端生产和消费消息
你可以使用 Pulsar 客户端来创建生产者与消费者并用于生产和消费消息。
默认情况下，Pulsar Helm chart 会通过 Kubernetes LoadBalancer 将 Pulsar 集群暴露出来。在 Minikube 中，你可以使用如下命令来检查代理服务。
bash
kubectl get services -n pulsar | grep pulsar-proxy你将看到类似如下的输出：
pulsar-proxy LoadBalancer 172.16.90.224 120.48.26.171,172.21.206.50 80:31089/TCP,6650:31166/TCP 68m这个输出显示了 Pulsar 集群的二进制端口和 HTTP 端口都映射到了哪个 node 端口上。80: 后面的端口是 HTTP 端口，而 6650: 后面的端口是二进制端口。
此时，你可以获得连接到你的 Pulsar 客户端的服务 URL。下面是一些 URL 示例：
webServiceUrl=http://172.21.195.xx:xxxx
brokerServiceUrl=pulsar://172.21.195.xx:xxxx然后你可以继续如下步骤：
-
从下载页面下载 Apache Pulsar。
-
基于你的下载文件解压。
bashtar -xf <file-name>.tar.gz -
暴露
PULSAR_HOME。bashexport PULSAR_HOME=$(pwd) -
配置 Pulsar 客户端。
在${PULSAR_HOME}/conf/client.conf文件中，用你从上面步骤中获得的服务 URL 来替换掉webServiceUrl与brokerServiceUrl。 -
创建订阅以消耗来自
apache/pulsar/test-topic的消息。bashbin/pulsar-client consume -s sub apache/pulsar/test-topic -n 0 -
打开一个新的终端。在新终端中，创建一个生产者并向
test-topic主题发送 10 条消息。bashbin/pulsar-client produce apache/pulsar/test-topic -m "---------hello apache pulsar-------" -n 10 -
验证结果。
对于生产者而言，输出如下：18:15:15.489 [main] INFO org.apache.pulsar.client.cli.PulsarClientTool - 10 messages successfully produced对于消费者而言，输出如下：
----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar------- ----- got message ----- ---------hello apache pulsar-------
步骤 4：使用 Pulsar Manager 来管理集群
Pulsar Manager 是一个基于网络 GUI 的管理工具，用于管理和监测 Pulsar。
-
默认情况下，
Pulsar Manager作为一个独立的LoadBalancer暴露给外界。你可以在values.yaml中设置pulsar_manager: true：yamlcomponents: zookeeper: true bookkeeper: true autorecovery: true broker: true functions: true proxy: true toolset: true pulsar_manager: true -
设置管理员账号以及密码。
bashCSRF_TOKEN=$(curl http://192.31.198.xx:port/pulsar-manager/csrf-token) curl -H 'X-XSRF-TOKEN: $CSRF_TOKEN' -H 'Cookie: XSRF-TOKEN=$CSRF_TOKEN;' -H "Content-Type: application/json" -X PUT http://172.21.195.xx:port/pulsar-manager/users/superuser -d '{"name": "admin", "password": "apachepulsar", "description": "admin", "email": "gongziran@tencent.com"}'Curl 命令中的请求参数：
json{ "name": "admin", "password": "apachepulsar", "description": "test", "email": "username@test.org" } -
Pulsar Manager UI 将会在你的浏览器中打开。你可以使用用户名
pulsar和密码apachepulsar来登录进 Pulsar Manager。 -
在 Pulsar Manager UI 中，你可以创建一个环境。
- 点击左上角的
New Environment按钮。 - 在弹窗中的
Environment Name一栏里输入pulsar。 - 在弹窗中的
Service URL一栏里输入http://pulsar-broker:8080。 - 点击弹窗中的
Confirm按钮。
- 点击左上角的
-
成功创建环境后，你将被重定向到新环境的
租户页面。然后你可以使用 Pulsar Manager 来创建租户、命名空间和主题。
end