Spark on K8s 部署测试

安装 Spark Operator

验证集群连接

首先，验证集群是否连接成功：

kubectl get nodes

安装步骤

1. 创建命名空间
   在集群内分别创建名为 spark-operator 和 spark 的命名空间：

   bash 复制代码

   kubectl create namespace spark-operator
   kubectl create namespace spark

2. 创建 ServiceAccount
   创建一个 ServiceAccount，并确保其具有 K8s RBAC 权限：

   bash 复制代码

   kubectl create serviceaccount spark -n spark
   kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=spark:spark --namespace=spark

3. 创建 local-values 文件
   确保 sd-artifactory-cdp-secret 在对应的命名空间中已经添加。以下是 local-values.yaml 文件的内容：

   yaml 复制代码

   image:
     repository: artifactory.ep.senserData.com/cdp-docker/googlecloudplatform/spark-operator
     pullPolicy: IfNotPresent
     tag: ""
   imagePullSecrets:
     - name: sda-artifactory-cdp-secret
   webhook:
     enable: true
   batchScheduler:
     enable: true

4. 安装 Spark Operator
   使用 Helm 安装 Spark Operator：

   bash 复制代码

   helm repo add spark-operator https://googlecloudplatform.github.io/spark-on-k8s-operator
   helm upgrade --install spark-operator spark-operator/spark-operator -f ./local-values.yaml --namespace spark-operator

注意事项

• 确保 sd-artifactory-cdp-secret 在对应的命名空间中已经添加。
• 安装完成后，可以通过 kubectl get pods -n spark-operator 来验证 Spark Operator 是否成功部署。

其他

• 预览时标签不可点。
• 微信扫一扫关注该公众号。

end