Spark高可用配置方法

2022年2月3日18:18:06 发表评论 390 views

架构图:

Spark高可用配置方法

1zookeeper 正常安装并启动
2) 修改 spark-env.sh 文件添加如下配置:
vi spark-env.sh
注释掉如下内容:
#SPARK_MASTER_HOST=bigdata166
#SPARK_MASTER_PORT=7077
添加上如下内容:
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=bigdata166,bigdata167,bigdata168
-Dspark.deploy.zookeeper.dir=/spark"
3) 分发配置文件
xsync spark-env.sh
4) 在 bigdata166 上启动全部节点
sbin/start-all.sh
5) 在 bigdata167 上单独启动 master 节点
sbin/start-master.sh

6spark HA 集群访问
/opt/module/spark/bin/spark-shell \
--master spark://bigdata166:7077,bigdata167:7077 \
--executor-memory 2g \
--total-executor-cores 2

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: