spark分布式搭建

standalone模式:

 

 

分别修改conf下的slaves和spark-env.sh文件

然后启动sbin/start-all.sh,即可使用jps看到相关的进程

同时可用8080端口查看spark控制台

 

其它:可尝试用xsync spark/ 分发配置文件

运行案例:

bin/spark-submit \
–class org.apache.spark.examples.SparkPi \
-master spark://bigdata111:7077 \
–executor-memory 1G \
–total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

同时输出结果可现实非local模式。

 

留下评论

您的邮箱地址不会被公开。 必填项已用 * 标注