修改 spark-default.conf.template 名称
mv spark-defaults.conf.template
spark-defaults.conf
修改 spark-default.conf 文件， 开启 Log：
vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://bigdata166:9000/directory
注意： HDFS 上的目录需要提前存在。
修改 spark-env.sh 文件， 添加如下配置：
vim spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://bigdata166:9000/directory"
参数描述：
spark.eventLog.dir： Application 在运行过程中所有的信息均记录在该属性指定的路径下
spark.history.ui.port=18080 WEBUI 访问的端口号为 18080
spark.history.fs.logDirectory=hdfs://bigdata166:9000/directory 配置了该属性后， 在
start-history-server.sh 时就无需再显式的指定路径， Spark History Server 页面只展示该指定路
径下的信息
spark.history.retainedApplications=30 指定保存 Application 历史记录的个数， 如果超过这
个值， 旧的应用程序信息将被删除， 这个是内存中的应用数， 而不是页面上显示的应用数。
分发配置文件
xsync spark-defaults.conf
xsync spark-env.sh
启动历史服务
sbin/start-history-server.sh
再次执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata166:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
查看历史服务
bigdata166:18080
