未分类
未分类
大数据
spark cache checkpoints mapPartitionsWithIndex aggregate
scala> var rdd1 = sc.textFile("hdfs://bigdata111:9000/spark/test_Cache.txt&quo...
未分类
scala两种环境备忘
IDEA环境： package wordcount import org.apache.spark.{SparkConf, SparkContext} object wordCountScala ex...
大数据
CDH部署
安装分布式，标准：各机器能ping通各机器，且都能ssh对方，见hadoop分布式 小坑：快照还原不统一导致证书无法识别也无法覆盖，使用-f命令即可： ssh-copy-id -f bigdata16...
未分类
Hbase Region 均衡设置
package hbaseapi; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; imp...
未分类
HbaseAPI编写
package hbaseapi; import com.google.inject.internal.util.$AsynchronousComputationException; import c...
大数据
hbase操作指令
启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如： http://bigdata111:16010 2.2 基本操作 进入HBase客户端命令行 bin/h...
大数据
hbase基础
部署： 首先保证Zookeeper集群的正常部署，并启动之： /opt/module/zookeeper-3.4.5/bin/zkServer.sh start Hadoop集群的正常部署并启动： /...
未分类
阿里云新机配置
重置密码：阿里云官网后台管理里面直接自助重置 查看centos版本为7.6 cat /etc/redhat-release 查看安装的软件： yum list installed 安装screen ...
未分类
Linux开机自启动
设置半天才想起来权限没加。。。。。 设置开机自启：vim /etc/rc.d/rc.local cd /opt/module/frp_0.34.0_linux_amd64 &&a...