配置：解压，配置文件： 配置文件：conf/spark-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 export SPARK_MASTER_HOS...
未分类
未分类
未分类
spark wordcount 初步
package wordcount import org.apache.spark.{SparkConf, SparkContext} object wordCountScala extends Ap...
未分类
scala 循环
object test1 { def main(args: Array): Unit = { val s1 = List("DDD","99990","...
未分类
编程键位映射表
主要使用Mapkeyboard软件 Caps ==>LCtrl 常用，防止小拇指疼 RAlt ==> Esc Vim 用 Rwin ==> RCtrl Vim 用 RCtrl ==> Caps 临时用...
未分类
清空AppData文件夹方法
最近固态C盘越来越慢，初步判断可能因为读写过多导致尾部块变慢，删除平时的大软件后速度果然提高到了和两年前一样（后测低于8G便减速80%） 虽然这个文件夹里面大多数文件比较重要（删除会导致软件丢失配置甚...
未分类
Sqoop入门
Sqoop原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Sqoop安装 安装Sqoop的...
折腾
贼好的win10备用内存清理工具
找了一两年，终于找到一个可以自动清理的了 win10备用内存自动清理工具Intelligent standby list cleaner 1.0.2.4绿色版 下载地址：http://wei2008....
未分类
Hive导入导出 增删改查 + 函数
5.1 数据导入 5.1.1 向表中装载数据（Load） 1）语法 hive>load data inpath '/opt/module/datas/student.txt' into tabl...
未分类
Hive 分区表和内外表
外部表 1）理论 因为表是外部表，所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。 2）管理表和外部表的使用场景： 每天将收集到的网站日志定期流...
未分类
Hive数据库相关操作
4.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database d...