未分类 Hive 分区表和内外表 外部表 1)理论 因为表是外部表,所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据,不过描述表的元数据信息会被删除掉。 2)管理表和外部表的使用场景: 每天将收集到的网站日志定期流... 03月05日 745 views 发表评论 阅读全文
未分类 Hive数据库相关操作 4.1 创建数据库 1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database d... 03月05日 1,583 views 发表评论 阅读全文
未分类 Hive数据类型 3.1 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4b... 03月05日 862 views 发表评论 阅读全文
未分类 Hive安装部署和相关操作 Hive安装环境准备 2.1 Hive安装地址 1)Hive官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confl... 03月04日 592 views 发表评论 阅读全文
未分类 Linux mysql5.5 安装 MySQL安装配置 官网下载地址 https://dev.mysql.com/downloads/file/?id=471503 mysql-5.7.19-1.el7.x86_64.rp... 03月04日 661 views 发表评论 阅读全文
未分类 Flume各种拦截器(二)——正则和自定义拦截器 查询替换拦截器 search.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 source a1.sour... 03月02日 835 views 发表评论 阅读全文
未分类 Flume各种拦截器(一) 时间戳拦截器 Timestamp.conf #1.定义agent名, source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks ... 03月02日 687 views 发表评论 阅读全文
未分类 多Flume传输到单Flume 目标:flume11监控文件hive.log,flume-22监控某一个端口的数据流,flume11与flume-22将数据发送给flume-33,flume33将最终数据写入到HDFS。 分步实现:... 03月02日 1,995 views 发表评论 阅读全文
未分类 Flume N对N设置 目标:使用flume1监控文件变动,flume1将变动内容传递给flume-2,flume-2负责存储到HDFS。同时flume1将变动内容传递给flume-3,flume-3负责输出到local 分... 03月02日 755 views 发表评论 阅读全文
未分类 Flume(二) 监控文件夹: 尖叫提示: 在使用Spooling Directory Source时 1) 不要在监控目录中创建并持续修改文件 2) 上传完成的文件会以.COMPLETED结尾 3) 被监控文件夹每5... 02月28日 4,044 views 发表评论 阅读全文