查询替换拦截器 search.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 source a1.sour...
未分类
未分类
未分类
Flume各种拦截器（一）
时间戳拦截器 Timestamp.conf #1.定义agent名， source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks ...
未分类
多Flume传输到单Flume
目标：flume11监控文件hive.log，flume-22监控某一个端口的数据流，flume11与flume-22将数据发送给flume-33，flume33将最终数据写入到HDFS。 分步实现：...
未分类
Flume N对N设置
目标：使用flume1监控文件变动，flume1将变动内容传递给flume-2，flume-2负责存储到HDFS。同时flume1将变动内容传递给flume-3，flume-3负责输出到local 分...
未分类
Flume（二）
监控文件夹： 尖叫提示： 在使用Spooling Directory Source时 1) 不要在监控目录中创建并持续修改文件 2) 上传完成的文件会以.COMPLETED结尾 3) 被监控文件夹每5...
未分类
Flume搭建和简介（一）
配置： 上传，解压 进入conf 在flume.env.sh下面引入JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 conf文件夹同级创建一个j...
未分类
Zookeeper+Yarn高可用(自动切换)
yarn-site.xml同步更新其他节点的配置信息（configure整个复制粘贴，可对比查看前后） <configuration> <property> &l...
未分类
Zookeeper+Hadoop高可用(自动切换)
在所有机器hdfs-site.xml中增加 <property> <name>dfs.ha.automatic-failover.enabled</name...
未分类
hadoop完全分布式搭建（重新整理）
完全分布式搭建 在前面单机版搭建成功的基础上： 修改网卡地址并重启网卡： 重启网卡 service newtork restart 设置主机名： hostnamectl set-host...
未分类
Zookeeper+Hadoop高可用(手动切换)
创建一个HAtest文件，可以循环创建 mkdir -vp /opt/module/HA 复制或者解压一个过去（此处是从前面分布式直接复制）：cp -r hadoop2.8.4 HA 配置java环...