架构图： 1） zookeeper 正常安装并启动2） 修改 spark-env.sh 文件添加如下配置：vi spark-env.sh注释掉如下内容：#SPARK_MASTER_HOST=bigda...
大数据
大数据
大数据
spark JobHistoryServer 配置
修改 spark-default.conf.template 名称 mv spark-defaults.conf.template spark-defaults.conf 修改 spark-defau...
大数据
Maven配置流程兼hadoop本地配置和lomkok
项目文件夹迁移需要删除IDEA文件夹 解压 环境变量 解压maven 配置地址 配置镜像 在path中添加变量 <dependencies> <depend...
大数据
spark分布式搭建
standalone模式： 分别修改conf下的slaves和spark-env.sh文件 然后启动sbin/start-all.sh，即可使用jps看到相关的进程 同时可...
大数据
spark基础
懒人版（基础）： 下载，解压，粘贴以下代码即可运行成功（example里面的文件） bin/spark-submit \ --class org.apache.spark.examples.Spark...
折腾
网站访问速度慢debug方法
打开chrome network一看加载30多秒，仔细查某个谷歌统计链接无法访问延时27秒，拖累代码高亮css延迟显示。 查看console无其它异常 搜索网页源代码，定位下载失败谷歌统计链接 在后台...
py工具
python定时运行闹钟
一个小坑：处理时间判断的时候简单使用大于等于判断容易出现循环多次运行或者错过运行条件。因此引入flage #-*- coding:utf-8 -*- # projectname：编程 #...
未分类
python装饰器
class Rectangle: def __init__(self, length, width): self.length = length self.width = width def area...
未分类
python 单例模式
def singleton(cls, *args, **kwargs): instances = {} def _singleton(): if cls not in instances: insta...
未分类
pandas 其他操作
分组 df.goupby('col') 返回一个迭代,内涵数组(数组) list(data.groupby('code')) # df值 list(data.groupby('code')) # c...