项目文件夹迁移需要删除IDEA文件夹 解压 环境变量 解压maven 配置地址 配置镜像 在path中添加变量 <dependencies> <depend...
大数据
大数据
大数据
spark分布式搭建
standalone模式： 分别修改conf下的slaves和spark-env.sh文件 然后启动sbin/start-all.sh，即可使用jps看到相关的进程 同时可...
大数据
spark基础
懒人版（基础）： 下载，解压，粘贴以下代码即可运行成功（example里面的文件） bin/spark-submit \ --class org.apache.spark.examples.Spark...
折腾
网站访问速度慢debug方法
打开chrome network一看加载30多秒，仔细查某个谷歌统计链接无法访问延时27秒，拖累代码高亮css延迟显示。 查看console无其它异常 搜索网页源代码，定位下载失败谷歌统计链接 在后台...
py工具
python定时运行闹钟
一个小坑：处理时间判断的时候简单使用大于等于判断容易出现循环多次运行或者错过运行条件。因此引入flage #-*- coding:utf-8 -*- # projectname：编程 #...
未分类
python装饰器
class Rectangle: def __init__(self, length, width): self.length = length self.width = width def area...
未分类
python 单例模式
def singleton(cls, *args, **kwargs): instances = {} def _singleton(): if cls not in instances: insta...
未分类
pandas 其他操作
分组 df.goupby('col') 返回一个迭代,内涵数组(数组) list(data.groupby('code')) # df值 list(data.groupby('code')) # c...
未分类
pandas Datafram按行过滤
import pandas as pd df = pd.Datafram() iterrows,返回行索引和series iteritems，返回列名，列 itertuples，返回元组，print(...
未分类
python操作ssh
多用于实现文件同步 import paramiko transport = paramiko.Transport(("104.243.28.111", 22)) # ...