描述： 从mysql用sqoop导入hive数据没有丢失，但是两边执行了同样的查询建表语句后，hive数据新表数据丢失了100多条，用sqoop将mysql生成的新表导入查看发现没有丢失数据，难道是h...
未分类
未分类
未分类
瞎折腾系列之mysql MR导致C盘空间不足
之前用distinct导致C盘爆满，现在随着使用量增长，C盘尾部写入特别慢，忍无可忍开始换位置： 解决方案： 重启服务，完事
未分类
认知复盘
网上看了一个，感觉挺不错的，有种19年看的《知乎20个回答...》那种感觉，趁有感觉拿出来注释一下： 源标题：20条社会真相，每一条都是教训，千万不要大意 1、有两种人最不受人待见：一种是狂妄自大，一...
未分类
编程之没事找事大全
今天有人问如何不断精进，如何完善自己的技术栈，或者升级到独当一面的能力？于是回忆了一下之前写的一个技术升级明细（没公布，会暴露弱点），都记录了一些想要实现的功能或者想要测试的性能升级方案甚至是一些大学...
未分类
快速阅读强制翻页工具（备份）
19-20年开发的，对阅读速度提升挺大的，也便于快速提高认知水平，版本太多就把这个能用的备份出来。 import pyautogui as at import keyboard impo...
未分类
高级sql记录：
package day0108 import java.text.SimpleDateFormat import org.apache.log4j.{Level, Logger} import org...
未分类
spark IDEA代码初步
IDEA通过DS+Row查询数据 package day0106 import java.util.Properties import org.apache.spark.sql.{Row, Spark...
未分类
spark表缓存
实测可以从1s降低到76ms scala> val df1 = spark.read.json("/testdata/emp.json") //需要上传到hdfs df1: org.apache...
未分类
spark-SQL连接Hive
server端（biddata166主机hive/conf目录下hive-site.xml）： <configuration> <property> <name>h...
未分类
scala 日志统计代码 自定义分区 数据库连接
package customPartition0103 package customPartition0103 import org.apache.spark.rdd.RDD impor...