分析发现有如下不同点: https://webcache.googleusercontent.com/search?q=cache:NoKfKAVEghkJ:https://www.nowcoder....
记一个Hive的Bug
描述: 从mysql用sqoop导入hive数据没有丢失,但是两边执行了同样的查询建表语句后,hive数据新表数据丢失了100多条,用sqoop将mysql生成的新表导入查看发现没有丢失数据,难道是h...
瞎折腾系列之mysql MR导致C盘空间不足
之前用distinct导致C盘爆满,现在随着使用量增长,C盘尾部写入特别慢,忍无可忍开始换位置: 解决方案: 重启服务,完事
认知复盘
网上看了一个,感觉挺不错的,有种19年看的《知乎20个回答...》那种感觉,趁有感觉拿出来注释一下: 源标题:20条社会真相,每一条都是教训,千万不要大意 1、有两种人最不受人待见:一种是狂妄自大,一...
编程之没事找事大全
今天有人问如何不断精进,如何完善自己的技术栈,或者升级到独当一面的能力?于是回忆了一下之前写的一个技术升级明细(没公布,会暴露弱点),都记录了一些想要实现的功能或者想要测试的性能升级方案甚至是一些大学...
快速阅读强制翻页工具(备份)
19-20年开发的,对阅读速度提升挺大的,也便于快速提高认知水平,版本太多就把这个能用的备份出来。 import pyautogui as at import keyboard impo...
高级sql记录:
package day0108 import java.text.SimpleDateFormat import org.apache.log4j.{Level, Logger} import org...
spark IDEA代码初步
IDEA通过DS+Row查询数据 package day0106 import java.util.Properties import org.apache.spark.sql.{Row, Spark...
spark表缓存
实测可以从1s降低到76ms scala> val df1 = spark.read.json("/testdata/emp.json") //需要上传到hdfs df1: org.apache...
spark-SQL连接Hive
server端(biddata166主机hive/conf目录下hive-site.xml): <configuration> <property> <name>h...