未分类 编程之没事找事大全 今天有人问如何不断精进,如何完善自己的技术栈,或者升级到独当一面的能力?于是回忆了一下之前写的一个技术升级明细(没公布,会暴露弱点),都记录了一些想要实现的功能或者想要测试的性能升级方案甚至是一些大学... 07月26日 546 views 发表评论 阅读全文
未分类 快速阅读强制翻页工具(备份) 19-20年开发的,对阅读速度提升挺大的,也便于快速提高认知水平,版本太多就把这个能用的备份出来。 import pyautogui as at import keyboard impo... 07月14日 1,211 views 发表评论 阅读全文
未分类 高级sql记录: package day0108 import java.text.SimpleDateFormat import org.apache.log4j.{Level, Logger} import org... 06月19日 2,963 views 发表评论 阅读全文
未分类 spark IDEA代码初步 IDEA通过DS+Row查询数据 package day0106 import java.util.Properties import org.apache.spark.sql.{Row, Spark... 06月19日 3,169 views 发表评论 阅读全文
未分类 spark表缓存 实测可以从1s降低到76ms scala> val df1 = spark.read.json("/testdata/emp.json") //需要上传到hdfs df1: org.apache... 06月19日 417 views 发表评论 阅读全文
未分类 spark-SQL连接Hive server端(biddata166主机hive/conf目录下hive-site.xml): <configuration> <property> <name>h... 06月19日 2,839 views 发表评论 阅读全文
未分类 scala 日志统计代码 自定义分区 数据库连接 package customPartition0103 package customPartition0103 import org.apache.spark.rdd.RDD impor... 06月16日 820 views 发表评论 阅读全文
大数据 spark cache checkpoints mapPartitionsWithIndex aggregate scala> var rdd1 = sc.textFile("hdfs://bigdata111:9000/spark/test_Cache.txt&quo... 06月15日 2,460 views 发表评论 阅读全文