记一个Hive的Bug 未分类

记一个Hive的Bug

描述: 从mysql用sqoop导入hive数据没有丢失,但是两边执行了同样的查询建表语句后,hive数据新表数据丢失了100多条,用sqoop将mysql生成的新表导入查看发现没有丢失数据,难道是h...
阅读全文
NLP——Word2Vec 未分类

NLP——Word2Vec

看完了,感觉挺有意思,基本分析如下: 先读取,分词,去掉停用词,形成二维列表,交给Word2Vec去计算 最后调用相关函数,虽然不甚理想,但是比起之前的测试准确度提高到了70%左右 先上代码: #-*...
阅读全文
初步——PKUseg 未分类

初步——PKUseg

安装:pip install pkuseg 北大的分词工具。 (1)多领域分词。新闻、科研、网络、医药、旅游、金融、工业。 (2)跟高的分词准确率 (3)支持用户自训练模型。支持用户使用全新的标注数据...
阅读全文
NLP初步——SnowNLP 未分类

NLP初步——SnowNLP

pip install snownlp 个人感觉还是比较low的,可以仅作了解 (1)支持中文,受Textblob,没有用NLTK 特征、中文分词、词性标注、情感分析(买卖东西评价)、文本分类、拼音转...
阅读全文