记一个Hive的Bug

2022年8月27日20:09:36 发表评论 533 views

描述:

从mysql用sqoop导入hive数据没有丢失,但是两边执行了同样的查询建表语句后,hive数据新表数据丢失了100多条,用sqoop将mysql生成的新表导入查看发现没有丢失数据,难道是hive过程的mr丢失了数据?

记一个Hive的Bug

再记一个更大的问题:

同样是对tb00005 表统计总数:

select * from tb00005 ORDER BY total desc LIMIT 500;

来自MySQL的结果:

记一个Hive的Bug

来自hive MR后的结果:

记一个Hive的Bug

来自sqoop导入MySQL 的 tb00005 的表的结果:

记一个Hive的Bug

感觉有点严重

 

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: