2016 - 2024

感恩一路有你

hive的优缺点有哪些 orc表优缺点?

浏览量:3025 时间:2023-05-27 18:45:49 作者:采采

orc表优缺点?

除了再配置MapReduce压缩后功能外,Hive的ORC表和Parquet表然后支持什么表的压解属性。

但接受的装换格式太远,ORC表允许None、Zlib、Snappy装换,默认为ZLIB压缩后。但这3种压解格式不支持区域分割,因此比较适合单个文件不是特别大的场景。在用Zlib压解率高,但效率差一些;建议使用Snappy效率高,但装换率低。

Parquet表接受Uncompress、Snappy、Gzip、Lzo装换,设置为不装换Uncompressed。其中Lzo压缩是支持分割处理的,所以在表的单个文件会增大的场景会选择类型Lzo格式。Gzip压缩后率高,效率低;而Snappy、Lzo效率高,高压缩率低。

什么是词根标准化hive?

hive是实现Hadoop的一个数据仓库工具,是可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务并且运行。

其优点是自学成本低,可以类SQL语句快速实现程序简单MapReduce统计,没有必要变更土地性质拿来的MapReduce应用,相当更适合数据仓库的统计分析。

不会Python只会Bi工具,可以从事数据分析师吗?

题主好像沉浸了一个死区,Python和BI工具都都能够做数据分析,但是各有优缺点,那我想知道为什么不两个相互生克制化出声用呢?

.例如,我现在你经常用Python在网上爬数据,接着用FineBI通过分析什么,总是还用Python优化一下FineBI,特点两个工具的优点从底层做起事来极其效率。

不过,Python这种伪代码性质的语言初学者并不算难,可是探索出来就又不是什么简单事情了,而且Python语言不能不能加密,但目前国内市场完全是靠c语言程序软件卖给别人客户的越来越少,网站和移动应用不不需要给客户源代码,因为这个问题就是问题了

BI工具的话,简单点上手容易、灵活快键,尤其是题主所说的FineBI、pentaho等自助餐化工具,傻瓜式操作很比较适合现在的数据分析小白何练起,就算是是手中掌握了R这种编程语言,也很适合我拿来做分析工具

我的很同意下来上面两名答主的话,工具没有好坏优劣之分,只是相对而言这个工具比较适合什么样的人、干什么样的事情,想在数据分析这一行做到是有高度,FineBI这种BI工具和Python这种编程语言那绝对是是要两者兼得的。

工具 Python 效率 Snappy

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。