ORC、Parquet等列式存储的优点 优点:ORC和Parquet都是高性能的存储方式,这两种存储格式总会带来存储和性能上的提升。 区别:

发布于 2021-04-23 17:04:44
【多选题】
A Parquet 1》Parquet支持嵌套的数据模型,类似于Protocol Buffers,每一个数据模型的schema包含多个字段,每一个字段有三个属性:重复次数、数据类型和字段名。 2》Parquet中没有Map、Array这样的复杂数据结构,但是可以通过repeated和group组合来实现的 3》Parquet支持的数据模型比较松散,可能一条记录中存在比较深的嵌套关系,如果为每一条记录都维护一个类似的树状结可能会占用较大的存储空间,实现了高效的对于嵌套数据格式的压缩算法Striping/Assembly算法 4》Parquet文件是以二进制方式存储的,是不可以直接读取和修改的,Parquet文件是自解析的,文件中包括该文件的数据和元数据。
B ORC 1》ORC文件是自描述的,它的元数据使用Protocol Buffers序列化,并且文件中的数据尽可能的压缩以降低存储空间的消耗。 2》和Parquet类似,ORC文件也是以二进制方式存储的,所以是不可以直接读取,ORC文件也是自解析的,它包含许多的元数据,这些元数据都是同构ProtoBuffer进行序列化的。 3》ORC会尽可能合并多个离散的区间尽可能的减少I/O次数。 4》ORC中使用了更加精确的索引信息,使得在读取数据时可以指定从任意一行开始读取,更细粒度的统计信息使得读取ORC文件跳过整个row group,ORC默认会对任何一块数据和索引信息使用ZLIB压缩,因此ORC文件占用的存储空间也更小。 5》在新版本的ORC中也加入了对Bloom Filter的支持。

查看更多

关注者
0
被浏览
157
  • 体验AI问答!更聪明、超智能!
  • 一款基于GPT的超级AI助手,可以对话、创作、写文案!
1 个回答

撰写答案

请登录后再发布答案,点击登录

发布
问题

手机
浏览

扫码手机浏览

分享
好友

在线
客服