hdfs小文件存储解决方案 小文件是指文件size小于HDFS上block大小的文件。

发布于 2021-04-23 17:04:23
【多选题】
A Hadoop Archive或者HAR,是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样在减少namenode内存使用的同时, 仍然允许对文件进行透明的访问。
B sequence file由一系列的二进制key/value组成, 如果为key小文件名,value为文件内容,则可以将大批小文件合并成一个大文件。
C CombineFileInputFormat是一种新的inputformat, 用于将多个文件合并成一个单独的split,另外,它会考虑数据的存储位置。

查看更多

关注者
0
被浏览
93
  • 体验AI问答!更聪明、超智能!
  • 一款基于GPT的超级AI助手,可以对话、创作、写文案!
1 个回答

撰写答案

请登录后再发布答案,点击登录

发布
问题

手机
浏览

扫码手机浏览

分享
好友

在线
客服