一家公司的报告系统每天将数百个 csv 文件发送到 Amazon S3 存储桶公司必须将这些文件转换为 Apache Parquet 格式,并且必须将文件存储在转换后的数据桶。哪种解决方案能够以最少的开发工作满足这些要求?

发布于 2021-04-24 01:49:54
【多选题】
A 创建一个安装了 Apache Spark 的 Amazon EMR 集群 编写一个 Spark 应用程序到转换数据 使用 EMR 文件系统 (EMRFS) 将文件写入转换后的数据桶
B 创建 AWS Glue 爬虫以发现数据 创建 AWS Glue 提取转换:和加载 (ETL) 作业以转换数据 在输出步骤中指定转换后的数据桶
C 使用 AWS Batch 创建具有 Bash 语法的作业定义,以转换数据并输出数据到转换后的数据桶使用作业定义提交作业 指定数组作业作为作业类型
D 创建一个 AWS Lambda 函数来转换数据并将数据输出到转换后的数据桶。为 S3 存储桶配置事件通知。将 Lambda 函数指定为事件通知的目的地。

查看更多

关注者
0
被浏览
133
  • 体验AI问答!更聪明、超智能!
  • 一款基于GPT的超级AI助手,可以对话、创作、写文案!
1 个回答

撰写答案

请登录后再发布答案,点击登录

发布
问题

手机
浏览

扫码手机浏览

分享
好友

在线
客服