Skip to main content
 首页 » 编程设计

python之在 Hadoop Streaming 作业中写入 Parquet 输出

2025年04月02日23小虾米

有没有一种方法可以使用 python 将文本数据写入带有 hadoop-streaming 的 parquet 文件。

基本上,我有一个字符串从我的 IdentityMapper 发出,我想将其存储为 Parquet 文件。

输入或示例将非常有帮助

请您参考如下方法:

我怀疑没有使用内置 Hadoop Streaming 来执行此操作的内置方法(我找不到),但是,根据您的数据集,您可以使用第 3 方包作为

https://github.com/whale2/iow-hadoop-streaming

要从 JSON 生成 Parquet,您的流式代码会输出 json 并与 AVRO 架构一起,您可以使用 ParquetAsJsonOutputFormat 编写 Parquet。

请注意,在这个阶段,上面的包有一些限制(比如只能使用原始类型等)。

根据您的数据的性质,您也可以使用 Kite SDK 来进行简要说明:

https://dwbigdata.wordpress.com/2016/01/31/json-to-parquet-conversion/

这里:

https://community.cloudera.com/t5/Kite-SDK-includes-Morphlines/JSON-to-Parquet/td-p/20630

干杯