Skip to main content
 首页 » 编程设计

python之Scala "case map"在 python 中等效

2024年10月25日32exmyth

如何在 pyspark 中编写以下 scala 代码?

rdd1.join(rdd2.map {case ((t, w), u) => (t, (w, u))}).map {case (t, (v, (w, u))) => ((t, w), (u, v))}.collect() 

请您参考如下方法:

您可以为此使用 lambda 函数:

rdd1 = sc.parallelize(range(1,10)).map(lambda x: (x, x+1)) 
rdd2 = sc.parallelize(range(1,10)).map(lambda x: ((x, x*2), x*3))) 
rdd1.join(rdd2.map(lambda ((t, w), u): (t, (w, u)))).map(lambda (t, (v, (w, u))): ((t, w), (u, v))).collect()