将foreach [unit]的输出保存为HDFS作为文本文件：Scala Spark

作者: 仙风道骨刘憨
发布时间: 2024-04-18 01:45:04 (5天前)
转自：

3 条回复

0#
回复此人
敢嫁就敢娶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 如果可以，重新实施 <code> printRefList() </code> 如 <code> returnRefList() </code> 相反，它返回 <code> String </code> 而不是打印它。然后它只是一个问题： </p> <pre> <code> fileData.map(returnRefList(extractPdfContent(_), 0)).saveAsTextFile() </code> </pre> <P> 或者那种效果。 </p> <P> 如前所述，打电话 <code> .collect() </code> 将整个洗牌 <code> RDD </code> 进入记忆中 <code> Array </code> 在您的驱动程序上，消除了为并行优化运行spark的好处。既然你要保存到 <code> HDFS </code> ，没有必要永远 <code> collect() </code> 。 </p> </DIV>

编辑
1#
回复此人
無口君 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 假如说 <code> printReflist </code> （）不返回单位本身。 </p> <P> <code> foreach </code> 不返回任何结果，你应该使用 <code> map </code> 代替 </p> <pre> <code> val result = fileData.collect().map(extractPdfContent).map(x=>printReflist(x,0)); result.saveAsTextFile.... </code> </pre> <P> 如果确实 <code> printRefList </code> （）正在回归 <code> Unit </code> ，那么你应该把你的过程分成两部分： </p> <P> <code> foreach </code> 不返回任何结果，你应该使用 <code> map </code> 代替 </p> <pre> <code> val result = ileData.collect().map(extractPdfContent) //print result.foreach(x=>printReflist(x,0)); //save to Text result.saveAsTextFile.... </code> </pre> </DIV>

编辑

登录后才能参与评论