错误：带有hadoop的spark提交中不存在路径

作者: 坚挺的阿袁
发布时间: 2024-04-18 07:24:50 (1天前)
转自：

2 条回复

0#
回复此人
明月清风上善若水自由如风 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 如果我没有错，那么Spark正在考虑将您的本地文件系统作为其默认文件系统，这就是您遇到此错误的原因。配置应该传递到Spark上下文中，您应该提到 <code> HADOOP_CONF_DIR </code> 在 <code> spark-env.sh </code> 文件在所有节点中。确保 <code> HADOOP_CONF_DIR </code> 在所有节点中指定 </p> <pre> <code> val spCont = <Spark Context> val config = spCont.hadoopConfiguration config.addResource(new Path(s"${HADOOP_HOME}<path to core-site.xml>")) </code> </pre> </DIV>

编辑

登录后才能参与评论