我们在纱线集群中运行时，哪里可以看到火花输出控制台

作者: CC-f
发布时间: 2024-04-18 05:35:01 (1天前)
转自：

5 条回复

0#
回复此人
夏花 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您需要在YARN中找到Spark驱动程序容器，或者从Spark UI中找到它。从那里，您可以转到Executors选项卡，您将看到 <code> stdout </code> 和 <code> stderr </code> 每个链接（加上，最终输出的驱动程序）。 </p> <P> 加班，YARN将逐出这些日志，这就是为什么你需要启用日志聚合并部署Spark History Server的原因。 </p> <HR /> <P> FWIW，Cloudera将在最近的公告中全面关注在Kubernetes上运行Spark。不确定YARN（或者带有Ceph或者HD的HDFS是这些部署的流行数据存储区）的说法 </p> </DIV>

编辑
1#
回复此人
生如夏花 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我遇到了同样的问题，最后能够在执行以下步骤后检查“Pi大约是3.14 ...”： </p> <P> 首先通过添加这些行来在每个节点中启用纱线日志聚合 <code> yarn-site.xml </code> </p> <pre> <code> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name> <value>3600</value> </property> </code> </pre> <P> 修改yarn-site.xml后，您可能需要重新启动yarn和dfs </p> <P> 然后通过命令行检查日志： </p> <pre> <code> yarn logs -applicationId <applicationID> </code> </pre> <P> <a href="https://i.stack.imgur.com/SkhxR.jpg" rel="nofollow noreferrer"> <img src =“https://i.stack.imgur.com/SkhxR.jpg”alt =“yarn logs -applicationId＆lt; applicationID>”/> </A> <a href="https://i.stack.imgur.com/14li8.jpg" rel="nofollow noreferrer"> <img src =“https://i.stack.imgur.com/14li8.jpg”alt =“Pi大致......”/> </A> </p> <P> 希望能帮助到你。 </p> </DIV>

编辑
2#
回复此人
部落用户 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您必须将控制台输出写入文件，这样做会将您正在执行的spark程序的输出写入文件中，您可以使用的<strong> 尾巴-f 100 </强> 在...上的<strong> consoleoutfile.txt </强> 下面提到看你的控制台输出。 </p> <pre> <code> ./submit_command > local_fs_path/consoleoutfile.txt 2>&1 </code> </pre> </DIV>

编辑
3#
回复此人
妖邪 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您可以使用资源管理器和应用程序ID使用相同的视图或者通过使用以下命令，您将获得应用程序的整个日志运用 <BR/> yarn logs -applicationId <EM> 申请ID </EM> </p> </DIV>

编辑

登录后才能参与评论