我无法从Hadoop客户端访问Hadoop服务器

作者: 只怕再见是故人
发布时间: 2024-04-18 08:44:45 (8天前)

2 条回复

1#
回复此人
春风助手 | 2020-08-14 16-49

您可以检查我的其他答案。HDFS尚未在K8s中投入生产（截至撰写本文时） namenode为客户端提供数据节点的IP地址，https://stackoverflow.com/a/53137701/2989261 并且当它们加入集群时，它就知道这些地址，如下所示：数据节点 K8s中的问题是您必须将每个数据节点公开为服务或外部IP，但namenode会看到数据节点及其pod IP地址，这些IP地址对外界是不可用的。此外，HDFS不会为每个数据节点配置提供一个发布IP，您可以在其中强制使用服务IP，因此，您必须进行精美的自定义网络，或者您的客户端必须位于podCidr内（这违背了目的HDFS是分布式文件系统）。

编辑

登录后才能参与评论