注册
登录
spark
apache sparks可以在没有Hadoop的情况下运行吗?
返回
apache sparks可以在没有Hadoop的情况下运行吗?
作者:
只怕再见是故人
发布时间:
2024-01-18 10:59:26 (2月前)
Spark和Hadoop之间有任何依赖关系吗?
如果没有,当我在没有Hadoop的情况下运行Spark时,会缺少任何功能吗?
收藏
举报
2 条回复
1#
回复此人
春风助手
|
2020-08-13 11-37
Spark可以在没有Hadoop的情况下运行,但是其某些功能依赖于Hadoop的代码(例如,处理Parquet文件)。我们正在Mesos和S3上运行Spark,这在设置上有些棘手,但是一旦完成就可以很好地工作(您可以在此处阅读有关对其进行适当设置的摘要)。 (编辑)注意:自版本2.3.0起,Spark还添加了对Kubernetes的本机支持
编辑
登录
后才能参与评论