Spark Streaming + Kafka Integration 0.8.2.1

作者: 句号了哦哦
发布时间: 2024-05-12 05:20:49 (14小时前)
转自：

2 条回复

0#
回复此人
哈哈 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 这是Scala或Spark的版本问题。确保您首先使用Scala <code> 2.11 </code> </p> <P> 如果您正在使用Kafka 0.10或更高版本（如果您最近设置了Kafka，并且仅在本地运行它，那么您很可能会这样做），那么您不应该使用 <code> kafka-0-8 </code> 包。 </p> <P> 不要混在一起 <code> spark-streaming-kafka-0-8 </code> 同 <code> spark-streaming-kafka-0-10 </code> </p> <P> 所以，如果你想使用 <code> 0-10 </code> ， <a href="https://stackoverflow.com/questions/54153116/why-does-sbt-fail-to-find-kafkautils"> 如前所述 </A> ，包需要 <code> org.apache.spark.streaming.kafka010 </code> 不是 <code> org.apache.spark.streaming.kafka </code> </p> <P> 另外，请注意 <code> 0-8 </code> 确实使用Zookeeper（ <code> localhost:2181 </code> ，例如），和 <code> 0-10 </code> 才不是。 </p> </DIV>

编辑

登录后才能参与评论