大家好,我正在尝试使用tshark捕获网络流量,我正在使用apache flume将这些结果发送到火花。
问题是当我在flume的配置水槽中使用exec源时……
你的执行命令是
flume-ng agent -f conf/flume-conf.properties -n agent
我在这看到两个错误。首先,您必须使用指定配置目录 -c conf 通常水槽配置文件命名为 some-config.conf
-c conf
some-config.conf
控制台上的警告是 No configuration directory set! Use --conf ,-c和--conf是一回事。
No configuration directory set! Use --conf
您可能想要重命名配置文件 flume-conf.properties 至 的 flume.conf 强>
作为解决方案,您可以尝试以下命令:
flume-ng agent -c conf -f conf/flume.conf -n agent
如果要在执行后显示日志,请使用此命令
flume-ng agent -c conf -f conf/flume.conf -n agent -Dflume.root.logger=INFO,console
要显示日志,log4j.properties必须位于conf目录中 的 的conf / log4j.properties 强> 。
我的房产如下:
flume.root.logger=INFO,LOGFILE flume.log.dir=./logs flume.log.file=flume.log log4j.logger.org.apache.flume.lifecycle = INFO log4j.logger.org.jboss = WARN log4j.logger.org.mortbay = INFO log4j.logger.org.apache.avro.ipc.NettyTransceiver = WARN log4j.logger.org.apache.hadoop = INFO log4j.logger.org.apache.hadoop.hive = ERROR # Define the root logger to the system property "flume.root.logger". log4j.rootLogger=${flume.root.logger} log4j.appender.LOGFILE=org.apache.log4j.RollingFileAppender log4j.appender.LOGFILE.MaxFileSize=100MB log4j.appender.LOGFILE.MaxBackupIndex=10 log4j.appender.LOGFILE.File=${flume.log.dir}/${flume.log.file} log4j.appender.LOGFILE.layout=org.apache.log4j.PatternLayout log4j.appender.LOGFILE.layout.ConversionPattern=%d{dd MMM yyyy HH:mm:ss,SSS} %-5p [%t] (%C.%M:%L) %x - %m%n log4j.appender.DAILY=org.apache.log4j.rolling.RollingFileAppender log4j.appender.DAILY.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy log4j.appender.DAILY.rollingPolicy.ActiveFileName=${flume.log.dir}/${flume.log.file} log4j.appender.DAILY.rollingPolicy.FileNamePattern=${flume.log.dir}/${flume.log.file}.%d{yyyy-MM-dd} log4j.appender.DAILY.layout=org.apache.log4j.PatternLayout log4j.appender.DAILY.layout.ConversionPattern=%d{dd MMM yyyy HH:mm:ss,SSS} %-5p [%t] (%C.%M:%L) %x - %m%n log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d (%t) [%p - %l] %m%n