spark广播变量原理 spark怎么处理kafka中的json的数据?

spark怎么处理kafka中的json的数据?构造函数是KafkaUtils.createDstream创建(SSC,[ZK],[consumer group ID],[per topic,part

spark怎么处理kafka中的json的数据?

构造函数是KafkaUtils.createDstream创建(SSC,[ZK],[consumer group ID],[per topic,partitions])使用Kafka高级使用者API使用接收器接收数据。对于所有接收器,接收到的数据将保存在spark executors中,然后通过spark Streaming启动作业来处理数据,默认情况下这些数据将丢失。它可以启用存储在HDFS上的wal日志