kafka实时流处理 大家都用storm做什么业务?

大家都用storm做什么业务?Apache storm主要用于实时数据流处理或实时计算服务,如1。用户行为日志具有准事实查询的需求。使用flume将日志文件发送到Kafka后,可以使用storm进行实

大家都用storm做什么业务?

Apache storm主要用于实时数据流处理或实时计算服务,如

1。用户行为日志具有准事实查询的需求。使用flume将日志文件发送到Kafka后,可以使用storm进行实时消费,从日志中解析出所需字段信息,并根据hive表定义的结构实时写入HDFS,从而可以实时查询hive表。

2. 实时计算,如信息流的实时推荐,当用户刷新时,可以向Kafka发送请求消息,用storm对这些请求进行处理,将用户的个性化结果汇总存储在redis中,供用户下次显示。

3. storm还可以实现一些实时统计功能。