kafka如何做延迟队列 日志采集系统flume和kafka有什么区别及联系?
日志采集系统flume和kafka有什么区别及联系?flume和Kafka的一些功能是相同的,但总的来说,它们是完全不同的;它们的场景是不同的,但它们可以一起使用。简而言之,flume是一个分布式日志
日志采集系统flume和kafka有什么区别及联系?
flume和Kafka的一些功能是相同的,但总的来说,它们是完全不同的;它们的场景是不同的,但它们可以一起使用。
简而言之,flume是一个分布式日志收集系统,它从各种服务器收集日志并将其传输到指定的位置,如HDFS。
Kafka是一个分布式消息中间件,有自己的存储,提供推拉数据访问功能。
整个过程如下:
登录服务器<--flume-->kafka-->hdfs-->离线计算
登录服务器<--flume-->kafka-->storm
希望我的回答能对您有所帮助
如何设计一个MQ消息队列?
1. 在上图中定义消息发送和消耗的过程
2。为消息定义消息协议,如ActiveMQ、stomp、XMPP等。定义消息协议,定义消息队列需要满足的场景
是否要保证消息的可靠性,必要时要保证存储的高可用性
是否支持同步和异步消息
是否要保证消息的顺序
是否需要延迟消息要支持
很多开源的实现功能可以参考详细信息。例如,rocketmq是高度可靠的,Kafka是高吞吐量的,但不是高度可靠的。