Apache Kafka 是 Apache 基金会旗下的分布式事件流平台,核心模型是发布订阅:生产者把消息写入主题,消费者按自己的节奏拉取,消息以追加日志的形式持久化在磁盘上,可以按保留策略重放。
它把每个主题切成多个分区,分区内有序、分区间并行,配合副本机制在节点故障时自动切换;Kafka Connect 负责与数据库、搜索、数据仓库之间搬运数据,Kafka Streams 则让开发者用普通应用代码完成窗口聚合、连接与状态计算,不必再单独搭一套计算集群。
适合做实时数据管道、用户行为埋点、日志汇聚和微服务异步通信的团队,也常见于需要削峰填谷的交易系统。上手前要理解分区数、副本因子和消费组的关系,否则容易出现消费堆积或重复消费。
与 RabbitMQ 这类传统消息中间件相比,Kafka 更偏重吞吐和可回溯的日志语义,单条消息的灵活路由能力相对弱;与 Pulsar 相比生态更成熟、运维资料更多。小规模业务若只是简单队列,未必需要引入,评估时先看数据量和实时性要求。
407106872@qq.com
Copyright © 2026 Torv.cn All Rights Reserved.