Kafka + Flink 实时数据链路设计
Kafka + Flink 是实时数据链路里的经典组合,Kafka 负责承接数据流,Flink 负责清洗、窗口计算和状态处理。
栏目
按年份
Kafka + Flink 是实时数据链路里的经典组合,Kafka 负责承接数据流,Flink 负责清洗、窗口计算和状态处理。
Outbox Pattern 用一张本地消息表把业务状态变更和待发送事件放进同一个数据库事务,再异步投递到消息队列。
重复消息是消息系统里的常态,消费者必须通过业务唯一键、去重表、状态机和条件更新保证幂等。
消费失败不是异常边角,而是消息系统的常态。重试、死信、告警和补偿决定了失败消息能不能被闭环处理。
消息队列的稳定性要靠监控消费堆积、生产速率、消费速率、Broker 磁盘、分区热点和失败消息。
事件驱动架构用领域事件连接服务,降低同步耦合,但也带来了事件版本、最终一致、可观测性和治理问题。