Flink 篇:为什么 Flink 适合实时流处理
Flink 是以流为核心的分布式计算引擎,擅长低延迟、有状态、事件时间语义和 Exactly Once 状态一致性。
栏目
按年份
Flink 是以流为核心的分布式计算引擎,擅长低延迟、有状态、事件时间语义和 Exactly Once 状态一致性。
Flink 的可靠性建立在状态快照之上,Checkpoint 用于故障恢复,Savepoint 用于升级、迁移和人工控制。
实时计算不能只按处理时间看数据,Event Time、Watermark、窗口和迟到数据策略共同决定指标是否可信。
Spark 和 Flink 都是优秀的分布式计算引擎,选型关键在批处理、实时性、状态规模、团队经验和生态成本。
实时指标链路通常由 Kafka 承接事件,Flink 清洗和聚合,OLAP 数据库承接明细与指标查询。
离线数仓通常用 Spark 执行 ETL,用 Hive Metastore 管理元数据,用 Iceberg 等表格式支持快照、Schema 演进和多引擎访问。
Trino 和 Presto 面向交互式 SQL 查询,通过 MPP 架构和 Connector 机制查询 Hive、Iceberg、MySQL、Kafka 等多种数据源。
流批一体试图用统一 API 和执行模型处理有界与无界数据,但工程上仍要面对延迟、状态、成本和口径一致性。
数据倾斜会让少数 Task 成为瓶颈,常见治理方式包括热 key 识别、加盐、两阶段聚合、广播 Join 和动态拆分。