ytblog | 技术博客

技术文章、实现记录与项目复盘。

栏目

按年份

第 10 篇

2026-05-172 min read

离线数仓通常用 Spark 执行 ETL，用 Hive Metastore 管理元数据，用 Iceberg 等表格式支持快照、Schema 演进和多引擎访问。

第 11 篇

2026-05-172 min read

Trino 和 Presto 面向交互式 SQL 查询，通过 MPP 架构和 Connector 机制查询 Hive、Iceberg、MySQL、Kafka 等多种数据源。

第 12 篇

2026-05-173 min read

流批一体试图用统一 API 和执行模型处理有界与无界数据，但工程上仍要面对延迟、状态、成本和口径一致性。

第 13 篇

2026-05-173 min read

数据倾斜会让少数 Task 成为瓶颈，常见治理方式包括热 key 识别、加盐、两阶段聚合、广播 Join 和动态拆分。

第 14 篇

2026-05-172 min read

计算引擎性能优化要围绕资源配置、并行度、Shuffle、状态大小、GC、反压和 Checkpoint 成本展开。

第 15 篇

2026-05-173 min read

计算任务稳定性治理要关注作业失败、延迟、反压、Checkpoint、数据倾斜、资源利用率和 SLA 告警。