本文共 843 字，大约阅读时间需要 2 分钟。

谈笑间学会数仓—维度层设计④

极限存储

历史拉链存储是处理缓慢变化维度的一种方式。通过新增start_dt和end_dt两个时间戳字段，将变更数据按时间戳存储。这种方式通常用于处理时间.grain为天的维度。

示例分析： 以商品维度为例，假设卖家A于2020-1-1发布商品B和C，并于2020-1-2下架B并发布D。采用全量存储，1月1日分区存储t1和t2，1月2日分区存储更新后的t1及t2和t3。

采用历史拉链存储后，不变数据不重复存储。下游应用可通过限制start_dt和end_dt范围获取历史数据。

实例操作：

• 1月1日数据：start_dt <= '20200101'且end_dt > '20200101'
• 1月2日及以后：前端应用自动处理

优缺点分析：

• 优势：
  • 透明化处理，便于下游用户理解
  • 适合变化频率低的维度
• 缺陷：
  • 数据分区膨胀带来性能负担
  • 解释成本高，对非技术用户不友好

极限存储解决方案

为应对上述问题，采用极限存储方案：

透明化处理：

• 基于历史拉链存储，应用视图或Hive hook技术转换查询语句。用户面临全量存储表和极限存储表一致。

分区优化：

• 分区开启月初重新生成整体历史数据，最大分区数约为5232，显著减少存储成本。

存储优化策略：

微型维度设计

维度过度增长会影响极限存储效果。解决方案：

垂直拆分技术：

• 将稳定属性分离，割裂维度，保持主维度稳定。

微型维度优化： 将不稳定属性归类至独立维度，基于组合代理键构建。如用户维度，移除VIP等级和信用评价相关字段，分别维护，可在买家维度引用。

实际应用考量：

优化建议： 在不可避免的局限性下，合理选择存储策略，最大化节省成本。

转载地址：http://kcdxz.baihongyu.com/