北京中科汇成有限公司-步态大数据中心建设

大数据中心建设——模型设计

模型设计指导理论：

模型层次：把表数据模型分为三层：操作数据层（ods）、公共维度模型层（cdm）和应用数据层（ads），其中公共维度模型层包括明细数据层（dwd）和汇总数据层（dws）。

操作数据层（ods）：把操作系统数据几乎无处理地存放在数据仓库系统中。

同步：结构化数据增量或全量同步。

结构化：非结构化（日志）结构化处理并存储。

累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、清洗数据。

大数据中心建设的基本原则

公共处理逻辑下沉及单一——越是底层公用的处理逻辑越应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，运动大数据中心建设，不要让公共逻辑多处同时存在。

成本与性能平衡——适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复贴。

数据可回滚——处理逻辑不变，在不同时间多次运行数据结果确定不变。