数据分层简述

以下内容摘抄自：最详细！深入浅出理解「3层6类」数据分层 | 人人都是产品经理

【 侵权即删】

数据是通过观测得到的信息，是对客观物质世界的记录。 

数据建模是对客观物质世界的抽象，用数据来表征这个客观物质世界。

数据分层是把数据以合理的方式表现，提高效率。

数据分层的目的不外乎：降低存储成本、提高使用效率、保障数据质量。

数据分层的设计思想，促使了数据仓库的诞生。

数据仓库(DW 即Data Warehouse)

大师曾定义，数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision Making Support)。

数据分层前后对比如下：

数据分层

• ODS层 —— 操作数据存储层

        ODS层中的数据是从业务中直接进入的，在进入之前需进行清洗等操作。

        ODS层数据通常包括两类：用于存储当前待加载的数据；用于存储处理完后的历史数据

        ODS层数据特点：最细粒度的数据；最底层的数据；直接来自业务系统

• DW层 —— 数据仓库层

        DW层分两类：公共维度汇总层DIM；数据仓库层DW

                公共维度汇总层DIM

                维度：是衡量和观察业务的角度。维度表是根据维度及其属性构建的表，采用宽表

                公共维度汇总层DIM层主要由维度表构成

                数据仓库层DW

                数据仓库层DW是基于ODS层和DIM层的数据按照一定的主题做汇总，

                数据仓库层DW可分为：数据细节层DWD、数据中间层DWM、数据服务层DWS

                        1. 数据细节层DWD(Data Warehouse Details)

                              该层将ODS层与DW层隔离开，在数据进入DW层之前，需要对数据清理和处理     

                        2. 数据中间层DWM(Data Warehouse Middle)

                                该层在DWD层基础上，对数据做一些聚合，生成一些中间表，提升公共指标的复用性，减少重复加工操作

                        3. 数据服务层DWS(Data Warehouse Service)

                                该层是基于DWM的数据，整合汇总成分析某一主题域的数据服务层。

                                该层的表一般是宽表，为后续提供查询服务、OLAP分析、数据分发等

• ADS层 —— 应用数据服务层

        ADS层(Application Data Service)

        ADS层用于提供数据产品和数据分析的数据 

   常见的数据分层案例

• 三级数据仓库分层

        ODS层：存放来自业务端的数据

        DWD层：存在从ODS层汇总上来的数据，以业务要求进行数据建模。

        DWM层：存在对DWD层数据进行综合、汇总后的数据        

 

• 四级数据仓库分层

 

        DWS层：用于提供后续的业务查询 

• 五级数据仓库分层

ADS层： 针对业务的定制表，具有明显的业务特征