当前位置: 首页 > news >正文

数据分层(方法论)

如何设计数据分层

数据仓库分为下面三个层:
数据运营层(ODS )
数据仓库层(DWD、DWB、DWS)
数据产品层(APP)

第1层:数据运营层(ODS: operational data store)

在这里插入图片描述
作用:数据抽取、数据溯源
在这层是简单的数据接入,原封不动地接入原始数据即可,数据的去噪、去重、异常值处理等过程放在后面的DWD层来做。

第2.1层:明细层(DWD: data warehouse detail)

在这里插入图片描述
作用:记账、发货使用
在这层不是简单的数据接入,而是要考虑一定的数据清洗,比如异常字段的处理、字段命名规范化、时间字段的统一等,一般这些很容易会被忽略,但是却至关重要。比如用户的资料信息来自于很多不同表,而且经常出现延迟丢数据等问题,为了方便各个使用方更好的使用数据,可以在这一层做屏蔽。

第2.2层:轻度汇总层(MID或DWB: data warehouse basis)

在这里插入图片描述
作用:用户结账,分析使用
DWB与DWD的主要区别在于二者的应用领域不同,DWD的数据来源于生产型系统,并未满足一些不可预见的需求;轻度综合层则面向分析型应用进行细粒度的统计和沉淀。

第2.3层:主题层(DM或DWS: data warehouse service)

在这里插入图片描述
作用:BI统计使用
主题层又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。

第3层:应用层(APP)

应用层是根据业务需要,由前面三层数据统计而出的结果,可以直接提供查询展现,或导入至oracle/mysql中使用。比如出一张画像表:包含用户资料和用户近一年的行为。

其它层(DIM、TMP)

在这里插入图片描述
DIM作用:控制权限、分类统计使用

高基数维度数据:一般是用户资料表、商品资料表类似的资料表(数据量千万/亿级别)
低基数维度数据:一般是配置表,比如国家代码、大区代码、经销商代码;日期维表(数据量千/万级别)


http://www.taodudu.cc/news/show-6309764.html

相关文章:

  • 分层图[模板]
  • 食物链(分层图?)
  • 分层图总结(例题)
  • 拆点/分层图的使用
  • 分层架构简图
  • 数据分层简述
  • 简谈分层图
  • 数据流图-2(分层数据流图)
  • 流程图分级、分类、分层
  • 什么是分层架构
  • 链路聚合的原理以及配置
  • 链路聚合—3种模式
  • 链路聚合及配置
  • 交换机之间的链路聚合
  • 链路聚合与链路捆绑
  • 链路聚合和LACP
  • 链路聚合(二层链路聚合划分)
  • 链路聚合—3种模式 详细
  • 【技术分享】链路聚合
  • 链路聚合详解
  • 链路聚合的作用与实例
  • 链路聚合原理及配置过程
  • 链路聚合(eth-trunk)
  • 链路聚合的定义、链路聚合的概念和基本术语、链路聚合的特点
  • 基于vue编写的2048小游戏
  • 用Qt开发小游戏《愤怒的小鸟》
  • [效率提升]webstorm配置Prettier:代码自动格式,格式化时清除空行,修改使用代码模板
  • WebStorm+Vue-cli 配置alias 点击跳转无效问题
  • JavaScript葵花宝典(基础)
  • js Console 对象 - Kaiqisan