数据仓库维度模式(白话数据仓库)
数据仓库维度模式(白话数据仓库)熟悉仓库的知道,我要把仓库管理得好,保证货物快速入库和出库,势必要把仓库里的货物要按照一定规范存放和操作,存放数据的仓库同样需要如此。这就需要将分散的数据收集过来,按照一定的标准对数据进行整理和处理,最终形成我们所需要的数据结果。随着信息化的发展,企业建设了越来越多的信息化系统,比如OA、CRM、ERP、HR、交易、风控、财务。在每个系统中随着时间的推移和业务的发展,会积累越来越多的数据。从企业的角度来看,如何评估当前的经营及风险情况,就需要将这些分散系统的数据进行整合与分析。
一、定义
数据仓库,英文名称为Data Warehouse,可简写为DW。是为企业所有级别的决策制定过程,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库从本身字面上进行理解,就是存储数据的仓库,只不过这个仓库的载体也是一个信息化系统而已。
二、发展过程
随着信息化的发展,企业建设了越来越多的信息化系统,比如OA、CRM、ERP、HR、交易、风控、财务。
在每个系统中随着时间的推移和业务的发展,会积累越来越多的数据。
从企业的角度来看,如何评估当前的经营及风险情况,就需要将这些分散系统的数据进行整合与分析。
这就需要将分散的数据收集过来,按照一定的标准对数据进行整理和处理,最终形成我们所需要的数据结果。
熟悉仓库的知道,我要把仓库管理得好,保证货物快速入库和出库,势必要把仓库里的货物要按照一定规范存放和操作,存放数据的仓库同样需要如此。
只不过,数据仓库的出仓不会仅仅简单的将入仓的数据进行出仓,它需要将这些数据处理成经营管理和风险控制所需要的结果数据,可以类比成入仓的只是原材料,出仓之前还需要在生产线根据客户需求加工成成品进行出仓。
传统的系统,如OA、CRM、ERP、HR、交易、风控、财务,它主要的操作会产生数据的新增、修改、删除,我们称之为事务性系统或者操作型系统;
而数据仓库,它只负责将上述的系统数据搬入仓库、整理、出仓,本身不产生数据,只是为了分析目的,我们称之为分析型系统。
三、核心要素
1、数据入仓
传统的商品仓库,采用人力或者机械进行商品入仓。
信息化的数据入仓,其实本身就是把数据从一个系统搬到另外一个系统,这个也是通过信息化系统来完成的,俗称数据抽取;
2、数据整理
抽取过来的数据包含客户信息、员工信息、商品信息、财务信息等等,有可能客户数据来源多个系统、员工信息来源多个系统等等,这个就需要按照一定规则进行数据存放,以便后续能够快速找到自己所需要的数据。
这就是所谓的主题建模,有点玄乎吧,其实本质上就是对存数据的数据表命名进行了一定的规则化,比如CM开头的代表客户、PRO开头的代表商品。
好比你家里衣服、鞋子、帽子到处乱放,这个主题建模就是做了一个衣帽间,这几格放帽子、这个柜子放夏装,便于你后续找东西的时候好找,其他屁用也没有。
3、数据处理
就是按照一定的标准把数据加工成最终能够反映经营和风险情况的结果数据。
但是这个其中又有一个概念叫数据集市,这是因为,上述这些结果数据需要通过表格、图形等载体的业务系统功能展示出来,每个业务应用呢它又是很具体很个性化的,比如财务分析、客户分析、经营分析。
这个数据集市还拿上述衣帽间来举例,前面讲了衣帽间起到了规范放衣物的作用。
尽管有衣帽间了,但是还是有不少人不知道怎么搭配这些衣物,哪些适合春天穿、哪些适合冬天穿、哪些适合夜店穿、哪些适合开会穿、哪些是淑女装,把这些搭配组织好放在一起,这就是我们上面说的数据集市,为了具体某个目的。
4、数据应用
主要通过常规的固定报表、多维分析、数据挖掘。
固定报表就是我们日常经常用的,表列已经确定的,可以类比成衣物的固定搭配。
多维分析就是可以这样组合也可以这样组合,可以类比成衣物的灵活搭配,自己组合起来看看自己美不美。
数据挖掘就是用数据挖掘技术去挖掘数据之间潜在的关系,来指导业务活动。