obm和odm区别表格解释(ODSDWDM傻傻分不清楚)
obm和odm区别表格解释(ODSDWDM傻傻分不清楚)ODS一、基本概念四、ODS、DW、DM协作关系五、ODS到DW集成示例六、数据中心架构形式
目录
一、基本概念
二、相关特征
三、ODS、DW、DM协作层次图
四、ODS、DW、DM协作关系
五、ODS到DW集成示例
六、数据中心架构形式
一、基本概念
ODS
操作性数据(Operational Data Store) 简称ODS,是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。ODS存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的、操作性的、集成的全体信息的需求。ODS作为数据库到数据仓库的一种过渡形式,能提供高性能的响应时间,ODS设计采用混合设计方式。ODS中的数据是"实时值",而数据仓库的数据却是"历史值",一般ODS中储存的数据不超过一个月,而数据仓库为10年或更多。
DW
数据仓库(Data Warehouse) 简称DW,数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。数据仓库是一个很大的数据存储集合,出于企业的分析性报告和决策支持目的而创建,对多样的业务数据进行筛选与整合。它为企业提供一定的BI(商业智能)能力,指导业务流程改进、监视时间、成本、质量以及控制。数据仓库存储是一个面向主题(移动的用户分析也可作为一个主题)的,反映历史变化数据,用于支撑管理决策。
DM
数据集市(Data Mart)简称DM,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手,以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时,同一含义的字段定义一定要相容,这样在以后实施数据仓库时才不会造成大麻烦。数据集市,以某个业务应用为出发点而建设的局部DW DW只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用,每个应用有自己的DM。
二、ODS、DW、DM相关特征
特征 | |
ODS |
ODS直接存放从业务抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了数据抽取的复杂性。 转移一部分业务系统的细节查询功能,因为ODS存放的数据与业务系统相同,原来有业务系统产生的报表,现在可以从ODS中产生。 完成数据仓库中不能完成的功能,ODS存放的是明细数据,数据仓库DW或数据集市DM都存放的是汇聚数据,ODS提供查询明细的功能。 ODS数据只能增加不能修改,而且数据都是业务系统原样拷贝,所以可能存在数据冲突的可能,解决办法是为每一条数据增加一个时间版本来区分相同的数据。 |
DW |
效率足够高,要对进入的数据快速处理。 数据质量高,数据仓库是提供很多决策需要的数据支撑,DW的数据应该是唯一的具有权威性的数据,企业的所有系统只能从DW取数据,所以需要定期对DW里面的数据进行质量审,保证DW里边数据的唯一、权威、准确性。 扩展性,企业业务扩展和降低企业建设数据仓库的成本考虑 面向主题,数据仓库中的数据是按照一定的主题域进行组织的,每一个主题对应一个宏观的分析领域,数据仓库排除对决策无用的数据,提供特定主题的简明视图。 数据仓库主要提供查询服务,并且需要查询能够及时响应 DW的数据也是只允许增加不允许删除和修改,数据仓库主要是提供查询服务,删除和修改在分布式系统. |
DM |
DM结构清晰,针对性强,扩展性好,因为DM仅仅是单对一个领域而建立,容易维护修改 DM建设任务繁重,公司有众多业务,每个业务单独建立表。 DM的建立更多的消耗存储空间,单独一个DM可能数据量不大,但是企业所有领域都建立DM这个数据量就会增加多倍。 |
三、ODS、DW、DM协作层次图
部门 |
聚焦领域的、面向具体的一类对象、教务、财务、学工、科研 |
数据仓库DW |
随着时间变化、集成的、面向主题 |
操作性数据 |
细节、逐日、当前值、访问的高可能性、来源应用 |
四、ODS、DW、DM协作关系
ODS |
DW |
DM |
张三 2018年 副教授 |
张三 1998年 助教 |
助教 20 讲师 120 教授 38 |
张三 2004年 讲师 | ||
张三 2018年 副教授 |
五、ODS到DW集成示例
ODS |
DW |
人事信息 张三 1977-07-01 沈阳人 |
张三 1977-07-01 沈阳人 发表论文3篇 科研获奖1次 主题交流1次 2020年课时数48节 |
科研信息 发表论文3篇 科研获奖1次 主题交流1次 | |
教务信息 2020年课时数48节 |
六、数据中心架构形式
1、ODS、DW并行
优点:DW不用受限,灵活度和扩展度都很高。
缺点:DW和ODS可能出现数据不统一的情况。
2、业务数据-ODS-DW
优点:这样做的好处是ODS的数据与数据仓库的数据高度统一。
缺点:数据仓库需要的所有数据都需要走ODS,那么DW的灵活性必然受到影响。