当前位置: 首页 > news >正文

数据整合基础知识介绍

数据整合作为一种资源整合的理念和方式,缘起于20世纪90年代初,是随着企业信息化集成需求出现而逐步发展完善。在企业初期信息化建设过程中,由于缺乏信息化建设统一规划,而建立了由不同核心技术构建的信息系统,这类系统存在各类异构问题,导致企业信息数据不能有效流通和利用。如何通过一套企业资源整合方案,并配合相关系统的实施,将企业内部和外部的异构数据源进行整合,提高资源的利用效率,是当今企业信息化建设面临的挑战。数据整合则是实现信息系统集成的关键和导向,其目标是消除系统的分布性和异构性,以及消除各类数据的语义异构问题,实现异构信息子系统间的信息共享。因此在这一领域,关于数据整合价值、特征、技术等方面的理论与解决方案层出不穷。

 

数据整合(Data Integration),也称数据集成、数据融合,是对异构资源系统中的异质、异类的数据在逻辑上或物理上有机地集中,提供统一的表示和操作,以解决多种异构数据资源互联与共享[1]。由于在企业信息化建设过程中,主要处理信息系统中存在的数据共享利用问题,因此数据整合又指信息集成和数据集成。

 

数据整合的本质是通过一定的技术手段,把存在于异构系统中的异构数据,在物理和逻辑上进行集中利用,屏蔽各种数据的差异,让各种数据相互联系,并形成企业全局视图,达到数据共享利用的目的。众多实践表明,数据整合不仅是信息技术上的问题,还是方法论、流程、规则的组合,数据整合工作需要从系统整合、流程与规则整合、元数据整合、服务整合四个层面展开,如图2-1所示:

  

系统整合层:这是数据整合的数据来源层,在此层通过各类系统集成技术,将异构系统中的业务数据提取出来供其它层使用。

流程、规则整合层:这是数据整合的基础,数据整合只有依据正确合理的流程和规则,才能保证数据整合的质量,整合的流程和规则反映了数据之间的内在联系。

元数据整合层:是根据各类流程规则实现的数据内在关联整合,整合后的数据符合多种逻辑规则,是数据再利用的基础。

服务整合层:是数据整合的最终目的和价值体现,在此层打破了业务数据原有的逻辑规则,进行了服务逻辑重组,形成了面向不同服务的数据再利用。

数据整合包括数据重组和服务重组两个过程,是以分析各类数据之间的联系为基础,以创建各类数据之间的耦合模型为目的,从而使各类数据能全面的、准确的和其它相关数据联系并融合为一体。

数据整合区别于数据挖掘,数据挖掘是数据整合在服务重组阶段的一个典型应用,强调的是数据的重利用。数据整合是数据挖掘的基础,数据挖掘则体现数据整合的最高利用价值。

 

 

 

数据在整合的过程中,需要经过多个步骤的处理,才能符合数据规范和组织的需求,达到数据整合的目标,各数据处理的流程如下:

1)数据抽取:数据抽取是数据整合的第一步,即选择并提取数据源集中的一个特定子集的处理过程。依靠数据抽取,可以准确地从大批量数据中仅复制相关的数据。

2)数据传送:数据传送是紧接数据抽取的第二步,即将抽取到的特定数据子集发送到目的位置的处理过程。依靠数据传送,可自动保持数据的流通和共享。

3)数据清洗:对直接传送来的数据,在数据格式、数据编码、数据一致性等方面按照清洗规则进行处理。依靠数据清洗,可以保障中心数据库中数据的规范性。

4)数据重组:将清洗后的数据,按照新的数据组织逻辑进行关联处理,加强数据的内在联系。

5)数据发布:按照主题数据库层需要,将中心数据库中部分数据子集定期发布到主题数据库层。依靠数据发布,可以保障主题数据库层数据的及时更新。

6)服务重组:根据主题数据库中的数据,通过开放各类数据服务,提供面向各类应用的主题数据服务,以此加强数据的重利用。

7)数据展示:数据展示通常用报表或图形的表达方式来表示数据之间的关系,使使用者能快速直接的了解到数据变动情况。(作者:周欢)

 

 

 

 

 

 

 

 

 


http://www.taodudu.cc/news/show-4974442.html

相关文章:

  • 从零开始设计键值数据库(KEY-VALUE STORE)
  • MySQL键值
  • 常用键值表
  • JAVA怎么给手机发短信对接验证码短信接口DEMO示例
  • 手机短信验证码解决方案
  • python实现发送和获取手机短信验证码
  • 【Python web 开发】获取手机短信验证码接口(1)
  • 手机短信验证码接口在各领域的应用
  • dwg文件导入到supermap显示导入失败问题
  • 全新共享协作体验—CAD 2022新功能介绍
  • iOS debug神器
  • clutch ios脱壳工具安装和使用教程
  • iOS-国际化脚本工具
  • iOS逆向工具推荐
  • iOS应用签名管理工具
  • iOS 下载功能(断点续传)
  • 解析超时
  • java 视频解析_ffmpeg解析视频的每一帧(java )
  • 旋风解析磁力php,梦见旋风磁力好不好?
  • remixpacks.club无法访问解决方案(基于Python的base64磁力链接地址解析)
  • UI设计流行框架、学习路线图教程,最新意派基础讲解
  • Epub360教你如何制作报纸翻页式创意招聘H5?
  • 360 序列帧html生成工具,1.gif导出为序列帧
  • UI设计最新意派基础视频教程全套资源
  • 意派epub360 html 代码,意派Epub360丨不用代码,不用定制,你也可以自己制作DIY类H5啦!...
  • 招聘H5页面模板看Epub360,助你快速生成创意H5
  • 放弃哪吒造车增资,360的“智能汽车网络安全”牌不好打
  • Epub360教你招聘H5页面设计与制作
  • 如何使用Epub360制作炫酷的邀请函类型H5页面
  • 旋转:唱片旋转效果