分享好友 数控技术首页 数控技术分类 切换频道

基于综合信息仓库的异构数据源的整合与集成模式

2018-11-27 00:00540

   信息化时代和全球经济竞争的新环境下,企业领导要做出一项决策,往往需要查询多个基于各种异构数据源的业务系统和外部系统后,进行大量数据分析后才能作出此决策,其工作量大,且容易出现人为差错,从而影响决策的质量。
    同时,随着企业的发展和信息化建设推进,往往出现以下问题:对于大量的数据不能提供一个统一的数据接口,不能采用一种通用的标准和规范(如使用不同的指标代码体系和编码体系),共享通用的数据源;随着业务的增加,对于管理人员的操作越来越复杂,操作越来越多,用户分散,相互联系程度低,信息相对封闭,共享程度低;大量日趋复杂的办公业务依然或多或少的靠手工处理进行流转;信息加工、处理手段差,影响信息质量,无法直接从各级各类业务信息系统采集数据并加以综合利用,无法对外部信息进行及时、准确的采集、利用,业务系统产生的大量数据无法提炼升华为信息,及时提供给决策部门;已有的业务信息系统平台及开发工具互不兼容,无法在大范围内应用。

    一、异构数据问题分析

    在企业信息化建设过程中,由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响,导致企业在发展过程中积累了大量采用不同存储方式的业务数据,包括采用的数据管理系统也大不相同,从简单的文件数据库到复杂的网络数据库,它们构成了企业的异构数据源。这些分散的不同业务的数据管理系统虽然能够满足业务数据存储和管理要求,但在许多情况下,为作出一个决策,可能需要访问分布在网络不同位置上的多个业务数据管理系统中的数据。因此,基于整个、集成各个业务异构数据源的综合信息仓库的一个强大的分布式应用系统十分需要。
    异构数据源的整和、集成是企业信息化建设过程经常遇到的一个现实问题。也是制约企业各种应用信息系统建设和数据共享程度,以及信息化建设投资重复或负担重的一个重要因素。
    企业数据源异构性主要表现在两方面:
    1.系统异构,即数据源所依赖的业务应用系统、数据库管理系统乃至操作系统之间的不同构成了系统异构。
    2.模式异构,即数据源在存储模式上的不同。存储模式主要包括关系模式、对象模式、对象关系模式和文档嵌套模式等几种,其中关系模式(关系数据库)为主流存储模式。同时,即便是同一类存储模式,它们的模式结构可能也存在着差异。例如不同的关系数据管理系统的数据类型等方面并不是完全一致的,如DB2、Oracle、Sybase、Informix、SQLServer、Foxpro等。
    3.来源异构,即企业内部数据源和外部数据源之间的异构。

    二、数据整合和集成需求

    异构数据源的数据整合和集成的目的是为企业综合应用系统提供集成的、统一的、安全的、快捷的信息查询、数据挖掘和决策支持服务。为了满足这个需求条件,整合、集成后的数据必须保证一定的集成性、完整性、一致性和访问安全性。
    1、集成性
    企业各种原先孤立的业务信息系统数据经过整合、集成后,应该达到查询一个综合信息不必再到各个业务系统进行分别查询和人工处理,只要在整合、集成后的数据信息仓库中就可以直接访问到,即整合、集成后的综合信息仓库的数据是各异构业务数据的有机集成和关联存储(整合、发掘出各业务数据间的内在关联关系),而不是简单、孤立的堆放在一个数据库系统里。
    2.完整性
    包括数据完整性和约束完整性两方面。数据完整性是指完整提取数据本身,约束完整性,约束是指数据与数据之间的关联关系,是唯一表征数据间逻辑的特征。保证约束的完整性是良好的数据发布和交换的前提,可以方便数据处理过程,提高效率。
    3.一致性
    不同业务信息资源之间存在着语义上的区别。这些语义上的不同会引起各种不完整甚至错误信息的产生,从简单的名字语义冲突(不同的名字代表相同的概念),到复杂的结构语义冲突(不同的模型表达同样的信息)。语义冲突会带来数据集成结果的冗余,干扰数据处理、发布和交换。
    整合、集成后的数据应该根据一定的数据转换模式和商业规则进行统一数据结构和字段语义编码转换。
    4.访问安全性
    由于数据库资源可能归属不同的单位,各业务数据系统有着各自的用户权限管理模式,访问和安全管理很不方便,不能集中、统一管理,所以保证在访问异构数据源数据基础上保障原有数据库的权限不被侵犯,实现对原有数据源访问权限的隔离和控制,就需要设计基于整合、集成后的综合信息仓库的统一的用户安全管理模式来解决此问题。

    三、异构数据整合与集成模式实现

     针对异构数据源的整合和集成需求,可以采用数据仓库技术和数据抽取工具来实现,但由于数据仓库系统的昂贵的投资费用、项目实施周期长、项目成功率风险大等原因制约了数据仓库在中、小型企业或数据积累少的企业解决异构数据源整合和集成需求的应用;有些数据库管理系统自带的数据转换工具,能低成本地解决异构数据源整合和集成问题,但在具体项目实际应用过程中,也具有一定的局限性。
    因此,本文建议综合利用现有的低成本的数据转换工具,如:PowerBuilder的DataPipeline、SQLServer的DTS、Oracle的SQL*Loder等就可以实现各种异构数据库系统和文本、电子表格等文件系统格式的数据的整合和集成,并针对具体的每个分系统编写具体的数据转换代码,来一起完成从原始数据采集、错误数据清理、异构数据整和、数据结构转换、数据转储和数据定期刷新的全部过程。
    本文根据数据仓库建设的思想,采用数据库互访技术来实现异构数据源的整合合集成模式综合信息仓库,如图1。

    本文以Oracle9i来构建综合信息仓库为例来阐述其实现方法。综合信息仓库的构建主要包括以下主要内容:
    1.需求分析。企业异构数据整合和集成需求的界定,即需求分析,依据数据仓库建设思想来确定企业需要整合和集成的业务项及综合信息查询、决策支持所需的主题数。
    2.系统设计。根据需求分析来统一设计综合信息仓库的数据逻辑、物理模型,按照决策主题需要和数据综合程度采用多层结构来建立综合信息仓库,既满足低成本地对信息综合利用和决策支持的需要,也使综合信息仓库具有向数据仓库迁移的可移植性。
    3.首次抽取。根据异构数据源的实际情况来选定所采用的数据转换工具来完成各异构数据源首次抽取、加载到综合信息仓库的过程。本文建议:针对数据量大(记录数超过千万条以上)的业务系统的文件系统数据或其它可以存为文本形式的数据量大的文本或数据库(如Access)数据,可以采用Oracle的SQL*Loder来进行定制数据转换、加载到Oracle的综合信息仓库中,对如Excel等电子表格形式的数据,可以先另存为文本形式,再利用Oracle的SQL*Loder来进行定制数据转换、加载到Oracle的综合信息仓库中;对于SQLServer,可以直接利用其提供的DTS工具来定制数据转换、加载到Oracle的综合信息仓库中;其它关系数据库系统数据(如Sybase、Informix、Foxpro等),可以利用ODBC连接,再利用DataPipeline来定制数据转换、加载到Oracle的综合信息仓库中。
    4.编码转换。根据一定的数据转换模式和商业规则,利用Oracle的SQLPlus开发工具来编写具体转换代码来实现各业务数据之间的语义和结构不一致性的转换。
    5.刷新抽取。由于综合信息仓库是为企业综合信息查询、决策支持等需要服务的,所以保证它的数据和各业务系统数据之间的同步很重要,本文采用Oracle的SQLPlus开发各个业务系统到综合信息仓库的数据刷新抽取程序,并利用Oracle的Job来定制定期刷新工作。
    6.应用开发。开发基于综合信息仓库的分布式企业Web应用,如EIS等。

    四、结论

    本文提出的企业异构数据源整和合集成模式综合信息仓库,使得企业能够多种业务应用系统、多种异构数据源并存,并实现异构数据源的动态及时、互访和信息的挖掘及综合利用,即保护了企业的原有信息化投资,又提供了应用系统由旧向新、系统平台由低向高平滑过渡,能够满足企业低成本、阶段性、可扩展性信息系统建设的需要。
    同时能够满足企业低成本投入,又能实现所需信息服务目标,并支持更多异构数据源的整合和集成模式和平台需要进一步探讨和研究开发。

举报
收藏 0
打赏 0
轻松提高数控机床精度
随着我国经济的飞速发展,数控机床作为新一代工作母机,在机械制造中已得到广泛的应用,精密加工技术的迅速发展和零件加工精度的

0评论2025-01-04313

加工中心刀具长度补偿怎么用?
在数控加工中,刀具长度补偿是一种重要的措施,用于消除机床变形、热变形等因素引起的误差,保证加工精度,从而提高培训效率,减

0评论2024-12-18400

加工中心主轴定位角度怎么调?
  在数控加工领域,加工中心主轴的定位角度是影响加工精度和效率的重要因素之一。正确调整主轴的定位角度可以提高加工质量,减

0评论2024-12-11496

简述机器人加装电主轴就选Kasite 4060ER-S的理由
  近年来,随着科技的不断发展,机器人作业已经渗透到各个领域,尤其在工业制造领域,更加随处可见。高精密切割、铣削、雕刻、

0评论2024-05-20707

机器人主轴怎么选?Kasite高速电主轴满足你的需求
  机器人发展到现在越来越受到人们的欢迎和重视,现在很多传统行业都在生产作业中引入了工业机器人,随着机器人的改进和优化,

0评论2023-10-231208

机械臂加装2.2KW大力矩电主轴,就选MSIY-80电主轴
机械臂想加装大力矩电主轴,用于铸钢等硬质材料去毛刺,铣削等加工,可以考虑MSIY-80电主轴,外径80mm,重量4.8公斤,可搭配轴向或径向浮动刀柄配套使用。

0评论2023-08-261203

每天早上打开数控机床时有没有必要热机?
工厂使用精密数控机床(加工中心、电火花、慢走丝等机床)进行高精密加工,你是否有这样的经验:每天早上开机进行加工,首件的加

0评论2023-08-151093