无忧论文网
当前位置: 无忧论文网 > 自然科学论文 > 计算机科学论文 > 软件项目管理论文 > 操作数据存储系统的系统设计与数据处理正确性验证
点击提交论文指导需求
高薪诚聘老师
操作数据存储系统的系统设计与数据处理正确性验证
时间:2011-02-23 浏览次数:1397次 无忧论文网
点击这里在线咨询我
软件工程
信息化软件管理开发信息化软件管理开发
    随着中国建设银行各应用系统的业务发展,各系统之间的信息、数据联系日益紧密,但各应用系统在设计之初都是独立的考虑到自身业务应用,系统缺乏同外部系统的数据、信息交互的能力,必须有一个中间系统,成为联系各外部系统数据交换的纽带。同时,建行应用系统数据非常复杂,这些数据存放在不同的地理位置、不同的数据库、不同的应用之中,从这些业务系统对数据进行抽取并不是一件容易的事,数据交换已经成为阻碍建行业务发展的瓶颈。
    本文从中国建设银行数据架构分布现状入手,对中国建设银行建设操作型数据存储系统(ODS)外部环境要求、技术可行性、安全性、系统运行环境等层面的可行性进行了必要的分析。在系统体系结构部分,以ODS从建行不同应用系统的数据获取途径、外部系统数据进入ODS后的存储结构以及数据的处理流程等方面为出发点,分析研究了ODS可行的逻辑架构和物理架构。在系统实现部分,整合了调度管理模块和数据处理包括数据清洗、转换、去重、标准化、增量合全量等,实现了ODS对全行数据按目标接口及建行数据统一数据标准的要求进行了数据统一和处理。最后,作为ODS系统的最终产出物-准确、高质量的标准数据,即ODS的数据处理质量,分别从测试管理和海量数据自动化验证技术实现两个方面进行了论述。ODS的建设,近期目标满足了我行数据仓库(以下简称DW)等系统对业务数据的迫切需求,长期目标勾勒了建行的数据架构蓝图,具备里程碑意义。
    在本文的最后,对操作数据存储系统的实施情况进行了总结,从技术创新、标准及规范执行等几方面对操作数据存储系统进行了客观评价,并在对该系统现状客观评价的基础上,提出对系统的展望。
     [英文摘要]:     With the business development of various application systems of China Construction Bank, information interchange between various systems become increasingly close, but early in the design of the various application systems are independent, taking into account their own business applications, lacking of the ability of information exchange with external systems.there must be an intermediate system, as an associate of the external system. Meanwhile, the Construction Bank of application system data is very complex, the data stored in a different location, different databases, different applications and, from these business systems for data extraction is not an easy task,Data exchange has become an obstacle to business development bottleneck in China Construction Bank.
    In this thesis, building on the distribution of data architecture status of China Construction Bank, it analysis the external environmental requirements of China Construction Bank operational data storage system (hereinafter referred to as ODS), technical feasibility, safety, system operation and environmental feasibility . Part of the system architecture, from the data acquisition means of ODS from the CCB different systems, data storage structure into the ODS, as well as post-processing of data transaction, analysis the ODS feasible logical structure and physical infrastructure. In the system implementation section, it integrated scheduling management module and data transaction module including data cleansing, conversion, de-emphasis, standardization and realized the data transaction with the target interface and China Construction Bank data requirements of uniform data standards. Finally, it is from the test management and automated testing technology to achieve the ODS data processingquality. The ODS short-term objectives is to meet the data warehouse system(hereinafter referred to as DW) urgent need for business data, long-term goals is outlined the bank's data architecture blueprint, with a milestone.
    At the end of this thesis, it summarized the implementation operation of the systems, objectively evaluated this system from several aspects such as the technical innovation, standards and regulations enforcement and also expounds the parts which have to be improved.
     [参考文献]:     [1] 王志强. 银行应用系统间的数据交换. 计算机世界报 2005年11月14日 第44期 C6、C7.
    [2] 冯健文,林璇.基于ODS的数据仓库模型研究[J].微计算机应用,2006年04期:22-23.
    [3] 李明.ODS系统的应用与设计[J],计算机工程与应用,2002年08期:7-10.
    [4] 苟娟琼,关中良,陈景艳.基于原有数据库的ODS系统建设研究[J],教育信息化,2001年04期:45-46.
    [5] 陈祎祺,郭永生,徐立臻,董逸生.基于ODS技术的数据集成和更新策略[J],微机发展,2004年03期:17-18.
    [6] 龚敬.电信商业智能应用中ODS模型的设计与实现[D].电子科技大学,2006年.
    [7] 关雯雯.基于操作型数据存储(ODS)的客户数据质量分析与管理[D],重庆大学,2006年.
    [8] 杨跃武,曾凡智.基于XML Web Service模型的分布式计算解决方案在中小型流通企业中的应用[J],福建电脑,2005年05期:13-14.
    [9] 杨跃武,王宪生.分布式数据库同步更新的实现方法[J],佛山科学技术学院学报(自然科学版),2005年02期.
    [10] 何可立,解文艳.构建南方电网数据仓库与决策支持系统的探讨[J].广东电力,2006年07期:35-37.
    [11] 张悦.异构环境下ODS构建技术的研究与实现[D].沈阳航空工业学院,2006年.
    [12] 付燕燕,蒋代梅,周小兵.支持增量式数据仓库建设的多维数据模型[J].北京工业大学学报,2005年04期.
    [13] 何山,周韫强.ODS替代清洗技术的选择[J].电子质量,2001年01期:19-23.
    [14] 李睿 ,王燕 ,李明.基于ODS的数据仓库技术研究[J].甘肃科技,2001年01期:18-19+32.
    [15] 朱如,李庆峰.数据质量管理与企业信息化建设[J].计算机时代,2005年06期:45-47.
    [16] 林桐.基于元数据技术的ODS创建策略的研究和应用[D].沈阳航空工业学院,2007年.
    [17] 张悦.异构环境下ODS构建技术的研究与实现[D].沈阳航空工业学院,2006年.
    [18] 刘波.基于数据仓库的决策支持系统的构建[J].电脑开发与应用,2000年09期:17-19+25.
    [19] 朱卫锋,费奇,陈学广.维数据仓库建模技术及其在数据建模中的应用[J].计算机工程与应用,2002年19期:9-12.
    [20] 张宁,贾自艳,史忠植.数据仓库中ETL技术的研究[J].计算机工程与应用,2002年24期:7-8.
    [21] 邵建利.市场经济中的企业统计信息系统研究[J].财经研究,2001年02期:50-51.
    [22] 郑旭.基于ODS的商业智能技术的研究及其在钢铁行业中的应用[D].辽宁科技大学,2007年.
    [23] 杨仔玲.ODS存储技术在保险企业系统集成中的应用[D].大连海事大学,2007年.
    [24] 陈德军,盛翊智,陈绵云.基于数据仓库的OLAP在DSS中的应用研究[J].计算机工程与应用,2003年01期:23-25.
    [25] 杨光,张雷,艾波.OLAP技术及其发展[J].计算机应用研究,1999年07期:16-17.
    [26] 唐世渭.企业数据仓库建设[J].金融电子化,2001年08期:40-41.
    [27] 李贺,王平,毕强.基于数据仓库的决策支持系统结构分析[J].情报学报,2000年05期:30-32.
    [28] 刘鲲.分布式数据仓库中预聚集数据的一致性维护策略研究[D].沈阳航空工业学院,2009年:128-145.
    [29] 张锐,姜晓峰.数据仓库建设中ETL的架构设计和实现[J].苏州科技学院学报(工程技术版),2007年01期:19.
    [30] 杨松辉.数据仓库与数据集市的应用技术研究[D].哈尔滨工程大学,2003:222-231.
    [31] 彭哲生,陈维斌.数据仓库技术在证券业客户服务的应用研究[J].福建电脑,2005年06期:30-32.
    [32] 李波.数据仓库与联机分析处理(OLAP)技术[J].中国传媒大学学报(自然科学版),2005年04期:21-22.
    [33] 龚敬.电信商业智能应用中ODS模型的设计与实现[D].电子科技大学,2006年.
    [34] 王霓虹,刘美玲.ODS数据仓库新技术的研究与应用[J].信息技术,2004年11期:26-27.
    [35] 李庆莉.关注数据质量[J].中国金融电脑,2003年11期:22-23.
    [36] 于波,王宏鼎,唐世渭,童云海.基于数据挖掘的数据质量分析研究[A].全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C],2004年.
    [37] 刘庆.数据质量苦海[N].网络世界,2006年.
    [38] 贾柱.数据质量面面观[N].中国工业报,2009.
        
关于我们 | 老师招聘 | 版权声明 | 联系我们 | 付款方式 | 返回顶部 | 

COPYRIGHT ©2001 - 2013 51LUNWEN.NET. ALL RIGHTS RESERVED.
【免责声明】:本网站所提供的信息资源如有侵权、违规,请及时告知
无忧论文网提供毕业论文指导 硕士论文指导服务