e-works数字化企业网  »  文章频道  »  基础信息化  »  大数据

大数据环境下的数据质量管理策略

2017/5/23    来源:数据观    作者:刘金晶  曹文洁      
关键字:大数据  数据质量管理  
信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。
    信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持。
 
    1.信息系统数据质量
 
    信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言,进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切,对数据质量的要求也更为苛刻。
 
    作为信息系统的重要构成部分,数据质量问题是影响信息系统运行的关键因素,直接关系到信息系统建设的成败。根据“垃圾进,垃圾出(garbagein,garbageout)”的原理,为了使信息系统建设取得预期效果,达到数据决策的目标,就要求信息系统提供的数据是可靠的,能够准确反应客观事实。如果数据质量得不到保证,即使数据分析工具再先进,模型再合理,算法再优良,在充满“垃圾”的数据环境中也只能得到毫无意义的垃圾信息,系统运行的结果、作出的分析就可能是错误的,甚至影响到后续决策的制定和实行。高质量的数据来源于数据收集,是数据设计以及数据分析、评估、修正等环节的强力保证。因此,信息系统数据质量管理尤为重要,这就需要建立一个有效的数据质量管理体系,尽可能全面发现数据存在的问题并分析原因,以推动数据质量的持续改进。
 
    2.大数据环境下数据质量管理面临的挑战
 
    随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、Web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。
 
    大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。
 
大数据环境下的数据质量管理策略
 
    由于以上特性,大数据的信息系统更容易产生数据质量问题:
 
    (1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。
 
    (2)由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。
 
    (3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。
 
    (4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。
 
    (5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。

责任编辑:李欢
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐