e-works数字化企业网  »  文章频道  »  基础信息化  »  大数据

新华三大数据的思考与实践

2017/12/18    来源:H3C    作者:孙晓军      
关键字:大数据  H3C DataEngine  
当前我国经济发展已经进入新常态,大数据将会成为驱动经济转型发展的新动力。全球信息革命向纵深发展,数据已转变成国家重要资源,对数据的争夺,将成为重塑国家竞争优势关键。
    当前我国经济发展已经进入新常态,大数据将会成为驱动经济转型发展的新动力。全球信息革命向纵深发展,数据已转变成国家重要资源,对数据的争夺,将成为重塑国家竞争优势关键。此外,在社会治理领域,大数据驱动了科学决策,推动政府能力提高,极大地促进了高效社会的建设。2015年9月国务院印发了《促进大数据发展行动纲要》,以此为标志,我国大数据创新正式进入到国家级战略层面。
 
  • 从资源的角度看,数据已经成为支撑国家参与全球竞争的战略资源,其价值可以类比为现在的石油。
 
  • 在经济层面,在全球经济低迷的大背景下,大数据将成为产业亮点,是各国战略新兴产业的最活跃部分。
 
  • 在社会治理层面,大数据可以用来提高治社会理水平、破解社会治理难题,从而促进社会和谐、提升整个社会的运作效率。
 
  • 在国家安全层面,数据空间目前还是航海大发现时期的“新大陆”,其必将成为大国博弈的重要战场。
 
    中国地大、人多、地域多样性,加之世界第二的经济体量,造就了我们的大数据优势,我们一定要抓住大数据带来的机遇,实现大数据应用创新在中国社会的成功,中国将站在全球现代化的制高点上。
 
    一、大数据研究从哪入手?
 
    大数据应用成功的关键在于营造一个良好的大数据生态,在这个健康的生态环境中,大数据可以持续发展、不断创新。
 
    新华三站在大数据生态的技术供应商的立场,从技术的角度分析这个生态系统,我们认为“大数据平台”与“大数据应用”是大数据生态系统的两个重要组成部分,两者相辅相成。大数据平台支撑大数据应用;大数据应用利用大数据平台强大的计算能力、存储能力以及数据资源来撬动大数据的社会价值。同时大数据平台还可以提供应用开发所需的其他服务如:数据管理、用户管理、安全服务等服务以便减少应用开发成本、提高应用开发效率。
 
    由于大数据具有4V属性(即Volume规模大、Variety类型多、Velocity速度快和Value价值高),由此推理可以得出结论:对于现有大数据的处理方法处理,超出了传统数据分析系统的采集、存储、管理和分析等能力范畴,所以我们需要从大数据对传统IT技术带来的挑战入手,开展大数据技术研究。
 
    1、传统的IT基础架构不适应大数据的要求
 
    此处传统IT基础架构指组织IT整体架构中,为应用系统提供能力的部分如:计算、存储、网络传输等部分。
 
    在数据分析与处理层面,传统IT架构在设计之初并未考虑到大数据带来的挑战,所以在处理大数据时表现出扩展性差、资源利用率低、应用部署复杂、运营成本高等问题。参考上述问题,对于大数据处理系统,我们认为应该具有如下的特征。
 
  • 大数据IT基础架构应具有基于普通商业硬件的可扩展、容量大特征,以低廉的、弹性的成本,适应大数据应用动则PB级数据的存储与分析的要求。
 
  • 大数据计算框架应具有高实时性分析、处理的能力,在社会高速发展变化的今天,企业业务部门与IT部门配合日益紧密,实时性的分析、处理能力成为应对快速变化的重要手段。
 
    新华三在2015年推出H3C DataEngine大数据软件产品,分布式数据处理系统DataEngine HDP可以支持不同类型的数据存储和处理,包含大规模数据存储、并行计算、数据挖掘和商业智能展示。分布式数据库集群系统DataEngine MPP可以支持大规模结构化数据查询检索处理。
 
    2、传统的数据管治体系不适应大数据的要求
 
    数据管治体系是数据管理体系与数据治理体系两者的结合,数据治理负责” Do right thing”,数据管理负责”Do things right” 。
 
    大数据是一个即广阔无边又暗流汹涌的”数据海洋” ,对于那些走在大数据前沿的实践者来说,大数据是一把双刃剑,既可以为组织带来深刻的洞察力,提高竞争优势,也可能由于数据质量问题、数据滥用等问题,造成各种有形或无形的损失。
 
    如何让大数据为组织提供优质的数据服务,同时避免数据滥用等问题,传统的数据管治体系已经无法控制,具体的原因如下。
 
  • 从数据本身的角度看,大数据除了包含传统数据外,还有来自内部、外部的其他数据源,这些数据源的结构各不相同,对存储的要求也不一样,使用的方法与应用要求也不一样,这全都增大了数据管治的复杂程度。
 
  • 从数据隐私保护的角度看,大数据的隐私呈现出长尾特征,传统隐私保护只关注长尾头部的少量、敏感度高的数据,而大数据背景下数据全面集成变得非常重要,这样,长尾尾部的种类繁多但每个敏感度都不高的数据却由于长尾效应变得敏感度急剧升高,这就给传统敏感度管理机制带来极大挑战。
 
    新华三结合本公司多年数据管理最佳实践以及大数据管理市场实践经验,推出了大数据管治工具-H3C大数据管治平台。
 
    该平台在数据组织方面提供强大的原数据管理功能。
 
  • 在数据成本管理与合规方面提供了完善的数据生命周期管理功能。
 
  • 在数据暴露方面提供了创新的数据与数据操作封装与审批体系。
 
  • 在数据质量管理方面提供了关于数据外部形式与内部含义两个方向的管理体系。
 
  • 在数据过程管理方面提供了图形化的管理界面。
 
  • 在数据安全方面,结合了自身参加大数据安全等保标准研发的经验,给出了成体系的解决方案。
 
    3、传统的IT创新体制不适应大数据的要求
 
    不同于以往的IT创新,大数据创新是对数据价值深层次的再发现,最需要的是对数据的各种出其不意的想法,因此越打破常规的思路越能产生意想不到的价值,单单依靠领军人物、领军企业的深思熟虑的想法是无法实现大数据各领域的全面发展。
 
    “小人物”有新奇的数据观点、独特的数据视角,大量的此类观点、视角汇集起来会产生质变,成功的应用可能因此诞生。给“小人物”一个支点,他们可能撬动中国大数据应用创新这个“地球”。
 
    但是目前大数据分析的门槛过高,如何降低大数据应用创新门槛,让“小人物”能参与到大数据创新的热潮中是我们重点考虑的问题。为此,新华三推出了 “大数据创新平台”,通过可视化的简单“拖拽”操作,即可完成数据探索与分析流程的实现。该平台使得大数据应用的开发变得简单,让更多地人加入到了大数据创新的队伍中。在该平台上新华三开发了IT大数据应用、安全大数据应用和无线大数据应用产品,同时和合作伙伴一起,服务于百行百业的客户如政府、公安、交通、环保、金融、运营商系统等。同时针对政务的数据共享的目标和数据大集中的需求,开发面向政务的大数据管理系统软件,解决政务数据大数据的问题。新华三大数据平台在广东政务大数据、华中农业大学、德豪润达生产数据综合分析平台已经落地。
    
    二、大数据研究的几点启示
 
    从推动大数据应用创新在中国取得成功的角度,基于大数据市场实践中的一些体会以及遇到的问题,我们提出以下几点建议。
 
  • 万众创新,大数据应用成功的关键在于全社会参与
 
    群众的创造性是无穷的,在大数据创新的时代,要有领军人物、领军企业,但更重要的创造简便、易用、低成本的大数据创新环境,激发全民参与大数据创新的热情。
 
  • 数据是重要资源,数据控制权将会成为各方博弈焦点
 
    大数据价值越来越大,大数据战略纷纷成为各国的国策,一些先进国家已经通过立法争夺数据控制权如欧洲的“数据统一市场”。在国家内部,企业与国家对数据控制权的博弈也屡见不鲜。
 
  • 打开数据之墙,让大数据在全社会自由流动
 
    数据保值、增值是数据在社会流动的原动力,如何保证数据在全社会范围内的自由流动,制订数据流通管理机制、数据定价机制、数据隐私保护机制、数据流通中的标准等方面都是必不可少的工作。
 
  • 算法决定一切,知识产权为算法市场交易保驾护航
 
    大数据应用创新,算法是核心,未来算法将无处不在,企业在大数据实践中会逐渐感到与其自己开发,不如通过市场购买。为保证算法市场的可持续发展,知识产权保护不能缺位。
 
  • 培养合格人才,根本解决大数据人才短缺问题
 
    根据商业咨询机构最新报告显示,大部分大数据应用的领先企业都遇到合格的数据科学人才招聘难的问题。随着数据应用的逐步深入,这种短缺会由业务层面的数据科学家延伸到数据层面的数据架构师以及数据管理人员。为此新华三与“大数据联盟”合作,推出了大数据人才培训、认证体系。
 
  • 长尾效应推高数据滥用的危害,大数据安全治理迫在眉睫
 
    大数据应用的核心基础是数据集成,这时,大数据安全长尾效应就变得突出。如果我们忽视了这方面的管制,则数据滥用会带来传统数据时代严重得多的损害,严重阻碍大数据的正常发展,所以要及早制定相关的安全管理规范,并在全社会强制执行。
 
    结束语
 
    新华三推出了支撑价值转化的三个关键平台:DataEngine大数据能力平台、DataEngine大数据治理平台、DataEngine大数据创新平台,结合上述平台,新华三提出了完整的企业级大数据系统解决方案,此外,在大数据应用开发、技术咨询方面也投入了大量资源。
 
    中国已经成为全球第二大经济体,人口众多、产业结构复杂,在信息革命中我们拥有后发优势,这都决定了我们会成为一个数据大国。但只有把数据变成可以转化成有价值的资源,我们才能成为数据强国,在全球竞争中实现弯道超车,成就中华民族复兴的中国梦。
 
责任编辑:李欢
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐