e-works数字化企业网  »  文章频道  »  基础信息化  »  网络与安全

大数据关键技术初探

2017/3/18    来源:知网    作者:钟君  张梅燕      
关键字:大数据  数据挖掘  
本文采用文献研究法,通过对大数据相关文献的阅读与整理,对大数据的关键术进行了深入的探究,从智慧之道、高效之道、实时之道以及投向更广阔的技术领域四个方面对相关技术进行详细介绍。
    随着不断涌现的各种社交网、微博这类新型的信息发布方式及物联网、云计算等技术的兴起,数据正在以空前的速度增长,大这意味着大数据时代的到来2012年1月在瑞士举行的达沃斯世界经济沦坛上,一份名为《大数据,大影响》(Big Data, Bim pact)的报告引起热议。这份报告认为,大数据就像货币和黄金一样,是一种新型的经济资产。多家投资机构甚至据此判断,“大数据”将会成为一条全新的投资主线
    
    笔者通过对大数据相关文献的阅读与整理,对其关键技术进行深入的探究,从智慧之道、高效之道、实时之道以及投向更广阔的技术领域四个方面对相关技术进行详细介绍
    
    1.智慧之道—数据挖掘
    
    一般来说,数据挖掘的方法可分为统计型和人工智能中的机器学习型两大类,在其应用中,将有价值的信息进行发掘都是其最终目标由于各种方法都有自身的功能特点以及应用领域(如表1),数据挖掘通常是将多种技术结合使用,形成优势互补。
 
表1 数据挖掘的主要技术方法对比
 
数据挖掘的主要技术方法对比
  
    2.高效之道—分布式计算
    
    典型的分布式计算技术如下:1)中间件技术:分布式应用软件若需要在的技术之间共享资源则需要借助于此。2)移动A gent技术:一般认为此技术是一类自治程序,为分布式应用提供高效方便的执行框架,并能在自治之下实现不同计算机之间的移动。3)网络技术:此技术实现在动态变化的多个虚拟机构间共享资源和协同解决问题。4)P2P技术:能够充分利用分布在终端电脑上的边缘性网络资源降低对中央服务器资源的消耗需求。5)Web Service技术:即Web服务,是在Internet上进行分布式计算的基本构造块。
    
    3.实时之道—内存计算
    
    “内存计算”的出现,是为了应对实时分析计算的要求,加快处理速度,让数据分析的时效性和灵活性同时提升;“内存计算”的出现与计算机处理能力的提升、成本的下降直相关,由于是“内存计算”数据库,同磁盘读取相比运行速度显著提升。
    
    4.投向更广阔的技术领域—云计算、物联网、移动计算
    
    4.1云计算
    
    典型的云计算技术如下:1)虚拟化技术:该技术打开了云计算的大门。2)海量分布式存技术:云计算为了弥补了硬件的不可靠而以分布式存储方式进行数据的存储,海量分布式存和计算系统由此发挥作用。3)并行编程模式:云计算自动将仟务分成多个子仟务,采用MapR educed编程模式,将通过R educe和Map两个步骤进行。4)数据管理技术:云计算的数据有着非确定性、异构、海量的特点,故需有效的数据管理技术来进行处理分析,从而构建出扩展性强、高度可用的分布式数据存储系统。5)分布式资源管理技术:是保证系统状态正确性的关键技术。6)云计算平台管理技术:能协同大量的服务器,是云计算的“神经网络”。
 
    4.2物联网
    
    物联网的概念最初来源于美国麻省理工学院(MIT)助在1999年建立的自动识别中心(auto-ID Labs)提出的网络无线射频识别(RFID)系统—把所有物品通过射频识别等信息传感设备与互联网连接起来,实现智能化识别和管理。其关键技术如下:
    
    1)RFID:又称电子标签,其系统包含两部分:一是读写器,二是电子标签。2)近场通信技术:又称近距离无线通信,一种短距离的高频无线通信技术。3)传感器网络技术:主要解决物联网中的信息感知问题,是其技术核心。4)无线通信技术:此技术将使物联网的构想变为现实。
 
    4.3移动计算
    
    主要的移动计算关键技术如下:
    
    1)移动计算通信协议:具有特殊运行环境的移动计算需要有异于传统计算模式的通信协议来支持。2)情景感知:主要解决移动计算如何为移动的用户提供基于其所处情景的服务。3)移动计算环境:其搭建是移动计算为用户提供服务的基础。4)无缝迁移技术:要求用户任务在移动过程中,与该任务各种相关信息也随之移动
    
    5.总结
    
    目前,有些大数据的研究,是以商业利益为驱动,一些大的依靠数据牟利的大公司也许在今后会是大数据应用的主体,然而不管怎样,大数据一定会成为各界的重点研究领域。总的来说,目前对于大数据的研究仍处于一个初期的阶段,还有很多问题需要解决,希望本文的介绍能够给大数据关键技术研究提供一定的参考。
 
责任编辑:李欢
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐