面向特定领域大数据平台架构及标准化研究

    对于特定领域，需要对相关技术进行更加严格的规范，以保证其对时效性、多样性和数据质量的强烈需求。同时，该部分也是大数据领域研究的核心内容，在学术界得到普遍关注，催生出诸多不同技术流派。在大数据处理生命周期技术标准领域，国外多家知名标准化研究机构在数据收集、存储、处理、可视化等方面发布了诸多技术标准，例如ISO/IEC JTC1/SC32工作组推出的数据管理标准《信息技术 数据管理参考模型》，美国存储网络工业协会（SNIA）颁布的大数据云存储标准《信息技术 云数据存储和管理》。同时，随着特定领域数据量的日益激增，分布式技术和互操作技术已经是大数据解决方案的关键环节，也一直受到国外标准研究机构的关注，如ISO/IEC JTC1发布的《信息技术开放分布式处理》和NIST发布的《大数据互操作框架》[14]。

 

 

    平台标准主要针对大数据相关技术平台进行规范，包括基础平台、管理平台、计算平台、系统平台。其中基础平台包括平台基础设施、预处理类平台等；管理平台包括数据库平台等；计算平台包括分布式计算平台、智能分析平台等。

 

    由于日益膨胀的互联网数据对大数据平台的迫切需求，相关技术方案在互联网行业有着广泛的研究基础，例如谷歌公司的Hadoop计算平台和HDFS存储平台、开源数据库平台HBase、UC Berkeley AMP lab开源的SPARK平台、适用于图数据计算的Giraph平台等。大数据平台的解决方案种类繁多，新技术新架构层出不穷，很难形成统一的标准规范，该领域的标准化研究相对薄弱。同时，特定领域大数据应用对高安全、高可靠、强实时的需求迫切，对成熟平台技术的依赖程度较高，急需一整套健全的平台标准规范。

 

 

    应用标准主要针对特定领域大数据相关技术应用与服务产品进行规范，主要包括大数据资产管理、数据共享模式、特定应用领域等。其中特定应用领域包括银行金融大数据、电子商务大数据、航空航天大数据、网络安全大数据、应急反恐大数据、军事对抗大数据等。

 

    相比于传统应用领域，特定领域大数据在安全性、可靠性和实时性等方面有着更高的需求，急需规范大数据资产的管理和共享模式以及特定领域的应用标准。中国电子技术标准化研究院在开放数据集、数据交易平台、数据开放共享平台、领域应用数据等方面拟开展标准化研究工作，尤其是领域应用大数据标准，现已成立工业大数据专题组，非常重视大数据在各行各业的应用标准化研制，对特定应用领域制定大数据应用标准具有重要的指导作用。

 

 

    数据安全是信息安全的一个分支，NISTIR 7298技术报告描述数据安全为旨在防止对数据的未授权（事故或有意）篡改、破坏和泄露[12]。大数据背景下的安全标准主要由物理安全、网络安全、系统安全、内容安全等标准组成。其中物理安全标准主要指环境安全和设备安全等标准规范；网络安全标准主要指大数据传输安全、入侵防护等标准规范；系统安全标准包括存储安全、计算安全和权限管理等标准规范；内容安全标准包含隐私保护、数据加密等标准规范。

 

    对于特定领域大数据应用，数据安全问题或隐私泄露可能引发灾难性后果，导致这些领域不计成本地追求系统的高安全和高可靠性，并且积极投身于数据安全标准化的制定工作中。例如在航空领域，中国民用航空局在《民用航空空中交通管理管理信息系统技术规范》中提到了数据安全问题；在金融领域，中国人民银行发布的《银行卡联网联合技术规范》中，提到了数据的安全传输部分，这些都为大数据背景下的安全标准研究提供了参考。

 

    同时在国际上，安全标准的研究也得到了普遍关注。ISO TC68/SC2工作组专门为金融领域制定了标准性文件《银行领域—安全和其他金融服务—金融系统安全架构》，规范了金融数据安全的加密方法、密钥管理、API、协议等。JTC1/SC27工作组在《信息技术—安全技术—隐私框架》中定义了数据隐私架构的基本元素组成和相关基本概念解释，并指出了数据隐私的11个基本原则。鉴于特定领域大数据对高安全、高可靠性的特殊需求，安全标准对规范大数据的安全管理和使用具有重要意义。

 

 

    针对特定领域对高质量数据和高可靠应用的特殊需求，本文将质量标准作为面向特定领域大数据标准体系的重要组成部分之一。质量标准主要针对大数据的数据质量和产品质量进行规范，包括质量模型、数据质量测试、产品和平台测试等标准。其中数据质量测试以及产品和平台测试又包括测试场景、测试指标、测试工具等方面标准规范。

 

    国内外大数据标准化研究机构在质量标准方面关注较少，一般某些特定领域的研究机构在该部分标准中成果较多，根据实际应用中的质量问题和测试方法，发布了质量标准规范文件。例如在地理信息系统领域，ISO/TC 211于2003年发布了地理信息数据质量评估过程标准《地理信息—质量评估过程》，并于2013年对其进行修订，发行新版标准《地理信息数据质量》。我国国家测绘局在2010年也发布了地理信息数据测试标准文件《基础地理信息数据库测试规程》，规范了地理信息数据库的测评，整体提升了地理信息数据质量。金融、军事、航空航天等特定领域对于质量模型和质量测评等相关标准的制订，可参照国内外先进标准成果，研制大数据质量标准规范，完善特定领域大数据标准体系。

 

 

    与国家民生和安全密切相关的银行、电子商务、航空航天、网络安全、应急反恐、军事对抗等特定领域大数据是国家安全的重要战略资源。研究面向特定领域的大数据标准是实现相关大数据系统互连、互通、互操作的重要前提，是实现大数据系统中重要信息跨部门、跨领域、跨平台安全共享的坚实基础。本文系统分析了特定领域国内大数据研究现状，结合不同领域任务大数据特点和需求差异，提出了面向特定领域大数据参考架构，并对架构的各个功能部件从技术基础、角色模型和主流产品等角度进行系统分析。进一步，结合大数据架构模型和特定领域大数据发展需求，提出了面向特定领域大数据标准体系框架，并对相关标准进行有效分析。面向特定领域大数据参考架构和标准体系框架将随用户需求的不断拓展和信息技术的不断进步而持续演化，为面向特定领域大数据相关技术发展提供重要技术支撑。