e-works数字化企业网  »  文章频道  »  基础信息化  »  物联网

锅炉远程数据中心架构方案

2016/5/15    来源:e-works    作者:中能远景      
关键字:物联网  数据中心  CloudLinx  
2016年,某集团计划在公司总部建设远程数据中心,上线锅炉信息远程实时监测系统,将各锅炉每天产生的数据就地存储并实时上传到远程数据中心,在对大量有效数据分析的基础上,加以利用,为公司总部对各区域公司的管理提供依据,各区域公司对所辖新锅炉的管理提供数据分析服务和相关技术支撑。
    1.概述
 
    1.1规划背景
 
    每一个锅炉都是一个数据中心,每天产生海量数据,目前这些数据流失严重,现场和远程均没有进行存储、分析和应用。2016年,某集团计划在公司总部建设远程数据中心,上线锅炉信息远程实时监测系统,将各锅炉每天产生的数据就地存储并实时上传到远程数据中心,在对大量有效数据分析的基础上,加以利用,为公司总部对各区域公司的管理提供依据,各区域公司对所辖新锅炉的管理提供数据分析服务和相关技术支撑。
 
    1.2建设目标
 
    一是提高故障预警以及运行参数的智能优化能力;二是实现锅炉的全生命周期的跟踪和管理,为锅炉的运维、故障诊断提供支持;三是挖掘设备和生产实时数据的潜在价值,为锅炉的建设和运营优化提供支撑。
 
    具体目标包括:
 
    1)在线数据采集与传输系统建设;
 
    2)多地点锅炉的集中监控功能;
 
    3)实现基于大数据的挖掘与应用;
 
    4)最大化减少停机时间和因停机带来的损失;
 
    5)远程在线诊断和维护,护航保护装置安全运行;
 
    6)实现全球实时远程协助与故障诊断;
 
    7)整合企业现有监测资源,建立远程运行保障中心,实现远程控制与维修;
 
    8)提供App在线监测,随时随地在线了解锅炉运行状态信息;
 
    2.系统架构
 
    2.1系统构成
 
    锅炉远程数据中心系统有四个软件子系统组成:
 
四个软件子系统
 
图1 四个软件子系统
 
    中心系统包括:
 
  • 在线采集与传输系统
     
  • 远程监控及数据中心系统
     
  • 大数据分析平台
     
  • 智能终端系统
     
    数据中心系统主要硬件组成如下
 
  • 大数据集群主机
     
  • 数据库服务器
     
  • WEB服务器
 
    2.2系统网络结构
 
    系统采用分布式框架,功能应用可在系统内任一节点上配置运行,具备高性能、可扩展、容错强等特点。
 
    主站层:集中部署在云服务器。网络传输协议采用TCP/IP网络协议,网络传输租用运营商的带宽,实际带宽根据数据传输需要配置。
 
    为保证Hadoop数据库的集群性能,本方案建议配置三台云服务器作为大数据存储服务器。同时配置一台应用服务器为手机APP提供数据访问服务。
 
    子站层:每个子站配置现场数据采集接口机一台,采集接口机具有断点续传的功能。
 
系统结构
 
图2 系统结构
 
    2.3数据中心软件架构
 
    为实现锅炉远程数据中心系统的建设目标,我们建议采用Hadoop作为远程数据中心的大数据支撑数据库,以满足系统未来大容量数据的分析需要。
 
    大数据中心系统平台采用分层技术设计,其总体技术框架如下图所示
 
软件平台整体架构

图3 软件平台整体架构
 
 锅炉远程集中监控与大数据平台架构

图4 锅炉远程集中监控与大数据平台架构
 
    2.4统主站配置
 
    1)实时数据服务器系统在监控中心配置实时数据库服务器,主要完成各锅炉实时数据的采集和处理,并向各应用系统提供实时数据服务。服务器配置为一台高性能服务器。
 
    2)HADOOP历史数据服务器:作为数据中心数据收集、处理、存储历史数据存储中心,具备分布式存储和分布式计算的能力。服务器为3台冗余热备的高性能服务器。
 
    3)应用服务器(可选)进行数据处理、计算、统计、查询、分析等,服务器为一台高性能服务器。
 
 
锅炉远程数据中心硬件配置方案
 
图5 锅炉远程数据中心硬件配置方案
 
    2.5系统子站配置
 
    1)数据采集接口机:通过OPC或Modbus协议采集机组信息,将各类信息进行协议转换、数据处理后统一传输给远程实时服务器。一方面进行本地存储,另一方面通过加密协议,将信息上送到主站实时服务器。该接口机还具有断点续传功能,通道中断恢复后,能将中断期间的数据补传给主站服务器。
 
    2.6采集接口设计原则
 
    安全性
 
  • 采集接口系统与锅炉各控制系统的通信过程不能影响过程控制系统的运行;
 
  • 接到数据通讯系统上的任一系统或设备发生故障,不导致通讯系统瘫痪或影响其它联网系统和设备的工作;
 
  • 任何站与以太网的接口是无源并是电气隔离的;
 
  • 接口的通信方案将提供完善的安全性能,保障控制系统本身的安全。
 
    实时性
 
  • 系统能够及时地反映过程信息,这种及时反映是从过程分析的角度提出的;
 
  • 接口系统将提供高速的数据采集通道,保障数据的实时性;
 
  • 系统数据通讯系统的设计保证在网络最繁忙时功能站或终端对于数据库服务器数据的访问时间小于2秒。
 
    可靠性
 
  • 通信接口应能够在各种情况下正常工作,其可靠性应与被接口的设备一样;数据的通信机制提供可靠性保障,保证在当数据服务器通信出现故障或出现其它网络故障时不丢失数据;
 
  • 当网络系统中断时,系统能采取措施保存当前实时数据至少两周,当网络恢复后再将缓存的数据传送至历史库。
 
    开放性
 
  • 通信接口应能够接受被接口设备的通信协议;
 
  • 使通信具有一定的通用性和灵活性;
 
  • 采用标准的通信协议。
 
    扩展性
 
  • 通信接口系统具有较强的扩展能力;

  • 充分保证以后锅炉容量设计。

    易维护性
 
  • 通信接口子系统是易于维护的;

  • 维护包括状态提示、故障诊断、系统设置、人机接口、系统网络物理连接等等方面。
 
    先进性
 
  • 通信接口子系统的先进性是上述各种性能的综合要求;
 
  • 设计应符合国际流行趋势,具有技术先进性。
 
    2.7数据中心存储
 
    2.4.1分布式文件系统
 
    大数据平台存储系统使用分布式文件系统(HDFS)对海量数据进行存储。
 
    HDFS采用master/slave架构。一个HDFS集群是由多个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。StandbyNameNode用于辅助NameNode工作。
 
NameNode

图6 NameNode
 
    此大数据平台能够自动化的对数据进行备份、管理、维护。部分节点宕机失效时不会影响集群的正常使用,不会影响业务需求。
 
    2.4.2分布式数据库
 
    HDFS能够存储结构化数据、半结构化数据、非结构化数据。但是HDFS对于结构化数据的管理维护不是很友好。Hbase为面向列的分布式数据库,以表格的形式维护数据,能够存储数亿条数据。其特点是行可以数亿行,列可达数亿列。主要应用场景为对于实时性要求高的精确查询业务需求。
 
分布式数据库

图7 分布式数据库

master

图8 master
 
    Habse同样使用master/slave架构,master为HMaster主要负责各个数据区与对应的服务器之间的关系维护以及启动关闭Hbase集群等。slave为Region server主要负责本节点的数据与切分区域,并接受HMaster的指令。
 
按照Row Key字典体

图9 按照Row Key字典体
 
    Hbase对于海量数据的存储依赖于HDFS,将数据的存储存储到HDFS中。Hbase内部数据的维护使用分区管理(HRegion)的机制。
 
分区管理

图10 分区管理
 
    当分区达到一定数目时,进行分布式管理维护。
 
    2.4.3数据仓库
 
    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
 
 
统计分析

图11 统计分析
 
    Hive对于数据的存储依赖于HDFS,对于数据的计算依赖于MapReduce。Hive适用于实时性要求不高的,对局部数据的简单运算等业务需求。同样仪表的形式维护数据。
 
形式维护数据

图12 形式维护数据
 
    Hive的运行机制,前端接收到SQL语句后,经由驱动传递给编译器将SQL转换成MapReduce程序,再由驱动器将程序传递给执行器,执行器将任务发送给MapReduce编程框架。最终运行完的结果经驱动器返回给用户。
 
    3.系统配置方案
 
系统配置方案
 
责任编辑:李欢
本文为e-works原创投稿文章,未经e-works书面许可,任何人不得复制、转载、摘编等任何方式进行使用。如已是e-works授权合作伙伴,应在授权范围内使用。e-works内容合作伙伴申请热线:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐