国产实时数据库在石油炼化行业的应用

       实时数据库是企业信息化管理系统的核心和中枢，是企业实现从设备到自动控制到高层计划管理的桥梁，在企业信息化建设中起到至关重要的作用，广泛应用于电力、石油化工、钢铁、交通、航空航天、电信、国防等众多的流程工业领域。随着各行各业对生产信息化建设的需求快速增长，给实时数据库行业带来广阔的市场空间。

       实时数据库基础平台于行业需求相结合，即成为实时数据行业的应用系统，以制造执行系统（MES）为例，它就专门为满足石油化工等领域生产信息化，环境检测、预警，生产过程监控和管理，故障诊断分析，性能计算、经济负荷调度等，基于实时数据库的环境检测于预警信息化，污染源检测，达到检测结果的科学性、真实性和可靠性。以下从实施数据库架构，数据流，安全分析，断缓，同步，分布，可靠，扩展功能等方面进行阐述，文章是以中国石油炼油与化工系统结构方式基础展开论述。

一、整体体方案架构、数据流、安全分析

       1.整体架构分析

       互联网的数据来自于互联网用户和服务器等网络设备，有许多文本数据，交际数据以及多媒体数据，而工业数据首要来源于机器设备数据、工业信息化数据和产业链相关数据，由工业信息体系发生的数据，一般是经过数据库形式存储的，企业控制点位低于一万的分布机构，采用数据服务器方式采集数据传输到总布中，点位超过一万以及具有现场应用需求的分布机构，部署轻量级实时历史数据库，总布平台部署一套云架构的实时历史数据库，采用集群方式，总布与分布机构之间推荐采用隔离方式为工业防火墙，各分布机构与作业区之间推荐采用隔离方式为网闸，方案特点以中心站或作业区为数据节点，实现节点管理功能；支持现场数据以多协议方式采集到分布机构；支持现场数据单向传输到分布机构；分布机构数据信息可同步至总布；工程远程管理及部署支持实时数据历史接口导入。

       2.轻量化数据库

       设计要求在多个分布机构分别部署一套轻量化数据库软件，实现采集显示现场实时数据，存储历史数据，与远端数据库实现同步数据更新，轻量级数据库支持万点到几十万点的数据存储，支持实时和历史数据查询；协议支持各种主流的工业通信协议、控制设备和上位系统，包括Modbus、OPC、DNP3、DLT 645、IEC 60870-5-104、西门子S7系列PLC、AB PLC、GE PLC等。远端同步支持远端服务器的数据同步功能，支持断线缓存，保证数据完整性。断线续传数据库可进行历史数据存储，出现分布机构与总布断线后，再次连接能够把暂时缓存在分布机构的数据续传到总布中。安全方面采用采集端口部署单向隔离网闸，采取协议传输方式，在满足数据有效传输的同时保证数据的单向传输，保证现场作业区的安全性。

       3.方案分析

       设计要求按需要满足50万点数据库冗余上云，工程部署在总布完成，无需在分支机构再次配置，实现总布配置，分厂自动同步的功能。云架构技术基于Hadoop体系的工业数据库，数据库容量满足50万点，可动态扩容。冗余方式采用集群高可用，故障转移。部署手段采用Web部署工具。协议支持MQTT和Kafka等消息队列，用于大数据量并发时。安全具有完整的数据安全及数据加密机制，具有多户设计模式，租户下的数据隔离。

       4.安全设计分析

       现场作业区与各分布机构之间推荐安装工业隔离网闸，对工业网络协议进行深度解析，实现对TCP、UDP数据传输方向的控制，在开启单项数据传输功能后，只允许单方向传输，反方向的传输将会被阻断，确保不会有任何敏感数据泄漏到安全区域以外。各分支机构与总部之间推荐安装工业防火墙，实现工业协议过滤、URL过滤、入侵防御等功能，在满足隔离要求前提下满足总部管理各分布机构的需求。在总布和分布机构服务器内，通过设置白名单、安全区权限、用户名密码复杂性保证数据的安全。

二、方案同步和断缓解析

       1.实时数据库分析

       实时历史数据库对于流程工厂来说就如同飞机上的“黑匣子”，是实现智能工厂的关键。企业级实时历史数据库可用于工厂过程的自动采集、存储和监视，可在线存储每个工艺过程点的多年数据，可以提供工厂模型，生产运营管理、设备运行管理、历史追忆、生产报表等多种调度管理模块。实时数据库是一个高性能、高吞吐能力、可靠性强、跨平台的实时历史数据库系统，可以用于采集、压缩、存储、加工、分析等任何带有时间特性的生产信息。它能够提供全系列的工业通信接口及其他系统业务接口，实现生产监控到调度管理的完美整合，也可以与工业云端实现完整融合。

       采集站作为数据库的端口，实现设备数据的接入，支持上千种类设备的连接，采用模型化开发设计，多人协作开发将各采集站数据均送入数据库中，在线和离线工程维护，系统性能监视，远程运维管理。实时数据服务作为数据库系统核心，提供多种数据类型包括浮点、整型、布尔型、字符串等，实现实时数据处理、历史数据存储、自动诊断自动恢复、磁盘阵列冗余保证数据持续稳定运行，支持UNIX/Linux/Windows32/64等系统的运行。应用客户端支持C端及HTML5技术的Web端可视化展示，提供方便友好的开发环境及面向对象的设计，预制图形模板、工业图形、动画连接、多种工业标准的复合图形组件，方便工程人员构建过程的监控和部署的可视化应用。扩展组件支持关系库交互ODBCRouter、SQLRouter，标准OPC DA、OPC UA协议转发，计算引擎，数据同步工具等。SDK接口实时数据库的接口支持传统客户端应用以及信息化平台等WEB端的调用。

       2.实时数据库特点

       平台支持有多种系统的运行，性能指标，大点数、大吞吐量、高压缩比、高并发应用。先进的两级历史压缩技术，支持逻辑压缩和物理压缩。高可靠性分布式应用，支持分布式、冗余容错、分级架构，丰富的数据采集接口，支持DCS、SCADA、PLC、RTU等智能仪表。批量化应用，支持批量建设备、建数据库点的应用。支持采集站设备的在线更新设备通道，保证数据连续性，支持完整的数据类型，数据点查询，数据在线维护等。完备的权限管理策略，通过用户组、用户及安全区配置权限，应用扩展与关系库灵活交互，支持OPCDA/UA信息化交互MQTT，计算引擎，灵活构建业务报表。灵活的数据库客户端应用，大屏可视化。可扩展的集成架构，支持API数据接口及ODBC、OPC标准通讯，为将来二次开发提供有力支持。

       3.消息同步

       下级数据库可以与上级数据库之间通过消息同步方式满足总布更改，分布机构同步部署的需求。消息同步的特点支持同类数据库下级数据与上级实时历史数据同步。测点信息和数据源状态均可实现同步，也可实现分布机构与总部数据的断线缓存。

       4.断线续传

       分布机构采集服务器的断线续传采集端口具有断线续传功能，当某个采集服务器由于网络、断电等原因与上级实时历史数据库发生了断开情况，可以在采集服务器以时间方式或者空间方式缓存不能上传到数据库的数据，当采集服务器与数据库通讯恢复后，在回补到实时历史数据库中，保证历史数据的完整性。总布级联设备的断线续传是由总布实时历史数据库与各分布机构轻量级实时历史数据库采用消息同步方式，该方式保证了总布数据库能够包含各分支机构的数据，如果由于断电、远程网络不稳定等原因导致的两级数据库之间发生了中断，数据就会暂时缓存在分布机构数据库内，等待通讯恢复后，分布机构轻量级数据库内缓存数据会回补到总布数据库中，保证总布数据库内的各分布机构数据的完整性。

三、分布式、可靠水平扩展解析

       1.数据库部署方案

       总布云端数据平台是一个面向工业云的海量实时历史数据库，具备实时数据库、时序数据库、RDB数据库、文件数据库等综合特征。基于分布式架构的数据管理与高性能方案，相比开源或互联网应用的时序数据库，则更贴近传统工业标准使用模式，兼容传统工业实时数据库的测点管理模式，提供全局的点位管理及在线的数据趋势查询，提供数据可视化服务，拖拽式自定义统计图表，快速配置形成数据可视化报表。

       2.数据源架构介绍

       数据源主要指内部网关类、厂级实时历史数据库类型产品，同时也支持第三方数据源通过协议进行数据接入。

       3.云数据库特点

       通过弹性的架构，灵活的扩展，支持数百万级测点采集数据的实时、大吞吐、高可靠读写，基于Restful API提供高频、高速、大规模的采集数据访问，并具备以下特点，第一、高可靠性支持高可用集群部署，高可靠和高稳定性提供工业级数据安全保障；第二、高性能超大规模数据快速查询，快速检索任意时序；第三、高吞吐支撑工业百万级物联网采集节点数据的写入与实时读取，支持毫秒级数据插入；第四、灵活的数据接入机制通过Restful API即时读写数据，通过平台的实时流可视化写入时序数据库；第五、高压缩比提供优于传统关系型数据库数十倍的高压缩比存储，极大节约存储资源投入；第六、横向扩展可以随时根据数据增长规模轻松横向扩展集群。

       4.人机界面整合管理

       采用统一管理对分布机构数据库进行测点及采集工程配置，镜像工具自动将数据通过数据库API将推送到云端的数据库中，实现自动同步。云端的数据库可按照多用户方式分配各分支数据库权限，根据权限可查看对应数据库内的所有数据。数据库提供有好的交互UI可快速配置页面工程及时生效。分厂数据库具有缓存工程机制，可用于对比修正的工程文件，根据比对修改内容在线更新工程，更新工程不影响其他正在采集的通道。

四、总结

       通过以上对国内实时数据库架构的分析，从发展历程看，实时数据库往往首先开发出使用与特定行业的产品，经过大量的实际应用案例检验成熟后才开始向其他行业扩展，而国内实时数据库企业发展时间普遍较短。随着实时数据库在全世界应用广泛，多个国家和地区所涉及的行业也由最初的石油化工成功扩展到电力、钢铁、造纸、制药和生命科学，还传输和分配公用事业等其他行业。未来，本土数据库将凭借成本的优势对国外品牌形成逐步替代过程，整个国内实时数据库行业也会迎来更大的发展空间。