大数据spark数据处理项目：唤醒沉睡的数据

大数据spark数据处理项目：唤醒沉睡的数据▎“蚯蚓盒”以历史最佳“模式”为目标，能将小概率事件“变为”大概率事件作为中国中化具有自主知识产权的核心技术之一，“蚯蚓盒”以大数据分析为基础，利用生产过程数据、安全数据、检测数据（在线仪表、LIMS）及经营管理数据等，建模发现正常运行的边界，“勾画”出历史“最佳模式”，以对设备和生产装置进行实时运行状态、安全状态、生产状态的监控、在线分析和实时预警。当下，数字化转型已成为制造业发展的必由之路。全球规模最大的综合性化工企业——中国中化一直走在数字化转型的前沿。早在2018年，公司就启动了数字化转型战略，并组建了专门的流程工业服务大数据平台团队。次年，蓝星智云公司正式成立，专门负责大数据平台的方案与落地应用。2021年，中国中化更提出“线上中化”战略，旨在大力推动数字化转型工作，推动公司向世界一流企业迈进。在多年的数字化转型实践中，中国中化的流程工业大数据平台可谓功不可没，而在构建这一平台的

AVEVA剑维软件

“

以数据挖掘与分析为核心，提供面向流程工业的一体化解决方案，自下而上为企业解决痛点、痒点、盲点，助力企业实现真正意义的“数字化转型”。

”

当下，数字化转型已成为制造业发展的必由之路。全球规模最大的综合性化工企业——中国中化一直走在数字化转型的前沿。早在2018年，公司就启动了数字化转型战略，并组建了专门的流程工业服务大数据平台团队。次年，蓝星智云公司正式成立，专门负责大数据平台的方案与落地应用。

2021年，中国中化更提出“线上中化”战略，旨在大力推动数字化转型工作，推动公司向世界一流企业迈进。在多年的数字化转型实践中，中国中化的流程工业大数据平台可谓功不可没，而在构建这一平台的过程中，PI System发挥了举足轻重的作用。

唤醒沉睡的数据，“小蚯蚓”改变大工厂

对于流程行业来说，经过多年的自动化和信息化建设，虽然积累了大量数据，但对数据价值的挖掘和应用还较少；且即便实现了自动化报表及信息的综合展示，但仍然存在数据不统一、信息未集成等痛点。由中国中化蓝星智云团队研发的“蚯蚓盒WormBox”，能够巧妙地化解这些难题，用小小的“蚯蚓盒”改变庞大的化工厂，让更加安全、优质、高效的生产成为可能。

作为中国中化具有自主知识产权的核心技术之一，“蚯蚓盒”以大数据分析为基础，利用生产过程数据、安全数据、检测数据（在线仪表、LIMS）及经营管理数据等，建模发现正常运行的边界，“勾画”出历史“最佳模式”，以对设备和生产装置进行实时运行状态、安全状态、生产状态的监控、在线分析和实时预警。

▎“蚯蚓盒”以历史最佳“模式”为目标，能将小概率事件“变为”大概率事件

众所周知，流程行业的过程控制往往具有多变量、多目标、强耦合、大时滞、多约束、非线性的特征，“蚯蚓盒”能将原来由于控制器的滞后性“不可见”状态以“趋势”形式呈现在模式化监控的界面上，化繁为简，实现工业生产流程和装置的模式化智慧运行，并提高装置的安全性以及控制和监控的水平。

中国中化蓝星智云高级工程师孙玉鹏表示，蚯蚓盒可以唤醒在DCS、实时数据库、APC、仓库管理、ERP、电商等信息化建设中积累的大量数据，将蕴含在这些历史数据中的知识用可视化的手段展现，充分挖掘数据背后的逻辑和价值，进一步提升企业运营管理水平。

截至目前，“蚯蚓盒”的推出受到了用户的一致好评，中国中化系统内也有11家企业上线了模式化监控系统，帮助企业开展生产装置的操作优化，在未来两年还有望在集团内全面展开。

当然，除了“蚯蚓盒”这个杀手锏外，中国中化流程工业大数据平台提供的一整套成体系产品及服务，全方位覆盖生产过程的感知（Measurement）、分析（Analytics）、安全（Safety）、控制（Control）、优化（Optimization）及培训（Training），简称为“MASCOT”。

其中，感知无敌谱（ViewDeep）、控制（APC软件）、分析及优化（蚯蚓盒）、智慧安监系统整合成为极具针对性的完整解决方案。MASCOT能够助力企业实现产品质量可测可控，安全事故可预可防，优化生产操作，自下而上为企业解决痛点、痒点和盲点，实现真正意义的数字化转型。

消除数据孤岛 PI System奠定大数据平台基础

放眼整个流程行业，尤其在石油化工领域，由于现存各类数据的格式、标准和接口不尽相同，所导致的数据孤岛大大制约了企业的数字化转型。而MASCOT流程工业大数据平台所采用的PI System工业级实时数据库，能够打通企业内各类数据的壁垒，并融合整厂数据资产，为大数据平台夯实稳定、高效、可靠运行的数据基础。

早在2012年，中国中化就引入了PI System。在PI System丰富接口选项的支持下，公司将来自DCS、APC、仓库管理、ERP等所有系统的数据，通过OPC协议接口，Modbus协议接口和ODBC协议接口传输到系统中。并对于一些无法自动接入的质检数据，采用手工录入的方式进行统一管理和存储。单一的数据源，让中国中化的运营管理和后期维护变得更加方便，数据孤岛的消除，更为未来的实时计算打下了稳固的数据地基。

▎直接调用AF事件与计算结果，大幅提高了工程师工作和决策效率

对于化工企业来说，生产运营数据的完整性和可用性至关重要。但运营数据不同于其他类型的数据，如果没有上下文环境，成百上千的结果数据流将变得难以理解和使用。为了实现快速的数据访问，需要一个针对时间序列数据而非关系数据进行优化的数据库结构。

和常见的商用关系型数据库不同，PI System可基于时间序列处理不断更新、快速变化的数据，并适用于具有时间限制的事务处理。系统的数据保存可达毫秒级，且读写速度比关系型数据库快几十甚至几百倍。PI System所特有的数据压缩技术，更能在保证精度的前提下减少网络负载，为中国中化节省了磁盘空间。

不仅仅是存储，PI System完成大数据平台2/3的工作

数据库，顾名思义，承担着大量数据的收集和存储的工作。但对于PI System来说，在提供存储和管理实时、高保真的运营数据外，系统还带有数据整理、清洗、分析，以及数据转换关联、可视化等功能，可以轻松让用户从数据中挖掘出新的商业价值，这一点在中国中化流程工业大数据平台中得到了淋漓尽致的体现：

借助PI AF（Asset Framework）功能 大数据平台可以对数据进行标记和整合，并将数据组织成有逻辑且可复用的结构，对数据进行计算和预处理；

PI DataLink可高效提取历史数据到Microsoft Excel中，用电子表格功能分析运营数据，可以很容易实现时间戳的对齐，方便建模工程师获取历史数据；

得益于PI Vision，平台能够用图形化的方式，对分析结果进行直观呈现，极大地提高了监控效率，也称为“模式化运行监测”。对信息的分级（厂级、装置级、设备级）展示，让所有信息都能一目了然。此外，该技术还能对当前状态进行溯源分析和自主学习，查找问题的根本原因，客户只需要在Web界面简单地拖放图标，就能在几秒钟内创建仪表板、趋势线、数据值或测量图，并将它们显示在任何联网设备上。

▎模式化监控系统下，用户可获取重点设备的故障出现可能性和预计检修时间

不仅如此，面向未来，如果想要将数据进行人工智能分析，PI Integrator还可以将原始数据转换成清理好的行列数据集，直接传输给商业智能工具、人工智能或机器学习平台，支撑下一步的数学建模和算法模型训练。

综合来看，针对大数据分析与应用的三个要素——数据源、算法和可视化呈现，PI System可以说解决了其中2/3的问题。

大数据的“大”不是本质问题，如何应用才是关键。中国中化的流程工业大数据平台，为广大流程企业展示了一条实现数字化转型的清晰路径——“感知历史，化为模式，驱动未来”。而这条数字化路径的铺设，离不开PI System实时数据库的支持，因为正是有了它，才让企业的数字化转型之路事半功倍，直通未来。