榆北信息化运维分公司：数据整合治理平台让数据有了“新标准”

随着所运维服务煤矿智能化建设的快速推进，由于矿井所使用的设备厂商不同、数据格式不同、传输方式多样，导致生成了大量彼此分散、相互冗余的数据，直接影响了智能化矿井信息化系统联动、设备全生命周期数据分析，使智能化矿井的运维服务难度大幅增加。

为解决这一问题，陕煤榆北信息化运维分公司以《陕西煤业股份有限公司数据标准》为基础，围绕安全管理、煤炭生产、生产销售等7大方面，构建了16个大类、79个中类、313个小类，共计11934条数据治理规则。利用Hadoop分布式数据计算框架、Spark Streaming流式数据计算技术、ClickHouse列式数据库管理等技术，成功在2023年底设计研发出了煤炭行业首个数据整合治理平台。

该平台可将煤矿全量数据的“采、存、算、管、用”全生命周期管理落实到技术载体上。通过HTTP、WebSocket、MQTT等多种通讯协议对智能设备及信息化系统进行实时多格式数据采集，将千万级数据进行“数据清洗”和“数据治理”，消除在生产过程中生成的残缺数据、错误数据、重复数据，形成统一、规范的“新标准”数据。 

该平台采用云边协同模式，在榆北煤业科技研发大楼搭建云计算中心，在涌鑫矿业公司安山煤矿进行边缘计算，通过该平台的自研核心算法、自动化流程等技术，对安山煤矿全量数据进行数据整合治理。自2023年底在安山煤矿投入使用260多天以来，该平台利用数据标准内置转换、数据采集、数据治理、数据上传、数据应用5大核心模块，共计接入187个API数据接口，采集安山煤矿IT与OT设备共计10327个实时数据字段，平均每日治理8万余条数据，不标准、重复、模糊数据治理率达90%以上。

截至目前，该平台通过库表、API接口等自动化流程，构建起安山煤矿各智能设备和信息化系统之间高效的数据桥梁，实现了数据的共享与应用，有效提高了70%的数据应用效率，打破了安山煤矿原有系统中存在的“数据壁垒”与“信息孤岛”现象，实现数据融合分析，助力信息化系统更高效运行。

为了保障数据在传输、存储、治理过程中的安全性，该平台采用国家密码管理局发布的SM4分组密码算法作为加密算法，对传输的数据进行30次多轮迭代和1次反序变化加密，构建128位的密钥，有效的保护了数据的机密性，确保信息在传输过程中不被未授权的第三方窃取或篡改。

“该平台还可以进行多种复杂场景下全流程的无代码开发操作，可以通过‘拖拉拽’的形式去配置所需要治理、应用的数据，自从用了该平台后，大幅减少了各系统数据对接、上报、汇总、分析的工作量。”涌鑫智维中心经理李沛说道。（马朝远、陈浩）