大数据 → 大智慧：水务大数据平台系统设计实践
【谷腾环保网讯】通过借助新IT技术与水务应用结合，建立水务大数据标准规范、大数据采集系统、大数据交换中心、大数据云计算平台、大数据应用支撑平台、大数据创新应用系统及安全与备份系统等框架体系。为达到“三全”（大数据全过程覆盖、全要素分析、全流程辅助决策）目标，力争在水务行业生产、管网、服务、管理及安全等细分领域取得突破，最终实现水务企业从“大数据”分析演变为“大智慧”服务。
借助新一代IT技术发展优势，与水务行业结合，推动水务智慧化深入应用，在供排水领域数据具备4V的特征：体量大（Volume）、类型丰富（Variety）、价值密度低（Value）和实时在线（Velocity）。如此，也给水务企业在大数据领域的创新发展提出了新的更高要求。大数据融合IT技术和系统思维，再加上大数据场景应用，更加给水务行业带来了新机遇和新挑战。如今，“谁掌握了数据，谁就掌握了主动权”已是行业的共识。在这种背景下，建设水务大数据平台，已成为水务企业发展的目标和增强核心竞争力优势的重要手段，也是打造水务“智慧化”的重要体现。
01 水务企业面临的挑战
结合水务行业自身的需求和特点，发现水务企业存在的主要问题和面临的挑战主要包括：
信息系统多且太分散，维护成本高；
数据标准不统一，无法实现统一共享，对数据的整合集成及互联互通造成了阻碍，增加了信息整合的复杂度；
数据质量存在不可靠问题；
数据来源复杂，终端多而分散，导致数据采集及存储的安全存在问题。
数据众多，对于数据的分析处理能力有限，无法有效的进行更深层次的数据挖掘、利用和辅助决策支持。
02 水务大数据平台的建设目标和意义
水务大数据平台建设以“1+1+1+X”（一个平台，一个中心，一个标准，X项应用）模式为基础，通过新IT技术应用，融合水行业需求，把“数字化”应用于公司治理与为民服务中，创造新型的管理与服务模式。在数据的价值创造与价值传递过程中，数据将价值链的更多环节转化为战略优势，实现技术、物质、资金、人才、服务等资源的优化配置，进一步提升管理精细化、为民服务精准化和水务企业管理现代化的目标，数据驱动创新，让大数据技术能力转化为企业发展的新动力。
03 水务大数据平台系统规划设计
3.1 水务大数据平台顶层设计
系统总体架构的5个层次分别是全面感知层、基础设施层、数据资源管理层、应用支撑层及系统应用层，且包括标准规范和安全保障及运维体系。系统总体架构如图1所示。
3.2 标准规范建设内容
水务企业大数据平台是一个大规模的建设工程。该项目以业务系统的相关数据为业务处理核心，以其他相关部门为信息交换对象，实现水务企业内跨部门的大型综合与分布式的信息化系统。
面对这样一个大型的信息项目，水务企业首先必须建立完善的标准体系和相关制度。保障水务大数据平台建设标准的可持续发展能力，实现真正意义上的互联互通，解决了数据统一标准、统一共享及统一运维体系的问题。水务大数据平台建设标准规范由8个分部分构成：数据标准、数据集成标准、大数据分析指标规范、数据交换与共享规范、数据库更新维护机制、管理制度、应用评估规范及信息安全保障体系。
3.3 大数据采集系统
大数据采集分两个单元功能模块，一个是终端的数据采集，另一个是服务端的数据汇聚共享交换。数据采集系统肩负着实时在线数据采集、业务系统数据整合集成及人工填报数据的收集工作，为提高集成效率，实现一体化物联网采集平台，集各类型数据采集任务于一体。数据获取层级如图2所示，系统设计以物联网方式搭建感知网，解决并实现了一数一源、一源多用及分布式实时采集的功能。
3.4 大数据交换中心
搭建水务企业综合数据库（或中心数据库）与大数据交换中心，实现水务企业各部门业务系统之间的数据共享交换，作为今后数据共享与交换的基础支撑平台。通过该平台实现生产、管网、服务等数据共享、治理及挖掘，为企业管理提供决策数据。
基于统一汇集与共享交换平台构建供水、排水、生产、营销、管网、客服、项目和水质等数据的交换中心，系统主体架构分为源数据层、数据汇聚层、数据治理层、数据管理服务层、数据应用层、用户层、标准体系、安全体系及运维体系。实现统一数据汇聚能力、数据服务能力和数据处理能力，为未来水务大数据微服务应用夯实基础。
3.5 水务大数据云计算平台
水务大数据云计算平台是顺应目前信息化技术水平发展、供排水服务职能改革的架构平台，为决策提供及时、准确、可靠的信息依据，提高水务企业集团化工作的前瞻性和针对性，为水务企业生产运营管控提高决策支持效率和水平。
水务大数据平台的建设目标是搭建私有云平台，包括云平台管理、服务器集群、存储平台等，满足海量数据的采集、存储、计算的需要，平台必须具有高可用性、弹性且高扩展性、高可靠性要求。在大数据分析监测基础上，为水务企业把握经济发展趋势、预见运营发展潜在问题、辅助决策提供基础支撑。水务大数据云平台的系统整体架构如图3所示。
3.6 大数据应用支撑平台
为各个应用系统提供应用支撑平台系统，主要系统设计包括数据库软件、操作系统、统一视频监控平台、虚拟化软件平台、中间件、统一用户认证、GIS平台、大数据可视化平台、大数据基础能力平台及云平台管理软件。这些软件平台系统均采用采购整体或组件的方式进行直接使用和二次开发，以符合大数据平台的应用和管理需求。
3.7 大数据创新应用系统功能
3.7.1 大数据决策支持系统
系统设计既围绕集团、公司及厂级等不同层级构建管理驾驶舱，又从业务和分析指标维度，建立分析视图，最终以分类预警方式实现企业全局态势掌控。
（1）集团级管理驾驶舱。面向水务企业集团管理层领导或监管部门，建设个性化“企业驾驶舱”门户。从各业务系统抽取相关业务数据集成在对应的主管领导门户中，如一些关键指标的分析展示等使领导可以及时、便捷的获取所需的数据和文件，部门也可在第一时间将业务状况展现给领导。主要功能包括：营业管理指标监控、生产绩效指标监控及管网绩效指标监控。
（2）公司级运营决策分析。公司级管理驾驶舱主要针对财务、人力、计划、资产、投资项目等经营管控KPI进行分析、挖掘，并以各种图表、曲线及雷达图的形式展现企业运营态势情况。支持从不同维度进行分析，如对历史同往期业务对比等。主要功能包括经营管理分析、营销管理分析及业务运营分析。
（3）厂级决策分析。厂级管理驾驶舱主要实现多维图形展现方式，具体包括支持饼图、柱图、雷达图、仪表盘、指示灯等主流图形展现方式。支持综合报表展现的展现方式，具体包括支持二维表、旋转透视表等各种综合报表的展现及监视。
（4）业务主题分析。业务主题分析汇集供排水生产、服务、营销、工程建设及管理相关部门（包括供水管网、水厂和二次供水等）的实时和历史数据、生产运行及调度相关的主要指标、视频监控、报警和事件的面板信息呈现。
（5）大数据分析指标监测预警。以关键绩效指标的目标值作为企业的一定时间区间内的业绩目标，实现“智能知识库”，根据设定各种指标的警戒值，在指标值不能很好的吻合目标值的时候，进行预警提示。
3.7.2 人工智能应用示范
鉴于人工智能应用，需借助大数据和云计算平台，得以让供水调度模型、污水处理厂工艺仿真建模及智能语音机器人等实时在线计算和应用功效发挥到极致。
（1）供水管网智能调度。在水力模型和仿真技术的发展过程中，势必与全网自动化智能控制系统相关联。压力、流量、水质等管网感知仪表和视频是智能供水系统的“千里眼”，压力控制阀就是远程“机械手臂”，模型仿真平台就是通过分析“听”到供水系统中的问题，在调度平台中集合“智能的眼、耳、手”，打造未来的智能供水调度系统平台，也为今后城市供水调度AI智慧大脑奠定了坚实的基础。
（2）排水设备故障诊断系统。系统设计包括设备状态监测、运行异常预警、设备综合效率分析。①设备状态监测：是对生产现场工作人员的设备进行实时监测的工具。可通过状态监测对整个生产现场的设备状态一目了然，可以快速定位到需要关注的设备，从而提升设备利用率。②运行异常预警：通过收集设备实时运行参数、故障记录、点检记录等信息，运行异常预警模块通过对设备的不同运行状态进行建模，汇总分析多维实时参数，识别异常模式从而给出预警信号。③设备综合效率分析：通过获取设备的实时状态，可以对设备异常状态、累计停机时间超限等推送实时报警信息，并且支持自定义报警规则。提供客户自定义时间范围内设备时间利用率、性能利用率以及综合效率的历史数据查询，同时对比展示各个效率指标与历史平均值的对比可视化效果。
（3）污水处理辅助决策系统。污水处理过程工艺极其复杂，涉及数据种类众多，污水处理过程涉及的数据处理、控制过程、工艺诊断与过程优化、运营成本分析等都与数据挖掘技术息息相关。数据挖掘是从大量的数据中提取出隐含的、未知的、潜在的有用信息的过程。水质预测：对污水处理厂设备和工艺等运行状态分析，准确预测未来几个小时的生产水质情况，提前为生产情况提供参考信息，以便及时调整，实现达标排放。对溶解氧、污泥浓度、进水水质、进水温度等影响水质有关的参数提供调整和参考意见。
（4）智能语音服务机器人。语音识别技术是借助计算机算法机器人理解和识别人的语音并转换为可读的输入。系统所设计的智能化语音识别，对于水务企业客服机器人的应用领域具有重要的创新意义：人工智能语音机器人，为水务企业“服务赋能”，标志着在水务企业AI技术领域的科技创新与行业应用开端。实现功能包括人机对话、查水费、自动派单、语言质检及人工智能机器人的操作。
3.7.3 大数据可视化展示系统
水务大数据KPI集中展示，“总览监管图”以城市GIS地图为背景，将对该地区的自来水厂、污水处理厂、供水管网、排水管网、建设项目及资金等专题信息进行集中展示与分析，为管理者提供决策支持。决策支持平台对来自不同系统的生产、管网、服务与管理数据等进行梳理、转换、分析，最终转变成对决策更有价值的各种KPI指标，为决策过程提供支持视图及分析结果展示。指标分析展现采用主题桌面的形式，通过仪表盘、直方图、趋势图等多样化的图形结构对各类指标、数据进行展示。
3.7.4 互联网+移动应用
基于互联网+理念，设计水务通移动APP应用，让水务大数据决策中心无处不在，一机在手，一查便有。系统设计功能主要包括数字水务地图、供水指标监视、排水指标监视、数据指标曲线分析及数据指标报警。
3.8 安全与备份系统
结合企业需求、网络与信息安全体系建设的实际情况，依据信息系统安全等级保护基本要求，建立企业信息安全机构、人员、制度、系统及运维管理等控制措施。系统按照三级等保要求保障数据安全、应用安全和系统安全。其中要设计考虑数据采集层、数据交换层、用户端及移动终端等安全防护措施、已有安全资源利旧，且通过安全等保测评。
设计本地系统数据备份和综合考虑同城备份或租用云灾备中心系统，形成系统数据的异地灾备方案，满足灾难恢复能力，并符合管理部门关于风险防范、备份和恢复的要求。
04 水务大数据平台建设项目实践
4.1 项目背景
全球数据呈现爆发式增长，对经济发展、社会治理、城市管理、人们生活都产生了重大影响。当今，越来越多的企业将“数字化转型”视为契机，抢占新的制高点，变数据为资产。信息技术与水务业务管理的真正融合，是适应大数据时代的需要，在基于数字化实现精准运营的基础上，融合生产、运营、管理等传统业态，实现DT的变革与重构。
新时代的中国开启了数字中国建设的新征程。面对日新月异的大数据战略竞争态势，水务企业结合自身需求加强统筹协调，围绕国家大数据战略做出实施创新驱动发展战略决策，亟需建设创新型水务企业，为建设智慧水务大脑提供有力支撑。
4.2 项目建设目标
数据是大数据平台的基础，建立水务综合数据库和共享交换中心，优化信息共享流程，促进跨部门协同，有效避免信息不对称造成的监管漏洞，有利于开展多个部门的联合监管。依托水务大数据中心，形成数据共享和开放的工作机制与管理制度，建成企业数据统一共享交换和开放平台，实现数据资源的全面汇聚和高效利用。结合企业“三全”战略目标，充分利用数据赋能水务，挖据数据创新新动能，利用数据引擎带动企业高质量、可持续发展。
4.3 项目建设范围
项目设计范围主要内容包括W水务所属供排水企业的生产、营销、管网、客服、项目和实验室水质、视频安防等数据的采集、集成与整合。项目涉及的主要单位范围包括10多个二级公司和100多座厂站。
4.4 项目主要内容
水务大数据平台建设项目总体建设内容主要包括七大方面：数据标准体系、水务物联网与大数据中心、水务专有云计算平台、大数据创新应用系统（大数据辅助决策、基于模型的供水管网智能调度、设备故障诊断、污水处理辅助决策系统、AI语音服务机器人、大数据可视化系统及移动应用APP）、系统集成、通讯网络系统、信息安全与备份。
4.5 数据分析指标
W水务企业厂站众多、地域分散，对水务集中管理来说，无疑是一个巨大挑战，所以，水务集团亟需建立一套有效的管理工具，结合IWA国际认可的绩效指标管理体系，建立W水务企业KPI绩效指标，促进企业持续、健康和高质量发展。
项目建设一套完整的大数据分析指标规范，主要包括指标设计原则、指标筛选流程、指标定义说明及管理，数据分析指标分为两大类：绩效指标和过程指标。
（1）绩效指标：设计为单项指标和复合指标。单项指标为一次数据指标；复合指标为派生数据指标，是经过运算获取的结果值。所有的绩效指标按层级分为集团级、公司级和厂站级，并区分重要、一般等级标识。项目构建了供排水KPI绩效管理指标100多项，涉及类别包括：运行类、服务类、资产类、财经类、人事类、资源类、安全类及环境类。
（2）过程指标：均为单项指标及统计指标组成。过程指标构建了400多项要素指标。涉及水厂生产指标、污水处理厂生产指标、供水管网管理指标、排水管网管理指标、客户服务指标、资产管理指标、财经管理指标、营销管理指标、经营管理指标、工程建设指标及集团管控指标等11类全过程要素指标。
4.6 项目建设成效
W水务集团大数据平台项目建设主要建设成效包括水务大数据物联感知网、大数据云计算平台、大数据创新示范应用、大数据分析指标规范及数据资源中心。
（1）构建了水务大数据物联感知网：①构建物联网感知终端采集系统：厂、站、网实时数据一体化采集，其中也包含人工填报、化验、业务系统的数据对接及共享扩展接口。②构建物联网感知服务端统一数据汇聚平台：数据接入、视频整合、数据处理、状态监控及共享交换等统一汇聚，完成“数据畅通”。③未来可任意扩展供排水的设备、仪表、视频、系统等多源数据对接。构建了“一数一源、一源多用”、“谁生产、谁管理”的管理思路，解决了数据多源头、无维护的问题。
（2）构建了水务云计算大数据中心：①构建“数据云”：建立数据一体化平台（提供大数据采集能力）：实现数据采集、存储、处理及管理。②构建“设施云”：建立云资源池（提供弹性计算能力）：可弹性分配资源，按需供应，按需使用。③提升“应用云”：建立私有云构架平台，构建了大数据计算、服务能力。④加强“云管理”：建立云平台运维、安全防护体系和措施，建立云平台运维团队。
（3）建立了大数据创新示范应用系统：实现大数据计算与分析处理能力。①通过智能调度、设备故障诊断、水质预测、智能客服等四大应用，初步构建了供水、排水方面的大数据计算分析能力应用。②建立城市供水管网模型、故障诊断模型、污水处理厂工艺仿真模型、AI语音识别与语义能力模型。③让供水调度更加科学；污水处理厂设备故障预判、降本增效；水质预测、安全达标排放；智能客服、高质量服务。
（4）建立了大数据分析指标规范：建立集团层、公司层和厂站层分析指标规范，构建了集团生产运营绩效管理指标KPI和全过程管理指标。
（5）构建了水务大数据资源中心：建立了大数据平台的基础，数据运营是一个持续的数据资源价值利用的话题。存储了生产、调度、设备、水质、服务、项目等相关的数据资源，建立数据资源共享目录，为实现企业数据共享提供基础服务能力。
4.7 项目经验
4.7.1 项目实施过程中遇到的问题及解决方案
水务大数据平台项目建设过程中遇到4个主要问题：一是数据可靠性问题；二是数据管理问题；三是非结构化数据（视频）分析问题；四是多厂站多业务系统如何构建水务企业物联网数据采集平台。具体解决方案如下：
（1）数据可靠性解决方案：数据从水务集团二级单位获取，二级单位从三级厂网单位获取，三级单位从终端仪表设备获取。为保障数据的可靠性，一是仪表精准可靠，二是软件采集可靠。在线监测数据的可靠性需要从技术和管理两个角度去把控，①通过数据处理技术优化实时数据来提高和保障数据的质量（如系统内置偏差，如跳点、噪声数据的优化算法功能）。②通过管理人员审核负责制度确认数据的准确性和定期抽查督查，实现数据审核管控流程的闭环管理。
（2）数据的管理解决方案：从仪表中获取的原始数据存储在数据库中，根据分析需求，进行数据治理和生命周期管理，以便今后数据对比分析。由原始数据产生的二次派生数据，应注明标识，以便区分，保障原始数据安全。
（3）视频数据存储轻量化解决方案：结合视频结构化处理技术，极大地节约了非结构化数据存储空间和网络带宽，提升了视频利用效率。在监控终端上部署带有边缘计算功能的智能设备，实现监控终端完成视频数据的结构化分析。当需要分析时，可随时回传分析结果给到服务端实现数据共享，以此达到快速分析管理的目标。视频存储及分析流程如图4所示。
（4）水务物联网数据采集平台解决方案：水厂、污水厂、管网、二次供水、泵站等在线数据的采集，目前均采集到厂部调度中心、供水公司、排水公司、管网公司等，这些数据都分散存储在各自所属管理单位，造成了数据分散、信息孤岛、整合集成困难的问题。基于未来水务物联网数据采集平台的考虑，采用“端到平台+系统到平台”方式进行数据汇聚。即：新建设备及仪表等终端统一汇聚到水务大数据物联网数据采集平台。历史已建设的业务系统中已存储的数据根据需求对接整合集成到本平台。
4.7.2 实践经验总结
整个水务大数据平台项目建设过程中，有一些经验和启发值得分享和借鉴：一是设计经验；二是实践难点启发。
设计经验分享，主要包括①数据治理应提前设计和实施，为实现精准大数据分析决策做铺垫；②大数据分析指标规范，旨在建立绩效KPI指标，为水务大数据分析和辅助决策提供抓手；③云计算平台，定位要清晰，既非虚拟机，也非超融合一体机，而是要构建基于应用服务集群、数据库服务集群和大数据服务集群等三大集群为核心的私有云计算平台；④管理驾驶舱和辅助决策支持，它是一个成效体现窗口，应优先建设，并结合企业运营和管理需求，实现分主题、多维度、自定义可视化管理驾驶舱。
实践难点启发，主要涉及①人工智能应用成效不明显，比如，供水管网模型所需的数据的数据缺失，对模型的模拟结果产生影响，启发是管网模型所需的基础数据应保持完整性、正确性、连续性和高质量；②数据采集，多厂站，不同厂商等厂站数据采集和集成问题，启发是部分厂站数据测点Tag未知、数据格式差异等造成的复杂性，影响数据准确性及增加工作量；③设备故障诊断，启发有3点，首先是考虑定位诊断高价值设备类型，其次是设备故障诊断需要配套对应的测轴温、转数、振动等参数的设备仪器和运行健康评价系统，第三是故障诊断的精准性和预知水平，与工艺、巡检、电气、环境温度等息息相关，需较多品牌设备厂家的配合，因此，增加了该系统实施的复杂度。
05 结语
综上所述，城市水务大数据平台建设，是企业智慧化水平提升的重要标志之一。逐步落实水务大数据平台建设，提升城市水务核心竞争力，须持续加快基础设施建设步伐，完善标准规范、信息安全与管理运维等信息化支撑体系，建立绩效评估体系，创造良好的大数据发展环境。推进水务企业大数据平台建设是建设服务型水务企业、高效运转的有力措施。
对水务企业大数据平台的数据资源进行有效整合，按照全局统一基础架构平台的指导思想，规范系统资源使用标准，在系统支撑平台层提供更好的灵活性和扩展性，以满足未来灵活、复杂、多变的集团化业务发展需要；建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，提升水务企业运营管理和服务能力；通过统一规则、统一标准、统一平台，实现信息共享、智能分析、辅助决策，推进水务企业的信息对称、高效运行和精准管理，最终实现水务大数据“三全”目标。
基于云计算的水务大数据平台是一项复杂的系统工程，建设过程中和建成后的运行维护对相关技术人员的各项素质要求很高，因此需要建立一支技术过硬、反应迅速的技术保障团队，加强对大数据平台技术人员的培训，以保证平台建设工程的顺利实施和建成后系统的安全可靠运行。
使用微信“扫一扫”功能添加“谷腾环保网”
