为什么智慧水务首先要搞定的不是AI而是数据质量?
为什么智慧水务首先要搞定的不是AI而是数据质量?
核心答案
AI 模型的质量天花板由训练数据的质量决定。污水厂 SCADA 系统的实际数据质量远低预期:在线仪表漂移(DO 仪一周不校准误差 > 30%)、数据传输丢包(4G 网络不稳定的监测点缺失率 5%~15%)、人工录入数据的一堆空格和负数。喂垃圾数据训练出来的模型只能产生垃圾结论。智慧水务第一要务是把在线仪表管到位、把数据采集链路打通、把历史数据清洗干净。
详细解析
一个典型的中型污水厂,SCADA 系统可能有 200500 个数据点,采样间隔 130 分钟不等。理论上数据量很可观,但实际质量堪忧:
在线仪表方面,DO 仪膜片被污泥覆盖后读数偏低 30%~50% 很普遍。MLSS 探头不校准,一台显示 3500 mg/L 另一台显示 2800 mg/L,实验室实测 3100 mg/L,两个在线读数都不是准确的。COD 在线仪的消解比色单元老化后,50 mg/L 以下时误差能到 ±40%。
传输层面,雨污水泵站、管网监测点用的 4G DTU,信号不好时数据丢包,补录机制缺失,时间序列上一段一段的空白。
人工填报的化验数据——日期格式不统一、小数点前后乱放、检出限写"<0.01"和"ND"混用、不小心打了负数。这些"脏数据"占到数据总量的 10%~20%。
用这种数据做 AI——试试建一个出水 NH₃-N 预测模型。DO 数据偏低了 40%,模型会学到"低 DO 对应低 NH₃-N"的错误关系。MLSS 数据两台表偏差 25%,模型对污泥浓度的敏感度分析完全没有参考价值。模型调得再好也是精准地预测错误。
对照组:一个浙江某污水厂花了 6 个月做数据治理——全部仪表校准到统一基准、补全缺失数据、清洗异常值、建立数据字典——治理后的数据训练出一个 MLP 神经网络,出水 NH₃-N 预测 R² = 0.87。治理前同样的模型 R² = 0.41。差距完全来自数据质量。
常见误区
"先上 AI 平台再补数据"的顺序颠倒了。AI 平台部署快——几周上线,但上线后如果数据质量不行,模型预测频频翻车,一线人员不信任系统,数字化走回头路。
"数据质量就是仪表精度"也片面。仪表精度只是一部分。数据的时间同步性(不同仪表采集时间不一致)、量纲统一性(mg/L vs ppm)、编码一致性(同一设备在不同系统中的编号)都是数据质量问题。
实践建议
把智慧水务预算的 60% 花在仪表维护、数据基础设施和清洗上,40% 花在应用层。建立每台在线仪表的校准台账,规定校准周期和偏差限值(如 DO ±0.2 mg/L、MLSS ±10%)。做一次全量历史数据清洗,去掉明显异常值和重复记录,把不同来源的数据对时对齐。这些基础工作做完之后,开始建一个简单的工艺数字孪生或数据看板——先让数据可视化跑通,再考虑上 AI 模型。