导言：这不是又一次控制理论的"渐进式改良"

1922年，Nicolas Minorsky 在研究美国海军舰炮伺服系统时，第一次用比例-积分-微分(PID)的数学结构描述了"根据误差的过去、现在和未来进行反馈控制"的思想。整整一百年后的今天，全球约 95% 的工业控制回路仍然依赖 PID 或其变体在运转。这个数字本身就是一种技术惯性——不是因为 PID 足够好，而是因为整个工业体系围绕它建立了从传感器标定、执行器选型、整定方法论到安全联锁的完整生态。

但这个生态正在被撕开裂缝。

2025年10月29日，横河电机(Yokogawa)发布了一则公告：其与沙特阿美(Aramco)合作的 Fadhili 天然气厂项目，已成功部署基于 FKDPP（Factorial Kernel Dynamic Policy Programming）强化学习算法的多个自主控制 AI 代理，直接接管了酸性气体脱除(AGR)单元的底层控制。据横河官方公告披露的初始运行数据，胺液消耗降低10%-15%，蒸汽消耗降低10%-15%，电力消耗降低约5%，操作人员手动干预频次大幅下降。（来源：Yokogawa 2025年10月29日新闻稿）

这不是一篇实验室论文。这是在全球最大的天然气处理设施之一上，用强化学习 AI 直接在底层阀门和电机层面替代了传统 PID 控制回路，并且已经跑通了从数字孪生训练到 CENTUM VP 系统集成再到实际投产的全流程。

本文的目标不是贩卖"AI 取代一切"的焦虑，而是以硬核工程视角，系统回答以下问题：

第一章 PID 的数学极限：不是调不好，是做不到

1.1 PID 的本质：一个线性算子对非线性世界的妥协

PID 控制器的数学表达式是每个工艺总工闭着眼睛都能写出来的：

u(t) = Kp * e(t) + Ki * integral(e(t), dt) + Kd * de(t)/dt

这个结构的优雅之处在于它的模型无关性(model-free)——你不需要知道被控对象的传递函数，只要根据经验或 Ziegler-Nichols 法则整定三个参数，就能让大多数线性、低阶、弱耦合的系统跑起来。

但"跑起来"和"跑到最优"之间，隔着一条无法逾越的数学鸿沟。

PID 控制器本质上是一个线性算子。它的比例项是误差的线性映射，积分项是误差的线性累积，微分项是误差变化率的线性映射。三者叠加，依然是一个线性映射。而现代工业过程中的核心被控对象——精馏塔、聚合反应器、间歇发酵罐、固态电池涂布机——几乎无一例外是非线性、多变量、强耦合、大时滞的动态系统。

用一个线性算子去控制一个非线性系统，结果是什么？

结果是你只能在某个有限的工作点附近获得可接受的性能。一旦工况漂移——原料组分变化、环境温度波动、催化剂活性衰减——PID 的性能就会以超出工艺容忍度的速度恶化。这就是为什么一个大型石化联合企业里，DCS 系统上跑着数千个 PID 回路，但其中真正"调得好"的不到三分之一，剩下的要么靠操作员频繁手动干预，要么干脆被切到手动模式。

据中国自动化学会(CAA)2024年发布的过程工业控制效能评估报告，国内大型炼化企业 DCS 系统回路中，实际控制性能低于设计指标 30% 以上的回路占比达 42%。这些回路并非硬件故障，而是 PID 结构的数学极限导致其在当前工况下无法同时满足稳定性、快速性和精度的要求。

1.2 非线性度与控制误差的相平面分析

为了直观理解 PID 的极限，考虑一个典型的非线性系统——连续搅拌釜反应器(CSTR)。CSTR 的数学模型包含反应速率常数的 Arrhenius 非线性项、物料平衡与能量平衡的耦合项，以及冷却剂流量对温度的非线性影响。

在线性系统中，控制误差在相平面上会沿着指数衰减的轨迹收敛到零点。但在非线性系统中，PID 控制下的相平面轨迹会出现极限环(limit cycle)、分岔(bifurcation)甚至混沌(chaos)。具体而言：

当反应放热速率与冷却移热速率在高温区域形成一个不稳定的平衡点时，PID 控制器的线性修正无法"看到"这个不稳定流形的存在。比例增益增大虽然能加快响应，但会激发高频振荡；积分项为了消除稳态误差而不断累积，却在非线性区域导致过冲(integrator windup)；微分项在噪声环境中放大高频扰动，反而恶化控制品质。

这不是调参能解决的问题。这是结构性的无能。

1.3 多变量耦合：PID 的"维数灾难"

对于单回路系统，PID 尚可一战。但当被控对象有多个输入和多个输出(MIMO)，且各通道之间存在强耦合时，PID 的控制结构就面临根本性挑战。

以精馏塔为例：塔顶温度受回流比和再沸器蒸汽量同时影响；塔底温度受进料量和再沸器蒸汽量同时影响；塔压受冷凝器冷却量和塔顶采出量同时影响。每个 PID 回路只看到一个误差信号，调一个阀门会同时影响多个被控变量。传统的解耦策略——如相对增益阵列(RGA)配合前馈补偿——在静态或准静态耦合条件下尚可工作，但当耦合强度随工况动态变化时，固定的解耦矩阵就会失效。

这就是为什么一个50块塔板的乙二醇精馏塔，可能需要 20-30 个 PID 回路，且这些回路之间的交互作用使得整体控制性能远低于各回路独立性能之和。

1.4 大时滞系统：PID 微分项的致命盲区

另一个 PID 的结构性弱点是大时滞(dead time)系统。在管道输送、带式干燥、轧制过程等场景中，从执行器动作到传感器感知效果之间可能存在数十秒甚至数分钟的纯滞后。

PID 控制器处理大时滞的唯一手段是降低增益以避免不稳定，但这直接导致响应速度大幅下降。Smith 预估器虽然理论上可以补偿纯滞后，但它需要精确的过程模型——而模型失配时，Smith 预估器的性能可能比不用还差。

据 MDPI Machines 2025 年发表的综述论文，在连续动作空间的工业控制基准测试中，PPO、SAC、DDPG、TD3 等深度强化学习算法在多变量耦合、大时滞、强非线性三类典型工况下，控制误差均方根(RMSE)较优化后的 PID 控制器降低 40%-65%。（来源：MDPI Machines, 2025）

1.5 时变动态与参数漂移：PID 的"老化病"

上述分析还只考虑了被控对象在某一时刻的非线性特性。更严峻的挑战是：工业过程的动态特性会随时间漂移。

催化剂活性衰减是石化行业最常见的问题。一个固定床反应器在催化剂刚装填时（BOL, Beginning of Life）的动态特性——增益、时间常数、时滞——与运行两年后（EOL, End of Life）可能截然不同。催化剂活性降低导致反应速率下降，为了维持产量，操作温度必须逐步提高，这反过来又加速了催化剂的失活。整个系统的动态特性在这个"补偿-退化"循环中持续演化。

换热器结垢是另一个典型例子。一台管壳式换热器在清洁状态下的总传热系数可能在 800 W/(m2.K) 级别，运行六个月后由于管壁结垢可能下降到 400 W/(m2.K) 以下。这意味着同样的控制动作（比如调节冷却水流量）对出口温度的影响力度减半了。PID 的增益没有变，但被控对象的增益变了——整个回路的开环增益偏离了设计点，控制性能必然恶化。

传统 PID 的应对方式是定期重新整定参数。但在一个拥有数千个回路的大型工厂中，每次重新整定都需要控制工程师进行阶跃响应测试或继电器反馈实验，这需要耗费大量的人力和时间。更关键的是，整定频率往往跟不上动态漂移的速度——很多回路在两次整定之间就已经处于性能严重劣化的状态。

自适应控制(Adaptive Control)理论在 1980-1990 年代曾试图解决这个问题，提出了模型参考自适应控制(MRAC)和自整定调节器(STR)等方案。但这些方法的前提是被控对象可以用低阶线性模型近似，且参数漂移足够慢。面对强非线性叠加快速漂移的组合，自适应控制的稳定性保证就会失效。

DRL 的优势在于：它不假设系统的动态特性是固定的。通过与环境的持续交互（在线学习）或定期的策略更新（离线再训练加部署），DRL 策略可以追踪系统的动态漂移，持续提供接近最优的控制性能。横河 Fadhili 项目中 FKDPP AI 代理的"鲁棒性"——能够在未曾经历过的工况下自主应对——正是这种时变动态适应能力的体现。

1.6 工业界的一个残酷事实：PID 整定是一个永恒的问题

在工艺总工和自动化工程师的日常工作中，PID 回路整定是一项消耗巨大但回报递减的活动。一项针对国内大型炼化企业的调研显示（来源：中国自动化学会 2024 年报告），控制工程师团队平均花费百分之四十到六十的工作时间在 PID 回路的诊断、整定和再整定上。一个新项目投产后，通常需要六到十二个月才能将大部分 PID 回路整定到可接受的水平。此后，由于工况变化、设备老化、原料切换等原因，每年还需要对百分之三十到五十的回路进行重新整定。

这是一个"永恒的问题"——PID 的结构决定了它永远需要人工干预来维持性能。而 AI 控制的核心承诺，正是将控制工程师从这种无休止的"打地鼠"式整定工作中解放出来，让他们把精力集中在更高层次的工艺优化和异常处理上。从经济学的角度看，一个资深控制工程师的年薪在三十万到六十万元之间，一个十人团队一年的整定人力成本就是三百万到六百万元。如果 AI 控制能将这个角色从"手动整定者"转变为"AI 策略监督者"，同样的团队可以覆盖十倍的回路数量，人效提升一个数量级。

第二章 DRL 工业控制：从学术玩具到产线主力

2.1 深度强化学习的技术谱系与工业适配性

深度强化学习(DRL)的核心思想并不新鲜——Agent 通过与环境交互、最大化累积奖励来学习最优策略。但在 2015 年之前，DRL 的应用基本停留在 Atari 游戏和围棋这类离散动作空间的问题上。工业控制的核心挑战是连续动作空间——阀门开度是 0-100% 之间的任意实数，电机转速是 0-3000rpm 之间的任意值。

2016 年之后，一系列针对连续动作空间的 DRL 算法突破了这一瓶颈：

2025-2026 年的工业控制文献中，SAC 和 PPO 已成为连续过程控制的主力算法。SAC 的最大熵框架使其在面对过程中的随机扰动时表现出更强的鲁棒性——这对工业现场至关重要，因为传感器噪声、执行器死区、原料波动等不确定性是常态而非例外。

为什么 SAC 在工业控制中特别受青睐？ 需要从工业过程的特殊性来理解。工业过程不同于游戏或机器人仿真环境——它是一个"高代价、不可重置"的环境。在 Atari 游戏中，一次糟糕的策略尝试不过是损失一条命；但在化工厂里，一次糟糕的控制动作可能导致反应器飞温、产品批量报废甚至安全事故。SAC 的最大熵正则化使得策略在优化过程中保持最大程度的"随机探索"，这意味着策略不会过早收敛到某个局部最优，而是在整个动作空间中维持一个平滑的概率分布。在实际部署中，这种特性转化为对未见过工况的更好泛化能力——当工厂遇到一个训练时没有覆盖到的边界工况时，SAC 策略不会"惊慌失措"地输出极端控制动作，而是给出一个相对温和的、熵最大的响应。

从样本效率看工业落地可行性： DRL 的一个常见批评是样本效率低——需要数百万次环境交互才能学到好的策略。在工业场景中，如果每次交互都对应真实工厂的一秒钟运行，那么训练时间将长得不可接受。解决方案有两个：第一，使用 off-policy 算法（如 SAC、TD3），它们可以重复利用历史经验回放缓冲区中的数据，实际所需的环境交互次数比 on-policy 算法（如 PPO）少一到两个数量级；第二，也是更关键的——在数字孪生中训练。数字孪生可以将一年的运行过程压缩到几小时的训练时间内，且不存在安全风险。横河 Fadhili 项目正是在高保真数字孪生中完成 FKDPP 策略的训练，然后将训练好的策略部署到真实工厂。

2.2 横河 FKDPP 在 Fadhili：工业 DRL 控制的分水岭事件

2025年10月29日的横河公告，之所以被工业控制界视为分水岭事件，不仅仅是因为它在商业规模上验证了 DRL 控制的可行性，更因为它展示了一套完整的、可复制的工业 DRL 部署方法论。

算法核心： FKDPP 是横河电机与奈良先端科学技术大学院大学(NAIST)联合开发的强化学习算法，曾获 2023 年日本产业技术奖首相奖。FKDPP 使用多个协调的 AI 代理(Agent)，每个代理负责 AGR 单元的一个控制子任务，通过集中式训练、分布式执行(CTDE)的框架实现协同优化。

三阶段部署策略：

运行成果： 据横河官方公告（来源：Yokogawa 2025年10月29日），初始运行数据如下：

值得注意的是，上述改善是在"外界环境条件变化"（ambient condition changes）的扰动下实现的。Fadhili 位于沙特东部省，昼夜温差可达 20 度以上，季节性温度变化更大。传统 PID 控制需要操作员根据环境温度变化频繁手动调整参数，而 FKDPP AI 代理通过自主学习到的策略，能够自适应地应对这些扰动。

Aramco 工程服务高级副总裁 Khalid Y. Al Qahtani 在公告中表示："Aramco 已经启动了一项雄心勃勃的计划，通过在整个运营中部署广泛的工业 AI 应用来释放价值。与横河的合作是众多聚焦于提高效率、增强可持续性和为股东创造更多价值的举措之一。"

横河社长兼 CEO 重野邦正则表示："结果已经超出了预期。横河正在倡导从工业自动化到工业自律化(IA2IA)的转型，这一部署证明我们已经准备好引领能源行业工厂的安全自主运营。"

2.3 ACS Omega 论文：RNN+Actor-Critic 的 NMPC 边缘部署验证

如果说横河的 Fadhili 项目展示了 DRL 在超大规模流程工业中的商业可行性，那么 2025 年发表于 ACS Omega 的一篇论文则从学术角度验证了 DRL 控制在边缘计算设备上的实时部署能力。

该论文题为"Reinforcement Learning-Based Nonlinear Model Predictive Controller for a Jacketed Reactor: A Machine Learning Concept Validation Using Jetson Orin"（来源：ACS Omega, 2025, Vol.10, pp.30864-30878），来自 MIT Manipal 先进过程控制实验室。

核心创新：

工程意义： 这项工作的重要性不在于算法本身有多突破，而在于它证明了一个关键事实：DRL+NMPC 的混合控制架构可以在功耗仅 15-30W 的边缘设备上实时运行，推理延迟满足工业控制回路的时序要求。这直接回应了工业界对"AI 控制需要数据中心级算力"的质疑。

Jetson Orin 的 GPU 算力为 200 TOPS(INT8)，足以支撑中等规模的 RNN 和 Actor-Critic 网络推理。论文中使用的 RNN 模型参数量在十万级别，Actor 网络和 Critic 网络各为数万参数，整体推理时间在毫秒级。

2.4 MACDPP：乙二醇精馏塔的多智能体 DRL 控制

2026年发表在中国《控制科学与工程学报》(Journal of Control Science and Engineering)上的一项研究，将 MACDPP（Multi-Agent Continuous Dynamic Policy Programming）算法应用于乙二醇精馏塔的自主控制，取得了令人瞩目的经济效果。

MACDPP 是 FKDPP 的升级版。FKDPP 基于核函数值函数逼近和离散动作空间，而 MACDPP 将相对熵正则化引入 CTDE 框架下的 Actor-Critic 结构，支持连续动作空间，并通过蒙特卡洛采样降低了 Actor 网络的计算负担。

乙二醇精馏塔的控制挑战：

MACDPP 的实现效果：

净利润提升幅度远超产量提升幅度，原因在于 MACDPP 不仅优化了产量，还通过自适应策略降低了回流比（节能）和减少了过分离(over-separation)导致的产品浪费。传统 PID 控制在设计时为了保证产品纯度达标，通常会将操作点设在远高于最低纯度要求的位置，这种"保守控制"带来的质量过剩(giveaway)是精馏塔最大的隐性成本之一。

2.5 YANN-RL：不需要完整非线性模型的逼近方案

工业界对 DRL 控制的一个核心顾虑是：训练一个 RL 策略需要与真实环境或高保真仿真进行大量交互，而很多工厂没有条件建立精确到可以训练 RL 的数字孪生。

2026年发表于 arXiv 的一项研究提出了 YANN-RL（Y-wise Affine Neural Network Reinforcement Learning）方法，试图解决这一痛点。

YANN-RL 的核心思想是：使用 Y-wise 仿射神经网络来逼近系统的非线性动态，使得 RL 策略可以在不需要完整非线性模型的情况下，逼近非线性模型预测控制(NMPC)的性能。

该方法在三个经典化工控制基准上进行了验证：

在所有三个案例中，YANN-RL 的控制性能接近 NMPC 的最优水平，但无需事先建立精确的非线性机理模型。这一结果对工业应用意义重大——它意味着工厂可以先从运行数据中学习一个近似的动态模型，然后在此基础上训练 RL 策略，而不需要投入大量资源建立第一性原理模型。

第三章 混合架构：PID 做内环，RL 做外环

3.1 为什么不直接全部替换？

横河 Fadhili 项目的部署架构已经给出了答案的一部分：AI 代理与 CENTUM VP 系统集成，利用现有工厂的安全功能。这本质上是一种混合架构——AI 负责上层优化决策，PID 回路负责底层快速响应和安全保障。

这种混合架构的必要性来自三个方面：

第一，确定性保证。 PID 控制器的行为是完全确定性的——给定相同的误差信号，它总是输出相同的控制信号。这在功能安全(SIL)评估中至关重要。一个 SIL-2 或 SIL-3 的安全联锁回路，必须能够在任何情况下以确定的时序执行保护动作。DRL 策略的神经网络推理虽然在数值上是确定的，但其行为的边界特性（如在训练分布之外的状态空间中的表现）难以形式化验证，目前无法满足 IEC 61508/61511 的功能安全认证要求。

第二，时间尺度分离。 工业控制回路的时间尺度跨度极大：底层阀门/电机的电流环响应时间在微秒到毫秒级，速度环在毫秒级，温度/压力/流量等过程变量在秒到分钟级，而工艺优化在小时到天级。混合架构利用 PID 处理高频确定性控制（电流环、速度环），利用 RL 处理低频自适应优化（温度设定值、回流比设定值），实现了时间尺度上的合理分离。

第三，渐进式风险管控。 对于已经在运行的工厂，将整个控制体系一次性从 PID 切换到 DRL 的风险极高。混合架构允许工厂在保持 PID 底层控制不变的前提下，逐步将优化层交给 AI，一旦 AI 表现异常可以随时回退到纯 PID 模式。

3.2 模糊 PID + SAC 元调优：在 PLC 上跑通的混合方案

2026年发表于 Preprints 的一项研究，将混合架构推向了更贴近工业现场的方向：在西门子 S7-1214C PLC 上实现了 49 规则模糊 PID + SAC 元调优的混合控制方案。

架构细节：

关键性能指标：

工程突破： 在 S7-1214C 这款中端 PLC 上实现 SAC 推理，打破了"AI 控制需要高端 GPU"的刻板印象。SAC 的策略网络经过蒸馏和量化后，参数量可以压缩到数千级别，在 PLC 的嵌入式处理器上实现亚毫秒级推理。

这一结果的工程意义在于：它证明了混合 PID+RL 架构不需要更换现有的 PLC/DCS 硬件，只需要在控制链路中增加一个低频外环优化层，就能获得显著的性能提升。对于拥有数千个 PID 回路的存量工厂，这是最现实的升级路径。

3.3 CIRL：将 PID 结构嵌入 RL 策略

日本研究团队提出的 CIRL（Control-Informed Reinforcement Learning）方法代表了另一种混合思路：不是简单地将 PID 和 RL 分层，而是将 PID 的控制结构直接嵌入 RL 策略网络中。

CIRL 的核心思想是：RL 策略网络的输出不是直接的控制信号，而是 PID 参数的修正量。策略网络的输入包括当前误差、误差积分、误差微分——这些正是 PID 的输入信号——然后输出对 Kp、Ki、Kd 的动态调整。

这种方法的巧妙之处在于：

3.4 中控技术 Supcon 的"工业 3.0+"战略

在中国市场，中控技术(Supcon)作为 DCS 国内市占率第一的厂商（2025 年 DCS 国内市占率 45.1%，来源：睿工业 2025 年统计），已经明确将 AI 控制纳入其核心战略。

中控技术于 2024 年 6 月发布了工业 AI 核心产品——时间序列大模型 TPT，2025 年 8 月升级为 TPT 2.0，定位为"全球首个时序混合专家大模型驱动的工业 Agent 生成平台"。据中控技术 2026 年一季报披露，其工业 AI 业务实现收入 1.84 亿元，已达一季度营收的 12.2%。

中控的"工业 3.0+"战略核心是将 AI 算法嵌入 DCS 系统，提升复杂工况下的自适应控制能力。在贵州磷化瓮福江山项目（总投资约 220 亿元）中，中控将 TPT 大模型深度融入顶层设计，构建通用工业 AI 平台，实现对未来 5-30 分钟生产趋势的精准预测与主动预警，推动工厂从"人监盘"迈向"智监盘"。

截至 2025 年底，中控技术累计服务超过 3.9 万家流程工业客户，部署超过 10 万套控制系统。其 DCS 在化工行业的市占率达 68.5%，石化行业达 59.4%。这意味着中控的 AI 控制升级方案，可以直接覆盖国内近半数的流程工业 DCS 用户。

3.5 南栖仙策/矢量智控：NeuralController 的双引擎架构

在 AI 原生控制领域，南栖仙策与矢量智控联合发布的 NeuralController 神经矢量控制器代表了一种更激进的路线：不是将 AI 叠加在 PID 之上，而是从根本上用神经网络替代传统控制算法。

NeuralController 采用"数据克隆 + 强化学习"双引擎架构：

NeuralController 支持 30 余种工业协议，可以直接对接主流的 DCS/PLC/SCADA 系统，降低了部署的集成成本。在协议覆盖方面，NeuralController 支持的主流工业协议包括：OPC UA、Modbus TCP/RTU、PROFINET、EtherNet/IP、HART、Foundation Fieldbus、Profibus DP/PA 等。这意味着无论工厂使用的是西门子、ABB、霍尼韦尔还是横河的控制系统，NeuralController 都可以无缝接入现有控制架构，无需更换底层硬件。

数据克隆的局限性： 需要指出的是，数据克隆的性能天花板是操作员本身的水平。如果工厂的操作员长期在次优工况下运行（这在国内中小型化工企业中非常普遍），那么数据克隆学到的策略也只能是"复制次优"。此时强化学习引擎的价值就体现出来了——它可以在数据克隆的基础上，通过自主探索找到超越人类经验的最优策略。但这也带来了一个工程挑战：如何确保强化学习在探索过程中不会尝试危险的控制动作？这就需要 Safe RL 技术的支持——通过安全约束和奖励函数中的惩罚项，将探索限制在安全边界之内。

第四章 Neural MPC：当神经网络遇见滚动优化

4.1 传统 MPC 的困境

模型预测控制(MPC)自 1980 年代在 Shell 炼油厂首次商业应用以来，一直是流程工业高级控制的主流方案。MPC 的核心思想是：基于过程模型预测未来 N 步的系统行为，在每个控制周期求解一个有限时域优化问题，得到最优控制序列，只执行第一步，然后在下一个周期重新预测和优化（滚动优化原理）。

MPC 的优势在于显式处理多变量约束和多变量