论文基本信息项目内容标题Physics-constrained transformer for wind power forecasting中文标题物理约束Transformer用于风电功率预测发表期刊Nature Scientific Reports卷期(2026) 16: 4237DOI10.1038/s41598-025-34348-x作者单位国网湖南电科院、上海交通大学、东方理工大学宁波代码https://github.com/daxin007/PCT-WPF一、研究背景与核心问题1.1 风电预测的重要性风电是全球碳中和转型的基石性可再生能源。准确的风电功率预测对以下方面至关重要电网集成— 风电间歇性、波动性给电网调度带来挑战市场运营— 预测误差15%可导致市场参与者利润损失2%~13.8%1.2 核心挑战风速预测的高噪声┌─────────────────────────────────────────────────────────┐ │ 风速预测 → 高噪声 → 风电功率预测精度下降 → 经济损失 │ │ │ │ 原因 │ │ • 风速本身波动性大 │ │ • 数值天气预报(NWP)输入存在不确定性 │ │ • 雷暴、强降雨等气象扰动 │ │ • 风速预测误差通常比温度等其他气象变量更大 │ └─────────────────────────────────────────────────────────┘1.3 现有方法的局限方法类型代表优点缺点知识驱动NWP、信号分解集成学习物理可解释、一致性强特征工程繁重、难以充分利用历史数据数据驱动LSTM、CNN、Transformer能捕捉复杂非线性大数据需求、易过拟合、对噪声敏感混合方法PINNs、TgDPF结合两者优势PINNs用确定性约束TgDPF用LSTM非SOTA关键洞察风速-功率关系本质上是概率性的同一风速下功率有分布而非确定性映射。二、核心创新PCT框架2.1 设计思想“将物理知识以概率分布形式嵌入Transformer而非确定性方程”┌─────────────────────────────────────────────────────────┐ │ PCT 核心架构 │ ├─────────────────────────────────────────────────────────┤ │ │ │ Domain Knowledge (领域知识) │ │ ↓ │ │ ┌─────────────┐ KDE估计 ┌─────────────┐ │ │ │ 历史风速-功率 │ ────────→ │ 目标功率分布Q │ │ │ │ 数据 │ │ (风功率曲线) │ │ │ └─────────────┘ └──────┬──────┘ │ │ │ │ │ Deep Learning Model (深度学习模型) │ │ ↓ │ │ │ ┌─────────────┐ 预测输出P │ │ │ │ Transformer │ ─────────────→ │ JS Divergence │ │ │ (编码器-解码器)│ │ (物理约束) │ │ └─────────────┘ ↓ │ │ ┌─────────────┐ │ │ Input: 风速桨距角历史功率 │ Combined Loss │ │ │ Output: 24h风电功率预测 │ MSE JS │ │ │ └─────────────┘ │ └─────────────────────────────────────────────────────────┘2.2 三大技术组件① Transformer时序建模采用标准Encoder-Decoder架构图1Encoder: 多头自注意力 FFN → 捕捉输入序列的时序依赖Decoder: 掩码多头注意力 交叉注意力 FFN → 生成未来预测为什么用Transformer而非LSTM特性LSTMTransformer长程依赖困难梯度消失/爆炸直接建模自注意力并行计算序列化完全并行噪声处理噪声沿隐藏状态传播自适应加权注意力机制可降权噪声时间步当前SOTA否是“当风速预测被噪声污染时自注意力机制可以自适应地降低不可靠时间步的贡献转而关注受预测误差影响较小的可靠历史模式。”② 核密度估计(KDE)表示风功率曲线物理洞察风速-功率关系不是单值函数而是联合概率分布。f(x)1nh∑i1nK(x−Xih)f(x) \frac{1}{nh}\sum_{i1}^{n} K\left(\frac{x-X_i}{h}\right)f(x)nh1​i1∑n​K(hx−Xi​​)带宽选择hλσ^n−15h \lambda \hat{\sigma} n^{-\frac{1}{5}}hλσ^n−51​其中λ∈{0.07,0.1,0.12}\lambda \in \{0.07, 0.1, 0.12\}λ∈{0.07,0.1,0.12}通过网格搜索确定实验表明λ0.1最优。关键设计KDE所有步骤可微分 → 支持梯度反向传播。③ JS散度作为物理约束损失为什么不直接用MSEMSE只关注点对点误差无法保证预测结果的概率分布与物理规律一致KL散度的局限非对称KL(P∣∣Q)≠KL(Q∣∣P)KL(P||Q) \neq KL(Q||P)KL(P∣∣Q)KL(Q∣∣P)对零概率敏感 → 梯度不稳定JS散度的优势JS(P∣∣Q)12KL(P∣∣PQ2)12KL(Q∣∣PQ2)JS(P||Q) \frac{1}{2}KL\left(P\big|\big|\frac{PQ}{2}\right) \frac{1}{2}KL\left(Q\big|\big|\frac{PQ}{2}\right)JS(P∣∣Q)21​KL(P​​2PQ​)21​KL(Q​​2PQ​)特性KLJS对称性❌✅有界性[0, ∞)[0, 1]零概率稳定性差好适用性一般更适合训练三、训练策略动态阈值切换机制3.1 核心问题JS散度的梯度消失训练初期 模型输出随机 → 预测分布P与目标分布Q无重叠 → JS(P||Q) log(2) ≈ 0.693 (饱和) → ∇JS 0 (梯度消失) → 模型无法通过JS损失学习3.2 解决方案动态权重切换# 伪代码if(predictions.std()1e-4)and(mean_powerinvalid_range):js_ratio1# 启用JS损失else:js_ratio0# 仅使用MSE损失total_lossMSE_lossjs_ratio*JS_loss实际效果JS ratio 通常在最初几次迭代内从0切换到1之后保持激活。四、实验验证4.1 数据集属性详情来源中国江苏省盐城市25台风机时间2020年全年采样间隔10分钟总数据点约400万特征风速、桨距角、历史功率训练/测试1-10月 / 11-12月输入窗口4天 (576步)预测horizon1天 (144步)数据特点图425台风机的功率、风速、桨距角分布高度一致 → 支持使用平均风功率曲线。4.2 噪声设置模拟真实风速预测误差St1′St1N(0,x),x∈{0.1,0.2,...,0.7}S_{t1} S_{t1} \mathcal{N}(0, x), \quad x \in \{0.1, 0.2, ..., 0.7\}St1′​St1​N(0,x),x∈{0.1,0.2,...,0.7}N(0,0.1)~N(0,0.3): 实际常见范围NRMSE 0.2~0.4N(0,0.6)~N(0,0.7): 极端情况测试鲁棒性极限4.3 核心结果vs 标准Transformer表1 详细结果噪声水平Transformer MSEPCT MSE提升幅度N(0,0.1)0.02820.02627.1%N(0,0.2)0.03860.028825.4%N(0,0.3)0.06740.034748.5%N(0,0.4)0.11450.039865.2%N(0,0.5)0.18120.060766.3%N(0,0.6)0.23830.088662.8%N(0,0.7)0.32940.143258.3%关键发现低噪声适度提升7%~25%中高噪声大幅提升48%~66%噪声越大物理约束的价值越显著图5 雷达图直观展示了PCT在各噪声水平下的全面优势。4.4 可视化对比图6┌─────────────────────────────────────────┐ │ 三个典型时段的预测曲线 (N(0,0.5)噪声) │ │ │ │ 红色: 真实功率 | 紫色: PCT | 浅蓝: Transformer │ │ │ │ 观察 │ │ • Transformer预测偏离真实值波动异常 │ │ • PCT紧密跟踪真实曲线保持物理合理性 │ │ • PCT在峰值和谷值处表现尤其出色 │ └─────────────────────────────────────────┘4.5 vs TgDPF前SOTA表2 对比结果噪声水平TgDPF (LSTMJS)PCT (TransformerJS)提升N(0,0.1)0.03100.026215.4%N(0,0.2)0.03320.028813.3%N(0,0.3)0.03730.03476.7%N(0,0.4)0.04050.03981.7%N(0,0.5)0.04550.0607-33.4%⚠️重要发现低噪声x≤0.3Transformer LSTM提升显著极高噪声x≥0.5LSTM更鲁棒Transformer复杂架构放大了噪声影响实际意义N(0,0.5)以上的噪声在实际风速预测中极为罕见图7显示此时风速趋势已完全不可辨4.6 消融实验与补充分析① 带宽参数敏感性表3λMSE0.100.03470.070.03590.120.0365→ λ0.1 最优模型对带宽选择不敏感② 模型深度表4层数N(0,0.1)N(0,0.3)N(0,0.5)1层0.02620.03470.06072层0.02650.03470.06033层0.02660.03550.0612→单层Transformer已足够物理约束(JS损失)起到了正则化作用减少了过拟合风险无需深层架构。③ 对比其他基线表5模型N(0,0.1)N(0,0.3)N(0,0.5)PCT (Ours)0.02620.03470.0607Transformer0.02820.06740.1812Poly_Transformer0.02890.06600.1190NWPPower Curve0.06570.13390.4372Poly_Transformer多项式回归约束性能与标准Transformer相当 →确定性物理约束不准确反而误导学习NWPPC纯物理方法性能最差 → 凸显深度学习价值4.7 注意力热力图分析图8Transformer注意力图 (N(0,0.5)): • 整体暗淡模式不规则 • 无法从噪声输入中识别可靠特征 → 预测不准确 PCT注意力图 (N(0,0.5)): • 明显更亮呈现清晰周期性结构 • 物理约束引导模型聚焦有意义模式 • 有效过滤噪声干扰 → 预测更鲁棒五、方法论启示5.1 物理约束的三种范式┌─────────────────────────────────────────────────────────┐ │ ① 硬约束 (Hard Constraint) │ │ → 如PINNs中的PDE残差 0 │ │ → 优点严格满足物理定律 │ │ → 缺点要求精确方程难以处理随机性 │ ├─────────────────────────────────────────────────────────┤ │ ② 软约束 - 确定性 (Soft Constraint - Deterministic) │ │ → 如Poly_Transformer中的多项式回归 │ │ → 优点实现简单 │ │ → 缺点近似误差大可能误导学习 │ ├─────────────────────────────────────────────────────────┤ │ ③ 软约束 - 概率性 (Soft Constraint - Probabilistic) ★ │ │ → 如PCT中的KDEJS散度 │ │ → 优点捕捉真实随机性更鲁棒 │ │ → 适用存在内在不确定性的物理过程 │ └─────────────────────────────────────────────────────────┘5.2 关键设计原则原则PCT中的体现物理知识要对用KDE捕捉风速-功率的概率本质而非强制单值映射约束要可训练KDE和JS全部可微分支持端到端梯度优化训练要稳定动态阈值切换解决JS初期梯度消失模型要够用单层Transformer物理约束 深层模型效果七、局限与未来方向局限说明潜在改进极高噪声下不如LSTMTransformer复杂度放大噪声探索更轻量的注意力机制单一场景验证仅25台相似风机跨风场、跨机型验证静态风功率曲线未考虑季节/老化导致的曲线漂移在线自适应KDE更新仅风速噪声未考虑其他气象变量噪声多变量联合不确定性建模八、总结PCT的核心贡献可以概括为一句话“用概率分布刻画物理知识用JS散度约束深度学习让Transformer在噪声中保持物理合理性”这项工作为物理信息深度学习领域提供了重要范式不是所有物理知识都适合用确定性方程表达概率性约束分布对齐可能比点约束方程残差更适合某些工业场景物理约束不仅是精度提升器更是噪声鲁棒性增强器