全国客服热线：
153-1370-2523
153-1370-2523
摘要
准确估计荷电状态（SoC）和健康状态（SoH）对锂离子电池的运行至关重要。本研究探讨了使用TD3和SAC算法、结合复合奖励机制的SoC/SoH联合估计的演员-评论家模型，并将观察结果与四个监督学习基准模型进行了比较。在提供的XJTU运行数据上，演员-评论家模型实现了比监督学习基准更低的SoC均方根误差（RMSE），而最佳监督学习模型在SoH方面仍保持竞争优势或更优表现。当前的评估使用了有限的电池样本组和三个随机种子，且单电池归一化和OCV校准使用了留出电池的记录（该方案并非仅用于训练）；因此，这些结果具有探索性，并未确立统计学上的优越性或对更大电池群体的泛化能力。由于提供的容量字段没有可用的方差，原定的清华标签保留实验未能完成。最终的清华分析仅限于无标签输出诊断，并未建立目标域估计精度，也未验证标签稀缺情况下的奖励模型迁移。奖励项（包括应用于SoH的库仑计数项，该项仅为临时性而非经过验证的物理约束）具有探索性，任何关于SoC-SoH差异的机理解释均属于假设而非既定结果。奖励组件消融实验、超参数敏感性分析、匹配的非强化学习对比以及清华标签保留扫描，仍是未来验证的要求。
监督学习已成为该领域应用最广泛的方法。各种类型的神经网络架构，包括循环网络、基于注意力的架构和时间卷积架构，已被用于基于电压、电流和温度序列来预测SoC和SoH [3,4,5]。物理信息方法被引入，通过在损失函数中使用描述退化过程的约束条件，来提高这些模型的理解能力和稳定性 [6,7]。此外，还观察到使用了领域自适应方法（如CORAL），该方法允许利用实验室实验收集的数据来训练模型，使其能够处理现场数据[8,9]。最近的几项研究表明，在这种方面使用具有时间卷积架构的物理信息Transformer是有效的[10].
虽然已有进展，但大多数文献将SoC或SoH的估计视为静态或滑动窗口回归问题，即观察组件传感器历史数据的一个片段，并返回一个单一的点估计值。在这种背景下，决策过程由多个连续步骤组成并最终得出预期结果的理念是缺失的；这里唯一的目标是降低点误差。在电池管理任务中使用强化学习（RL）的情况则恰恰相反，因为强化学习已在各种控制任务中取得成功，例如充电调度、热管理和能量调度，这些任务的特点是一系列动作，其效果随时间演变[11,12,13].
这一差距引发了一个至今尚未得到系统性验证的问题。能否将估计任务本身重新定义为一个马尔可夫决策过程（MDP），其中演员-评论家智能体通过奖励信号作为结果来获取SoC/SoH估计值？这个问题必须被阐述为一个真实、可验证的问题，而非对基本概念的假设性增强。采用强化学习方法并不自动意味着它比监督回归更适合进行此类连续值估计。需要注意的是，演员-评论家技术最初是为控制任务设计的，在这种任务中，智能体有机会影响其未来的观测值。然而，对于处理固定输入数据流的被动估计智能体来说，这是不可能实现的。任何提出的优势都必须与基于监督学习方法的可靠结果进行实际比较来证明，而不是假定其在类似应用中强化学习的成功[14].
当我们谈论演员-评论家技术时，在连续动作空间中最常用的两种算法中，一种被称为双延迟深度确定性策略梯度（TD3）[15]，而另一种则被称为软演员-评论家（SAC）[16]。两者都源于深度确定性策略梯度（DDPG）家族[17]，并结合了双Q学习[18] 算法作为 TD3 和 SAC 的更远亲戚。TD3 算法通过创建两个评论家网络来稳定生成的价值评估，从而在解决连续输出问题时实现低方差和可靠性。值得注意的是，SAC 框架利用熵原理来促进探索，而当决策过程仅限于单个数值时，这种探索的需求并不像在多个动作中进行选择时那么迫切。这一见解使人们能够将 TD3 视为核心算法，而将 SAC 算法视为一种比较手段，从而证实了在确定性与最大熵演员-评论家方法之间进行选择并非自动完成的过程 [18].
本文讨论的研究适用于SoC/SoH联合估计模型，该模型将估计任务概念化为马尔可夫决策过程（MDP）。随后，它使用复合奖励训练TD3和SAC智能体，并描述了一种基于奖励的迁移程序，作为一项预期但尚未验证的扩展，该程序旨在解决标签稀缺的现场应用问题，其目的类似于[9,10,11]中的监督域自适应方法。实验使用XJTU运行至失效数据集[19]以及描述电动汽车电池循环的真实世界数据集[20]进行。第三个数据集来自CALCE[21] 完全不参与训练，仅用于测试跨数据集的泛化能力。监督基准模型使用与强化学习实验相同的数据划分进行运行，并将强化学习的结果与监督技术的结果进行比较。上述条件定义了应用于强化学习和监督方法的成功指标，并有助于识别“零结果”情况，即基于强化学习的方法未能表现出优于监督回归性能的情况。
这项工作的贡献如下：(i) 将联合SoC/SoH估计探索性地表述为一个序列决策问题；(ii) 探索性地研究了一种基于物理动机的奖励，该奖励结合了标签误差项与一致性项，其中库仑计数项在基于SoH的替代配置中进行评估，并在等式(19)中以基于SoC的形式给出；(iii) 描述了一种预期的奖励模型迁移程序，该程序仅能获得无标签诊断，因此其验证仍是未来的需求；以及(iv) 对提供的XJTU运行和CALCE数据集进行评估，识别出具有前景的SoC结果和重要的局限性。本研究并未证明演员-评论家学习本质上优于直接监督或自监督优化，也未验证在目标域标签稀缺的情况下奖励模型迁移的有效性。奖励组件消融实验、超参数敏感性分析、在相同复合目标上的匹配非强化学习对比，以及清华标签保留扫描，均为未来的验证要求；因此，本文不对单个奖励项的相对贡献或任何特定于演员-评论家优化的优势得出结论。2. 相关工作
2.1. 用于SoC/SoH估计的监督深度学习技术路线
在过去的十年中，监督序列回归被公认为用于估计锂离子电池状态的主要方法。先前的研究表明，深度卷积和循环神经网络在不使用任何电化学或等效电路模型的情况下，能够根据温度、电流和电压的历史数据估计SoC，在评估条件下显示出可行性[3]。科学家的努力已更进一步；现在，该方法被用于预测电池的降解阶段和剩余使用寿命。得益于全面的数据集，科学家现在可以创建基于早期循环数据运行的模型，而无需依赖预设的健康指标[5].
然而，在更近期的技术发展中，该路线正转向结合TCN和注意力/Transformer区块的混合系统，以兼顾退化趋势的动态和长期特征。具体而言，Chen等人[1]引入了一种TCN-Transformer融合方法用于电池包级的SoH估计，并在实际运行数据上进行了测试[1] 以及其他基于注意力的方法，受该过程物理学启发，旨在实现相同目标 [8]。这是PINNs日益增长的趋势的一部分，即在监督学习中将潜在的控制方程或约束作为软惩罚项添加，而不是由模型自行发现[6]，这一思路在电池降解预测的大规模应用中已被证明是可行的[19]。至于本研究的直接前作，它通过引入跨域特征对齐以实现领域间的迁移，将融合与物理信息方法的发展脉络又向前推进了一步[7]。它还介绍了本文评估的架构：一种基于物理信息的Transformer-TCN架构，采用基于CORAL的领域自适应技术，用于XJTU和清华数据集的SoH和RUL估计[11]。对该路径的系统性研究证实，几乎所有进展——包括融合架构、注意力机制、损失函数中的物理先验以及自适应层——都是在同一种监督回归范式下实现的，即估计器根据点对点损失函数相对于真实SoC/SoH值进行优化[2,4然而，一个悬而未决的问题是，一种完全新颖的学习范式——即在整个轨迹上最大化奖励信号的范式——在这一估计任务中究竟能带来多大程度的优势。2.2. 差距：电池管理中的强化学习
与此同时，RL已成功应用于电池相关的决策问题，尽管主要集中在控制调度而非状态估计。在电动汽车充电管理和调度场景中，RL的应用已有充分记录，通过学习最优充电策略，智能体能够实现与电网或成本相关的各种目标[12,13]，以及储能和光伏控制问题，其动作空间涉及功率调度或连接，而非实际的状态估计[14]。虽然深度确定性与随机演员-评论家方法（DDPG、TD3、SAC）正是为解决这类连续控制问题而设计的[15,16,17]，但基于包括双Q学习在内的价值估计技术的发展[18值得一提的是，电池领域已经应用了这些思路。具体而言，已实现DDPG智能体，以健康意识为参考来优化电动汽车的能耗[14]，而深度强化学习（DRL）调度技术已应用于通过最优电池连接/断开策略来延长退役电动汽车电池组的使用寿命[22].
虽然强化学习（RL）通过对滤波器参数调节的间接影响，在更广泛的范围内影响了状态估计，但该领域的大多数工作仅限于这种间接影响，并未将RL直接用作估计器。针对SoC/SoH同步估计任务，已有研究提出使用RL调节的自适应无迹卡尔曼滤波和扩展卡尔曼滤波，其中RL的动作是调节滤波器参数，而非直接进行SoC或SoH估计[23,24]。在利用混合PPO修正的LSTM估计SoH时也采用了类似方法，其中强化学习作为额外步骤，在单调退化约束下对监督神经网络的估计输出进行后处理[25]。已有研究尝试使用演员-评论家算法（DDPG）在扭矩和温度等变化条件下估计并联合控制电动汽车电池的SoC[26]，以及近期有研究提出一种面向控制的深度强化学习方法，用于显式自适应的锂离子电池状态估计[27然而，这些案例均仅使用单一算法，缺乏对演员-评论家变体的系统性比较，也未采用健康状态（SoH）文献中常见的强物理基准监督模型[1,7,8,11据我们系统性的搜索，研究人员从未在连续SoC/SoH回归任务中，将确定性策略梯度方法与最大熵随机方法（即TD3与SAC）进行对比。这令人惊讶，因为这两种方法表现出截然相反的倾向（一方面是确定性和利用，另一方面是随机性和探索），这直接影响了强化学习是否适用于高精度估计任务。2.3. 领域自适应对比
参考架构所采用的实验室到现实迁移方法遵循了该文献中主流的领域自适应方法：通过二阶矩惩罚（如CORAL [9]）或对抗性特征对齐任务（如领域对抗神经网络 [10]）来匹配源域和目标域特征空间分布的统计特性，并结合匹配的表示来训练估计器[7,11] 这里的假设是，可迁移性取决于学习到的特征空间嵌入，并且监督损失应在目标域中定义。
演员-评论家公式改变了可迁移对象的性质。奖励公式本身——基于与开路电压关系、容量衰减单调递减或库仑计数约束的一致性而构建——不再是匹配中间特征的分布，而是原则上成为一个可迁移的对象，且独立于策略网络学习的状态公式。这使领域迁移转向了奖励迁移，这与CORAL公式有着根本不同的方法，而这种方法在电池估算器的标签稀缺现场运行中尚未得到研究。这是本研究的出发点假设；本文报告的实验并未验证该假设。2.4. 研究空白陈述
监督学习和强化学习这两条研究路线均表明，架构的重大进展已通过回归方法提高了SoC和SoH估计的准确性。在监督学习背景下，混合架构、注意力机制和物理信息损失等方法已被证明有助于提高SoC/SoH估计的准确性[1,7,8,11]。在强化学习背景下，演员-评论家架构在电池相关的控制和调度问题中表现出色[12,13,14,22]，目前仅有零星且有限的尝试将强化学习应用于估计[23,24,25,26,27]。事实上，据我们所知，尚未有研究从物理信息方法论的角度将确定性演员-评论家方法（TD3）与监督学习方法进行对比，并探讨在缺乏标签的情况下，用于知识迁移的奖励机制是否能取代特征对齐方法。
本研究的方法论重点是将物理驱动的奖励设计与基于演员-评论家的联合状态估计相结合。TD3和SAC为检验这一公式提供了两种成熟的学习机制；核心设计问题在于，奖励是否将带标签的估计误差与物理驱动的一致性约束相结合，从而支持可靠的SoC和SoH估计。另一个问题是，当迁移到目标标签有限的领域时，这种奖励公式是否仍然有效。这些是独立的问题：源域的估计结果可以使用现有标签进行评估，而迁移主张则需要有效的目标域评估。3. 问题建模与方法论
本节将SoC/SoH的估计描述为一个序列决策问题，并在此基础上构建方法论。通过在同一部分中讨论MDP和两种Actor-Critic算法，且不将“方法表述”与“方法”分离，这使得我们能够使状态、动作和奖励的定义贯穿全文，同时TD3和SAC的推导也是基于这些定义构建的。
3.1. 联合SoC/SoH估计的MDP形式化
与现有方法不同，现有方法将SoC/SoH估计问题视为测量窗口到标量标签之间的静态映射，并使用监督回归[3,8]，我们提出将其表述为有限时域内的离散时间马尔可夫决策过程（MDP）。
电话：153-1370-2523
美国邱健蓄电池集团总部