基于安全强化学习的电网稳控策略智能生成方法

• Published in: 电力系统保护与控制 Vol. 52; no. 10; pp. 147 - 155
• Main Authors: 邱建, 朱煜昆, 张建新, 朱益华, 徐光虎, 涂亮
• Format: Journal Article
• Language: Chinese
• Published: 中国南方电网有限责任公司,广东 广州 510663%直流输电技术全国重点实验室(南方电网科学研究院有限责任公司),广东 广州 510663 16.05.2024; 广东省新能源电力系统智能运行与控制企业重点实验室,广东 广州 510663
• Subjects: domain knowledge; 稳控策略; 领域知识; 安全强化学习; temporal and spatial characteristics; safety reinforcement learning; 时空特征; stability control strategy
• ISSN: 1674-3415
• DOI: 10.19783/j.cnki.pspc.231360

新型电力系统的"双高"趋势改变了电力系统经典稳定特性,导致稳定机理更复杂,系统稳定模式更多样,因此基于典型运行方式的在线稳定控制策略面临挑战.为解决新型电力系统的功角稳定问题,提出了基于安全强化学习的稳控策略智能生成方法.首先,建立了电力系统稳控问题的含约束马尔可夫模型,归纳并提出了紧急控制切机动作涉及的安全约束.其次,为了提高对于电网暂态响应的时空特征提取能力,构建了基于图卷积层和长短期记忆单元的特征感知网络.然后,为了提高稳控策略智能体的训练效率,提出了基于内嵌领域知识约束的近端策略优化算法稳控策略训练框架.最后,在IEEE 39 节点系统和某实际电网中进行测试验证.结果表明,所提方法能够根据系统运行状态和故障响应自适应生成切机稳控策略,其决策效果和效率均优于现有的稳控策略.