一种基于强化学习的风力发电系统WADC设计方法

一种基于强化学习的风力发电系统wadc设计方法
技术领域
1.本发明涉及大规模风电并网发电系统控制技术领域，尤其涉及一种基于强化学习的风力发电系统wadc设计方法。


背景技术：

2.风力发电具有安全清洁、取之不尽、基建周期短以及环境友好等特性，成为可再生能源的重要来源之一。大规模开发和利用风力发电已成为各国政府和能源企业的重视。随着风力发电渗透率的不断提高，风力发电对传统电力系统安全稳定性带来了新的挑战。因为风力具有间歇性、随机性特点，导致风力发电的输出功率受到风速的影响而变化波动，波动的风电功率输送至电网中会对电网稳定运行造成不利影响。因此，如何改进和提高风力发电并网稳定性和安全性，使风电系统运行更加稳定成为大规模风电并网发电的关键所在。
3.如果电力系统的阻尼接近于零或为负值，当电力系统受到扰动后，电力系统会发生频率为0.2-2.5hz的低频振荡(low frequency oscillation， lfo)。电力系统一旦发生低频振荡，如果系统不能及时有效控制的话，可能会引起继电器过流跳闸、变压器损坏甚至机组之间失步解列，因此可靠有效抑制电力系统的lfo，对于电网的安全稳定运行有战略性意义。


技术实现要素：

4.为了解决常规pss控制难以适应以风力发电为代表的可再生能源渗透率不断提高，造成风电与电网公共节点处电压和功率的大幅度波动问题，本发明提出一种基于强化学习的风力发电系统wadc设计方法。
5.本技术提供的一种基于强化学习的风力发电系统wadc(广域阻尼控制器wide area damping controller，wadc)设计方法，包括以下步骤：
6.s101：构建基于强化学习的风力发电wadc控制系统；wadc控制系统包括：双馈型风电机组和基于强化学习的wadc控制器；
7.其中双馈型风电机组包括：风力机、齿轮箱、双馈感应发电机dfig、变压器、转子侧变频器、电网侧变频器和过压保护电路crowbar；
8.风力机与齿轮箱通过机械传动连接；齿轮箱与双馈感应发电机通过传动轴承连接；双馈感应发电机dfig与变压器通过电磁耦合连接，并通过变压器接入交流电网；双馈感应发电机dfig与过压保护电路crowbar的输出端、转子侧变频器的输入端电气连接；转子侧变频器的输出端与电网侧变频器的输入端电气连接；电网侧变频器的输出端与变压器的一端电气连接；
9.s102：采用基于强化学习的wadc控制器控制所述双馈型风电机组；
10.基于强化学习的wadc控制器，其包括三部分控制：强化学习控制、电压外环pi控制和电流内环pi控制；
11.强化学习控制用于控制双馈感应发电机dfig，其输入信号为双馈感应发电机dfig角速度偏差信号，输出信号接入电压外环pi控制；
12.电压外环pi控制用于控制电网侧变频器；
13.电流内环pi控制，用于控制转子侧变频器输出指定的有功和无功功率，完成风力机并网接入点出功率振荡的抑制。
14.进一步地，所述强化学习控制包括：状态转换器、actor网络和critic 网络；其单独控制的原理为：
15.根据实际情况预先给定信号w(t)与被控光伏发电系统输出量y(t)相减，产生误差信号e(t)；误差信号e(t)经过状态转换器转变为强化学习网络的输入状态信号x(t)；状态信号x(t)输入至actor网络，得到输出信号un(t)；状态信号x(t)与误差的强化学习信号r(t)一起输入至critic网络，得到输出信号n(t)；输出信号un(t)与n(t)相结合，得到被控光伏发电系统的控制输入信号u(t)；u(t)作用于被控光伏发电系统，得到输出信号y(t)形成闭环控制； actor网络和critic网络还通过时序差分信号δ
td
(t)在线更新actor网络和 critic网络的权值系数。
16.进一步地，采用rbf神经网络同时完成actor网络的策略函数和critic 网络的值函数功能；所述rbf神经网络的输入为状态信号x(t)＝[x1(t),x2(t)
…
,xn(t)]
t
；
[0017]
，其隐含层采用的高斯核函数为：
[0018][0019]
其中，μj＝[μ
j1
,μ
j2
,μ
j3
]是第j个节点的中心向量,σj是第j个节点的宽度函数，m是隐含层节点的数量。
[0020]
进一步地，所述actor网络和critic网络的输出分别为：
[0021][0022][0023]
其中ω
nj
和ωj分别为actor网络和critic网络的权值系数。
[0024]
进一步地，所述控制输入信号u(t)的表达式如下：
[0025]
u(t)＝un(t)+ηm(0,ρ(t))
ꢀꢀ
(3)
[0026]
其中，ηm()为高斯分布函数；ρ(t)＝[1+exp(2n(t))]-1
。
[0027]
进一步地，所述时序差分信号δ
td
(t)的表达式如下：
[0028]
δ
td
(t)＝r(t)+λn(t+1)-n(t)
ꢀꢀ
(4)
[0029]
其中λ为折扣系数，0《λ《1，性能指标函数为：
[0030]
进一步地，所述actor网络和critic网络的权值系数更新公式为：
[0031][0032]
ωj(t+1)＝ωj(t)+ηcδ
td
h(t)
ꢀꢀ
(6)
[0033]
其中,ηa和ηc是actor网络和critic网络学习速率。
[0034]
进一步地，隐含层节点中心函数c(t)和宽度函数σ(t)更新公式分别为：
[0035][0036][0037]
其中，β1与β2是学习速率。
[0038]
进一步地，强化学习控制的流程具体为：
[0039]
s201：初始化rbf网络的学习速率ηa和ηc、折扣系数λ和网络的权值系数ω
nj
和ωj、迭代总次数nc、迭代时间t和误差阈值δ0；
[0040]
s202：进入网络循环迭代过程，令当前迭代次数i＝1；
[0041]
s203：判断i《nc是否成立，若是，则进入步骤s204；否则进入步骤s206；
[0042]
s204：根据t时刻的x(t)，根据公式(1)和(2)求解t时刻actor和 critic网络的输出un(t)和n(t)；
[0043]
s205：根据公式(4)计算时序差分信号δ
td
的值，判断若，δ0》δ
td
则按照式(5)、(6)更新actor网络和critic网络的权值；按照式(7)、(8)计算中心函数和宽度函数；
[0044]
s206：获取t+1时刻的向量x(t+1)；
[0045]
s207：根据公式(3)计算控制输入信号并作用于被控系统；
[0046]
s208：更新系统状态向量；
[0047]
s209：判断是否到达迭代时间t，若是，则强化学习过程结束，否则返回步骤s203。
[0048]
与现有技术相比，本发明的有益效果包括：能够及时有效抑制电力系统的低频振荡，一方面提高电网的安全性与稳定性，另一方面使得电网能够及时大规模吸纳风电厂发出的电能，提高风力发电企业的经济和社会效益。
附图说明
[0049]
图1是本发明方法的流程示意图；
[0050]
图2是基于强化学习的风力发电wadc控制系统结构示意图；
[0051]
图3是强化学习控制原理图；
[0052]
图4是强化学习控制的流程示意图；
[0053]
图5是转子侧变频器的控制基本框图；
[0054]
图6是电网侧变频器结构图；
[0055]
图7是电网侧变频器控制框图；
[0056]
图8是基于强化学习的wadc控制器的控制原理示意图；
[0057]
图9是含风力发电的4机-11节点发电系统原理结构图；
[0058]
图10是施加0.1pu电压信号扰动时，发电机g1和g3相对角速度响应曲线；
[0059]
图11是施加0.1pu电压信号扰动时，发电机g1和g3相对功角响应曲线；
[0060]
图12是施加0.1pu电压信号扰动时，联络线78传输有功功率响应曲线；
[0061]
图13三相短路故障时，发电机g1和g3相对角速度响应曲线；
[0062]
图14是三相短路故障时，发电机g1和g3相对功角响应曲线；
[0063]
图15是三相短路故障时，联络线78传输有功功率响应曲线。
具体实施方式
[0064]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0065]
请参考图1，图1是本发明的方法的流程示意图；
[0066]
本发明提供了一种基于强化学习风储发电系统振荡阻尼控制器设计方法。本发明方法包括以下步骤：
[0067]
s101：构建基于强化学习的风力发电wadc控制系统；wadc控制系统包括：双馈型风电机组和基于强化学习的wadc控制器；
[0068]
请参考图2，图2是基于强化学习的风力发电wadc控制系统结构示意图；
[0069]
其中双馈型风电机组包括：风力机、齿轮箱、双馈感应发电机dfig、变压器、转子侧变频器、电网侧变频器和过压保护电路crowbar；
[0070]
风力机与齿轮箱通过机械传动连接；齿轮箱与双馈感应发电机通过传动轴承连接；双馈感应发电机dfig与变压器通过电磁耦合连接，并通过变压器接入交流电网；双馈感应发电机dfig与过压保护电路crowbar的输出端、转子侧变频器的输入端电气连接；转子侧变频器的输出端与电网侧变频器的输入端电气连接；电网侧变频器的输出端与变压器的一端电气连接；
[0071]
在双馈型风电机组结构图中，主要包括以下模型，分别为风力机模型和双馈感应发电机模型；
[0072]
需要说明的是，风力机模型主要完成从风能到机械能的转换，以风速、桨距角和发电机机械转速标幺值作为输入，输出为作用于感应电机转子的机械转矩。
[0073]
根据空气动力学，风力机捕获风能的特性可用如下简化的风力机输出机械功率表示
[0074][0075]
式中，
[0076]
1)pw为风力机输出机械功率(w)，r为叶片半径(m)，ρ为空气密度 (kg/m3)，vw为等效风速(m/s)；
[0077]
2)c
p
为风能利用系数，与λ和β有关，λ为叶尖速率比，β为叶片桨距角(
°
)。
[0078]
①
叶尖速比
[0079]
定义为风力机叶片尖端线速度与风速之比
[0080][0081]
式中，ωm为风力机机械转速。
[0082]
[0083]
式中，ωr为发电机机械转速标幺值(p.u.)，p为发电机极对数(对)，gr 为齿轮变速比。
[0084]
②
叶片桨距角
[0085]
指风机叶片与风轮平面的夹角。桨距角越小叶片的迎风面越大，因此捕获的风能也越大。
[0086]
考虑风力机齿轮箱的机械效率，则风力机实际输出功率为
[0087]
p
w_out
＝η
·
pwꢀꢀ
(1.4)
[0088]
式中，η为齿轮箱效率。
[0089]
由此可得输出机械转矩的标幺值为
[0090][0091]
需要说明的是，双馈感应发电机模型如下：
[0092]
双馈发电机数学模型由电压方程、磁链方程和转矩功率方程组成。依照电动机惯例，在同步旋转坐标系下，定转子电压方程为：
[0093][0094]
式中p是微分算子d/dt，ψ表示磁链，下标s和r分别表示定子和转子变量，下标d和q分别表示同步坐标系下d轴和q轴变量，下同。式中所有变量包括时间均为标幺值，其中时间t的基准值为1/ωb,即按ωb的角频率选择1rad所花费的时间。ωb基准角频率，对50hz系统，ωb＝2*πf。
[0095]
标幺化的定子有功，无功方程为：
[0096][0097]
将同步旋转坐标系d轴定向在定子磁链轴线上，则定转子磁链方程为：
[0098][0099]
忽略定子电阻(rs＝0)和定子磁链暂态(pψd,q＝0)，式中定子电压简化为：
[0100][0101]
式中us为定子相电压幅值，ω1是定子电气量的角速度。将ψ
sd
＝us/ω1和式、带入功率方程，并记定子输出功率为p
out
和q
out
，即p
sout
＝-ps，q
sout
＝-qs得到：
[0102][0103]
所以由式可知，p
sout
,q
sout
可由i
rq
,i
rd
解耦控制。而i
rq
,i
rd
的控制最终是通过u
rd
,u
rq
实现的。i
rq
,i
rd
与u
rd
,u
rq
的关系推导如下：
[0104]
由定子磁链方程得：
[0105][0106]
将以i
rq
,i
rd
表示的定子电流方程式代入转子磁链方程得
[0107][0108]
式中：将式代入式中的转子电压方程可得i
rq
,i
rd
与u
rd
,u
rq
的关系
[0109][0110]
其中ω
slip
＝ω
1-ωr,为角速度偏差信号的标幺值。
[0111]
s102：采用基于强化学习的wadc控制器控制所述双馈型风电机组；
[0112]
基于强化学习的wadc控制器，其包括三部分控制：强化学习控制、电压外环pi控制和电流内环pi控制；
[0113]
强化学习控制用于控制双馈感应发电机dfig，其输入信号为双馈感应发电机dfig角速度偏差信号，输出信号接入电压外环pi控制；
[0114]
电压外环pi控制用于控制电网侧变频器；
[0115]
电流内环pi控制，用于控制转子侧变频器输出指定的有功和无功功率，完成风力机并网接入点出功率振荡的抑制。
[0116]
请参考图3，图3是强化学习控制原理图；所述强化学习控制包括：状态转换器、actor网络和critic网络；其单独控制的原理为：
[0117]
根据实际情况预先给定信号w(t)与被控光伏发电系统输出量y(t)相减，产生误差信号e(t)；误差信号e(t)经过状态转换器转变为强化学习网络的输入状态信号x(t)；状态信号x(t)输入至actor网络，得到输出信号un(t)；状态信号x(t)与误差的强化学习信号r(t)一起输入至critic网络，得到输出信号n(t)；输出信号un(t)与n(t)相结合，得到被控光伏发电系统的控制输入信号u(t)；u(t)作用于被控光伏发电系统，得到输出信号y(t)形成闭环控制； actor网络和critic网络还通过时序差分信号δ
td
(t)在线更新actor网络和 critic网络的权值系数。
[0118]
采用rbf神经网络同时完成actor网络的策略函数和critic网络的值函数功能；所述rbf神经网络的输入为状态信号x(t)＝[x1(t),x2(t)
…
,xn(t)]
t
；
[0119]
，其隐含层采用的高斯核函数为：
[0120][0121]
其中，μj＝[μ
j1
,μ
j2
,μ
j3
]是第j个节点的中心向量,σj是第j个节点的宽度函数，m是隐含层节点的数量。
[0122]
所述actor网络和critic网络的输出分别为：
[0123][0124][0125]
其中ω
nj
和ωj分别为actor网络和critic网络的权值系数。
[0126]
所述控制输入信号u(t)的表达式如下：
[0127]
u(t)＝un(t)+ηm(0,ρ(t))
ꢀꢀ
(3)
[0128]
其中，ηm()为高斯分布函数；ρ(t)＝[1+exp(2n(t))]-1
。
[0129]
所述时序差分信号δ
td
(t)的表达式如下：
[0130]
δ
td
(t)＝r(t)+λn(t+1)-n(t)
ꢀꢀ
(4)
[0131]
其中λ为折扣系数，0《λ《1，性能指标函数为：
[0132]
所述actor网络和critic网络的权值系数更新公式为：
[0133][0134]
ωj(t+1)＝ωj(t)+ηcδ
td
h(t)
ꢀꢀ
(6)
[0135]
其中,ηa和ηc是actor网络和critic网络学习速率。
[0136]
隐含层节点中心函数c(t)和宽度函数σ(t)更新公式分别为：
[0137][0138][0139]
其中，β1与β2是学习速率。
[0140]
请参考图4，强化学习控制的流程具体为：
[0141]
s201：初始化rbf网络的学习速率ηa和ηc、折扣系数λ和网络的权值系数ω
nj
和ωj、迭代总次数nc、迭代时间t和误差阈值δ0；作为一种实施例，径向基函数神经网络(radical basis function，rbf)的隐含层神经元个数为6个，actor网络学习速率ηa为0.02和critic网络学习速率ηc为0.02，隐含层节点中心函数初始值c(t)为[1 1 1 1 1 1],中心函数初始值c(t)为[1 1
ꢀꢀ
1 1]，中心函数c(t)更新时学习速率β1为0.01，宽度函数σ(t)更新时的学
习速率β2为0.01；δ0＝0.03，ε＝0.02；
[0142]
s202：进入网络循环迭代过程，令当前迭代次数i＝1；
[0143]
s203：判断i《nc是否成立，若是，则进入步骤s204；否则进入步骤s206；
[0144]
s204：根据t时刻的x(t)，根据公式(1)和(2)求解t时刻actor和 critic网络的输出un(t)和n(t)；
[0145]
s205：根据公式(4)计算时序差分信号δ
td
的值，判断若，δ0》δ
td
则按照式(5)、(6)更新actor网络和critic网络的权值；按照式(7)、(8)计算中心函数和宽度函数；
[0146]
s206：获取t+1时刻的向量x(t+1)；
[0147]
s207：根据公式(3)计算控制输入信号并作用于被控系统；
[0148]
s208：更新系统状态向量；
[0149]
s209：判断是否到达迭代时间t，若是，则强化学习过程结束，否则返回步骤s203。
[0150]
电压外环pi控制和电流内环pi控制，用于控制转子侧变频器输出指定的有功和无功功率，完成风力机并网接入点出功率振荡的抑制。
[0151]
关于转子侧变频器的控制，下面详细说明如下：
[0152]
dfig转子绕组通过能够控制转子滑环电压的电力电子变频器馈入电网，适当的解耦控制方法可以分别控制dfig发出的有功与无功。
[0153]
由前面记载的双馈感应发电机dfig的模型公式可知：通过改变i
qr
,i
dr
即可分别控制双馈感应发电机发电机的输出功率p
sout
,q
sout
,而i
qr
,i
dr
控制最终由 u
qr
,u
dr
实现，即功率外环pi控制和电流内环pi控制结构。转子侧变频器的控制基本框图如图5所示。需要说明的是，电流内环pi控制为本技术必要的控制手段，而功率外环pi控制可采用常见的pi控制手段进行，在本技术中不作详细阐述；
[0154]
关于电网侧的变频器控制，本技术详细阐述如下：
[0155]
电网侧变频器控制用于维持直流环节电容电压在一个预先设定的恒定值，而与转子功率的方向与大小无关；并根据整个风电机组对无功功率的要求控制其发出的无功功率为设定参考值。
[0156]
网侧变频器各电气量的正方向规定如图6所示。u
dc
为直流母线电压，i
dcr
为流至转子侧变频器的直流电流，i
dcg
为从网侧变频器输出的直流电流，lg为滤波电感，rg为滤波电感的电阻。
[0157]
任意dq旋转坐标下的电压方程为
[0158][0159]
其中ωc为电网电压角速度，式中各变量包括时间t均为标幺值。
[0160]
d轴定向于电网电压矢量时，u
gq
＝0，电网注入到网侧变频器的有功，无功功率为：
[0161][0162]
因此通过分别控制i
gd
,i
gq
可实现向电网输出的功率pg，qg的解耦控制。
[0163]
根据瞬时功率理论，无功功率只在三相之间传递，影响直流电压的只能是有功功
率，故可通过有功电流i
gd
控制直流电压。
[0164]
采用横幅值abc至dq变换，有名值下，忽略直流侧损耗时 pg＝u
dcidcg
＝3/2u
gdigd
，代入交流侧电压和直流电压关系式(m为调制比)：
[0165][0166]
得到又由直流回路
[0167]
得到
[0168]
将i
dcr
视为扰动量，则直流电压由输出有功电流控制的传递函数可以表达为：
[0169][0170]
与转子侧变频器控制类似，对网侧变频器的控制最终都是通过控制其电压来实现的，因此需要建立变频器交流电压与电流的关系。根据式可得变频器交流侧电压u
gcd
,u
gcq
的表达式为：
[0171][0172]
电网侧变频器的控制如图7所示。
[0173]
请参考图8，图8是基于强化学习的wadc控制器的控制原理示意图。
[0174]
其中，i
dref
是有功功率功率外环产生的内环电流d轴参考值，能控制风力输出有功功率。
[0175]
无功功率pi控制的输出内环电流q轴参考值i
qref
，能调节风力输出无功功率。
[0176]
如图8所示，将风力发电系统的广域阻尼控制器设计在电压外环中，即将广域阻尼控制信号添加到电压外环之中，从而调节内环电流q轴参考值 i
qref
和风力无功功率的输出，达到抑制风机并网接入点出功率振荡的目的。
[0177]
作为一种实施例，参考图9，图9是含风力发电的4机-11节点发电系统原理结构图。
[0178]
4机-11节点发电系统包括4台发电机，其中1号发电机是一台等值机， 11个节点，4台变压器，12条线路。系统基准功率为100mva，基准电压为345kv。请参考表1，表1是4机-11节点发电系统支路电气参数；
[0179]
表1 4机-11节点发电系统支路电气参数
[0180][0181][0182]
注：变压器变比为0表示该支路为输电线，变比非0表示变压器支路。
[0183]
以含风力发电的4机-11节点电力系统为例，在发动机g1机端施加0.1 标幺值的电压信号扰动，图10、图11和图12是系统响应的仿真结果。在联络线7和8靠近8处，发生三相短路故障时，图13、图14和图15是系统响应曲线。
[0184]
从仿真实验看采用基于强化学习的wadc控制后，能够有效抑制电力系统受到扰动时所产生的低频振荡。
[0185]
本发明有益效果是：能够及时有效抑制电力系统的低频振荡，一方面提高电网的安全性与稳定性，另一方面使得电网能够及时大规模吸纳风电厂发出的电能，提高风力发电企业的经济和社会效益。
[0186]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0187]
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保
护范围内。

技术特征：
1.一种基于强化学习的风力发电系统wadc设计方法，其特征在于：s101：构建基于强化学习的风力发电wadc控制系统；wadc控制系统包括：双馈型风电机组和基于强化学习的wadc控制器；其中双馈型风电机组包括：风力机、齿轮箱、双馈感应发电机dfig、变压器、转子侧变频器、电网侧变频器和过压保护电路crowbar；风力机与齿轮箱通过机械传动连接；齿轮箱与双馈感应发电机通过传动轴承连接；双馈感应发电机dfig与变压器通过电磁耦合连接，并通过变压器接入交流电网；双馈感应发电机dfig与过压保护电路crowbar的输出端、转子侧变频器的输入端电气连接；转子侧变频器的输出端与电网侧变频器的输入端电气连接；电网侧变频器的输出端与变压器的一端电气连接；s102：采用基于强化学习的wadc控制器控制所述双馈型风电机组；基于强化学习的wadc控制器，其包括三部分控制：强化学习控制、电压外环pi控制和电流内环pi控制；强化学习控制用于控制双馈感应发电机dfig，其输入信号为双馈感应发电机dfig角速度偏差信号，输出信号接入电压外环pi控制；电压外环pi控制用于控制电网侧变频器；电流内环pi控制，用于控制转子侧变频器输出指定的有功和无功功率，完成风力机并网接入点出功率振荡的抑制。2.如权利要求1所述的基于强化学习的风力发电系统wadc设计方法，其特征在于：所述强化学习控制包括：状态转换器、actor网络和critic网络；其单独控制的原理为：根据实际情况预先给定信号w(t)与输出量y(t)相减，产生误差信号e(t)；误差信号e(t)经过状态转换器转变为强化学习网络的输入状态信号x(t)；状态信号x(t)输入至actor网络，得到输出信号u
n
(t)；状态信号x(t)与误差的强化学习信号r(t)一起输入至critic网络，得到输出信号n(t)；输出信号u
n
(t)与n(t)相结合，得到被控光伏发电系统的控制输入信号u(t)；u(t)作用于被控光伏发电系统，得到输出信号y(t)形成闭环控制；actor网络和critic网络还通过时序差分信号δ
td
(t)在线更新actor网络和critic网络的权值系数。3.如权利要求2所述的基于强化学习的风力发电系统wadc设计方法，其特征在于：采用rbf神经网络同时完成actor网络的策略函数和critic网络的值函数功能；所述rbf神经网络的输入为状态信号x(t)＝[x1(t),x2(t)
…
,x
n
(t)]
t
，其隐含层采用的高斯核函数为：其中，μ
j
＝[μ
j1
,μ
j2
,μ
j3
]是第j个节点的中心向量,σ
j
是第j个节点的宽度函数，m是隐含层节点的数量。4.如权利要求3所述的一种基于强化学习的风力发电系统wadc设计方法，其特征在于：所述actor网络和critic网络的输出分别为：
其中ω
nj
和ω
j
分别为actor网络和critic网络的权值系数。所述控制输入信号u(t)的表达式如下：u(t)＝u
n
(t)+η
m
(0,ρ(t))
ꢀꢀꢀꢀ
(3)其中，η
m
()为高斯分布函数；ρ(t)＝[1+exp(2n(t))]-1
。5.如权利要求4所述的一种基于强化学习的风力发电系统wadc设计方法，其特征在于：所述时序差分信号δ
td
(t)的表达式如下：δ
td
(t)＝r(t)+λn(t+1)-n(t)
ꢀꢀꢀꢀ
(4)其中λ为折扣系数，0＜λ＜1，性能指标函数为：6.如权利要求5所述的一种基于强化学习的风力发电系统wadc设计方法，其特征在于：所述actor网络和critic网络的权值系数更新公式为：ω
j
(t+1)＝ω
j
(t)+η
c
δ
td
h(t)
ꢀꢀꢀꢀ
(6)其中,η
a
和η
c
是actor网络和critic网络学习速率。7.如权利要求6所述的一种基于强化学习的风力发电系统wadc设计方法，其特征在于：隐含层节点中心函数c(t)和宽度函数σ(t)更新公式分别为：隐含层节点中心函数c(t)和宽度函数σ(t)更新公式分别为：其中，β1与β2是学习速率。8.如权利要求7所述的一种基于强化学习的风力发电系统wadc设计方法，其特征在于：强化学习控制的流程具体为：s201：初始化rbf网络的学习速率η
a
和η
c
、折扣系数λ和网络的权值系数ω
nj
和ω
j
、迭代总次数n
c
、迭代时间t和误差阈值δ0；s202：进入网络循环迭代过程，令当前迭代次数i＝1；s203：判断i＜n
c
是否成立，若是，则进入步骤s204；否则进入步骤s206；s204：根据t时刻的x(t)，根据公式(1)和(2)求解t时刻actor和critic网络的输出u
n
(t)和n(t)；s205：根据公式(4)计算时序差分信号δ
td
的值，判断若，δ0＞δ
td
则按照式(5)、(6)更新actor网络和critic网络的权值；按照式(7)、(8)计算中心函数和宽度函数；s206：获取t+1时刻的向量x(t+1)；s207：根据公式(3)计算控制输入信号并作用于被控系统；s208：更新系统状态向量；s209：判断是否到达迭代时间t，若是，则强化学习过程结束，否则返回步骤s203。

技术总结
本发明公开一种基于强化学习的风力发电系统WADC设计方法，方法包括以下步骤：构建基于强化学习的风力发电WADC控制系统；WADC控制系统包括：双馈型风电机组和基于强化学习的WADC控制器；采用基于强化学习的WADC控制器控制所述双馈型风电机组；基于强化学习的WADC控制器，其包括三部分控制：强化学习控制、电压外环PI控制和电流内环PI控制；本发明有益效果是：能够及时有效抑制电力系统的低频振荡，一方面提高电网的安全性与稳定性，另一方面使得电网能够及时大规模吸纳风电厂发出的电能，提高风力发电企业的经济和社会效益。高风力发电企业的经济和社会效益。高风力发电企业的经济和社会效益。


技术研发人员：于来宝 卫璐 宋晶 郑火胜 杨中原 姬庆玲
受保护的技术使用者：武汉城市职业学院
技术研发日：2022.07.11
技术公布日：2022/11/1