基于智能反射面辅助的noma太赫兹网络能效优化方法
技术领域
1.本发明涉及一种网络能效优化方法，特别是一种基于智能反射面辅助的noma太赫兹网络能效优化方法，属于通信技术领域。
背景技术：2.在当前和未来的无线通信中，对信息和娱乐的超高数据速率的需求快速增长。然而，现有的频谱资源远远不能满足日益增长的数据速率需求，因此迫切需要探索新的频带来突破频谱瓶颈。因此，被认为是第六代(6g)移动通信基础技术的太赫兹(thz)频段以其较大的带宽特性引起了学术界和工业界的广泛关注。thz波是指0.1-10thz频率的电磁波，其可用带宽是毫米波的几十倍以上，峰值数据速率为1-10tbits/s。太赫兹波段由于波束窄、通信容量大等优点，在实现超高速无线传输方面具有更大的潜力。然而，由于太赫兹波的频率高、波长小，其衍射和穿透能力不如微波和毫米波，这使得它更容易被障碍物阻挡。
3.由于thz频段具有较强的衰减性能，仅适用于短距离通信场景，如商场、地铁站等室内场所。太赫兹波在户外通信中的应用需要大量的中继设备。因此，一些学者提出将太赫兹技术与智能反射面(irs)相结合，通过反射信号来提高传输效率。irs是一个无源器件，由大量被动反射元件组成的反射面。每个组件都可以调整其角度以独立地反射信号。irs可放置在建筑物表面，有效反射室内外信号。许多研究都集中在太赫兹波段的irs辅助通信上。
4.太赫兹频谱带宽较宽，具有更多的潜在用户和应用场景，包括移动用户、工业用户、智能医疗保健等。但太赫兹频段的主要缺点是覆盖面积较小，这是由于太赫兹信号衰减严重造成的。因此，这将导致严重的传输负担，并导致能源消耗的迅速增加。非正交多址接入技术(noma)是一种很有前景的无线通信技术，它允许用户通过功率域或码域同时共享同一子信道，通过功率域或码域同时共享所有用户之间的通信资源，与传统的正交多址接入相比，noma是一种提高频谱效率、支持大量无线网络连接的有效技术[8]。noma鼓励更多的用户设备占用相同的子信道，并可以提供大量的数据服务，提高太赫兹网络中资源的利用率。为了在太赫兹通信中提供大量的无线连接并提高资源利用率，最近的研究将noma技术结合到太赫兹网络中。noma技术被引入到thz蜂窝网络中，提出了一种基于交替方向法的子信道分配和功率分配方案，以优化能量效率。
[0005]
受noma能力增强和irs覆盖率提高的启发，irs辅助的noma通信系统引起了研究人员的兴趣。比如有研究提出了一种用于irs辅助的noma下行链路传输的设计，其中边缘用户的信道向量在irs辅助下在预定的空间方向上对齐。有研究提出了irs辅助的noma网络，并提出了一种联合优化基站(bs)发射波束形成和irs反射相移的节能方案。此外，有的研究还考虑了智能反射面增强毫米波noma系统，并提出了波束形成和功率分配的联合优化问题。
[0006]
传统网络下的资源管理机制的研究已经相对成熟，但应用于太赫兹还存在很多限制，主要包括：
[0007]
接入数量限制：现有资源管理机制只适用于接入数量较少的情况，随着用户数量和接入设备的增加，会出现频谱利用率下降的情况，因而需要研究接入数量过多网络的能
量效率问题。
[0008]
信号衰减严重：由于太赫兹频率衰减严重，信号很容易被建筑物遮挡，建筑物阴影位置的用户无法接收到基站的信号，将无法正常通信。传统的太赫兹网络需要建设大量基站，以保证用户的最小信噪比。
[0009]
能量效率太低：随着用户数和接入设备的增加，基站数目过多，基站需要较大的发射功率，导致基站的能量消耗过大，现有的太赫兹通信系统的能量利用率太低。
[0010]
算法效率低下：传统的网络采用dqn算法进行强化学习训练，采用单代理进行训练，每个代理代表用户，每次训练在用户端执行，没有考虑到用户之间的信息交流、每次训练基站转发信息将承担巨大流量。
技术实现要素：[0011]
本发明所要解决的技术问题是提供一种基于智能反射面辅助的noma太赫兹网络能效优化方法，解决现有技术的不足。
[0012]
为解决上述技术问题，本发明所采用的技术方案是：
[0013]
一种基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于包含以下步骤：
[0014]
步骤一：将用户分为bs用户和irs用户；
[0015]
步骤二：定义bs用户的信道模型和irs用户的信道模型；
[0016]
步骤三：分别计算bs用户速率和irs用户速率并计算系统的总速率；
[0017]
步骤四：提出关于下行功率控制和irs相移调整的优化问题；
[0018]
步骤五：使用madrl方法解决优化问题。
[0019]
进一步地，所述步骤一具体为：
[0020]
基站配备nb个天线，用户配备nu天线，用户分别被分为bs用户和irs用户；假设有l个bs用户，以集合表示；每个irs用户被分为m簇，每簇k个用户，每簇由g个irs的元件服务，分别定义为系统的带宽被分为多个子信道，每个bs用户和irs用户分别使用一个子信道，假设bs用户使用前l个子信道，irs用户使用剩下的子信道。
[0021]
进一步地，所述步骤二中，bs用户的信道模型具体为：
[0022]
考虑从bs到用户的太赫兹信道建模为los信道，由于太赫兹的严重衰减，忽略反射，折射和散射路径；从bs通过子信道n到用户l的信道表示为：
[0023][0024]
其中，pl(fn，d
l
)是太赫兹los路径的路径损耗，fn和d
l
分别是太赫兹频率和基站到用户的距离；太赫兹los路径的路径损耗分为两部分，一部分是自由空间传播损耗，一部分是分子吸收损耗，表示为：
[0025]
pl(fn，d
l
)＝l
spread
(fn，d
l
)
×
l
abs
(fn，d
l
)
[0026]
其中，l
spread
(fn，d
l
)和l
abs
(fn，d
l
)满足：
[0027][0028][0029]
其中，c表示光速，k
abs
(fn)是分子吸收系数；
[0030]
假设通过子信道n，发送给用户l的功率为接收到的信号为
[0031][0032]
其中，σ2为加性高斯白噪声功率，为通过子信道n发送给用户l
′
的功率。
[0033]
进一步地，所述步骤二中，irs用户的信道模型具体为：
[0034]
irs用户的信道由bs到irs信道和irs到用户的信道和irs元件的相移组成；根据经典的s-v模型，假设通过irs i反射到第m簇里的第k个用户信道矢量定义为：
[0035]
h＝hiφhb[0036]
其中，hb代表从基站到irs的信道衰落，hi代表从irs到用户的信道衰落；φ是一个g
×
g的对角阵，代表着irs元件的相移，满足其中的表示第g个元件的相移；hb可以分别表示为：
[0037][0038]
其中
[0039][0040][0041][0042]
其中，l1表示从bs到irs的散射路径数目，是路径l1的路径损失复增益，表示路径l1上，从bs到irs的离开角和到达角；这里考虑均匀的线性阵列，和表示bs和irs的阵列响应矢量，表示为
[0043][0044][0045]
其中，λ是太赫兹信号的的波长，d为相邻的天线元件或irs元件之间的距离；
[0046]
与bs到irs链路相同，irs到用户的信道表示为
[0047]
[0048]
其中，
[0049][0050][0051][0052]
其中，l2表示从bs到irs的散射路径数目，是路径l2的路径损失复增益，表示路径l2上，从irs到bs的离开角和到达角；这里考虑均匀的线性阵列,和表示为
[0053][0054][0055]
因此irs到用户之间的信道为
[0056][0057]
为了简单起见，假定nb＝1、nu＝1；因此矢量h是由代表着通过子信道n，第m簇第k个用户的信道增益的单向量组成；用表示发送给第n子信道上，第m簇第k个用户的功率；第n子信道上，第m簇第k个用户的接收信号表示为
[0058][0059]
进一步地，所述步骤三具体为：
[0060]
计算bs用户速率：
[0061]
bs用户l信号接收的信噪比为
[0062][0063]
根据香农公式，用户l的速率表示为
[0064][0065]
其中，b是带宽；
[0066]
计算irs用户速率：
[0067]
第m簇的用户k的信噪比为
[0068][0069]
速率表示为
[0070][0071]
则系统的总速率表示为
[0072][0073]
进一步地，所述步骤四具体为：
[0074]
为了使网络的整体能源效率最大化，提出了一个关于下行功率控制和irs相移调整的优化问题；bs的总传输功率计算为所有用户的功率之和，表示为
[0075][0076]
系统网络的能源效率被定义为网络速率之和与总功率的之比；这里对最优化问题的表述为
[0077][0078][0079][0080][0081][0082][0083]
其中，c1和c2是每个用户的功率限制，c3和c4是速率的最低要求，c5是角度的范围。
[0084]
进一步地，所述步骤五具体为：
[0085]
使用madrl方法来解决优化问题，将虚拟代理引入到bs中，作为用户的映射，并且训练以实现最佳的功率和相移；在bs上配置一个中央控制器，以收集用户的信息，如信道状态信息csi、相移和功率；设置一个时钟，以确保代理训练中的同步迭代，以便在每次迭代后计算出全局能量效率；代理利用收集到的用户信息和实时迭代结果进行训练，以实现全局优化。
[0086]
进一步地，考虑一个离散时间、有限状态空间和动作空间的马尔可夫过程来训练；强化学习的基本元素用一个元组来表示其中表示为状态空间，表示为动作空间，表示为奖励函数，是状态转移概率；状态和动作空间设置如下：
[0087]
1)状态空间：定义一个元组来代表irs的元件角度和bs用户和irs用户的功
率，公式表示为其中
[0088]
2)动作空间：为了获得有限的空间，我们将角度和功率离散化
[0089][0090][0091]
其中，和是irs元件相位的最小值和最大值，p
min
和p
max
是用户功率的最小值和最大值，角度和功率的离散数目分别为和|p|；动作空间表示为
[0092]
3)奖励空间：我们将当前状态和前一状态之间的整体能源效率的差定义为奖励，其表示为ee
t+1
和ee
t
分别为状态s
t+1
和状态s
t
的能量效率；
[0093]
代理获得最优的策略π来实现最大化累积的奖励，表示为
[0094][0095]
其中，γ∈(0，1]，表示一个对于未来奖励的折扣因子；
[0096]
在训练中，代理通过最优的策略π选择动作；代理在状态s
t
时根据最优的策略π采取动作a
t
，此时代理的动作-价值的函数q
π
(s
t
，a
t
)表示为
[0097][0098]
根据贝尔曼方程
[0099][0100]
对最优策略的评价表示为
[0101][0102]
最优的策略表示为
[0103][0104]
为了实现在大状态空间和动作空间中获得最优策略的搜索，在madrl中引入了dqn；最优策略和值函数由qi(s，a；θ)≈q
*
(s，a)近似为一个函数，其中θ是权重，并通过训练进行更新；dqn有一个目标网络和一个当前网络，通过最小化损失函数进行训练来优化参数θ；损失函数为
[0105][0106]
其中，q
t
(s
t
，a
t
；θ)是神经网络在状态为s
t
，参数为θ时的输出，是目标网络在状态s
t+1
，参数为时的输出
[0107]
[0108]
采用梯度下降算法使损失函数最小化，并利用神经网络逼近动作-价值函数直至收敛。
[0109]
进一步地，随机参数θ生成动作价值函数q，目标动作价值函数迭代的索引t，经验池
[0110]
从episode＝1到m循环
[0111]
3)初始化状态s
t
[0112]
4)从t＝1到t循环
[0113]
k.代理通过来进行动作的选择；
[0114]
l.代理执行动作a
t
，将从当前状态s
t
转换到下一个状态s
t+1
；
[0115]
m.代理通过与中央控制器交换数据获取奖励r
t
；
[0116]
n.将s
t
，a
t
，r
t
，s
t+1
组成元组(s
t
，a
t
,r
t
,s
t+1
)，存入经验池中；
[0117]
o.从经验池中随机抽取出小批量元组(s
t
，a
t
,r
t
,s
t+1
)；
[0118]
p.通过计算
[0119]
q.对使用梯度下降方法更新参数θ；
[0120]
r.每过一段时间，将θ赋给更新即
[0121]
s.中央控制器计算能量效率ee
t
；
[0122]
t.通过r
t
＝ee
t+1-ee
t
计算出奖励；
[0123]
结束循环。
[0124]
本发明与现有技术相比，具有以下优点和效果：
[0125]
1、我们利用noma技术构建了一个irs辅助的太赫兹蜂窝网络。在计算bs用户和irs用户速率时，同时考虑用户之间的相邻频带干扰和每组irs用户之间的频带内干扰。
[0126]
2、为了最大限度地提高系统的能量效率，在最大传输功率和最小数据速率要求的约束下，提出了一个优化问题来调整irs元件的相位角并控制下行链路功率。
[0127]
3、采用madrl方法求解优化问题。虚拟代理被引入bs，并通过中央控制器与周期性信息交互同步执行训练。采用深度q网络(dqn)方法，对优化变量进行非均匀离散，以构造动作空间。
附图说明
[0128]
图1是本发明的基于智能反射面辅助的noma太赫兹网络系统模型图。
[0129]
图2是本发明的实施例的代理与环境互动示意图。
具体实施方式
[0130]
为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例，并且，在不付出创造性劳动的前提下，本发明的实施例中的技术手段或技术特征可以替换，下面将参考附图并结合实施例来详细说明本发明。
[0131]
首先对本发明所用到的部分专业词汇进行说明：
[0132]
1、irs辅助太赫兹通信：许多研究都集中在太赫兹波段的irs辅助通信上。文献[1]提出了一种寻找irs元件最佳相移的方法，以提高基于太赫兹波段的系统速率。在[2]中，通过在基站(bs)处设计irs和预编码器的离散相移来优化频谱效率。此外，还开发了一种子空间追踪方案，用于irs辅助thz网络的信道估计，以最大化系统的速率[3]。
[0133]
noma技术应用在太赫兹通信里的应用：为了提供大量的无线连接，提高太赫兹通信中的资源利用率，最近的研究将noma技术结合到太赫兹网络中。[5]将noma技术引入到的thz蜂窝网络中，提出了一种基于替代方向方法的子信道分配和功率分配方案来优化能源效率。此外，在[4]中捕获了thz的长用户-中心窗口特性，其中将thz窗口的中心子带和侧子带分别分配给长和短noma组。在noma中，分配给用户的功率与其信道增益有关。弱信道增益将分配给大功率用户，强信道增益将分配给较小的功率[4]。noma可以解码或解调覆盖的叠加信号。
[0134]
irs辅助的noma网络：受noma技术对系统容量提高和irs覆盖率提高的启发，irs辅助的noma的通信引起了研究人员的兴趣。[6]中提出了一种用于irs辅助noma下行链路传输的设计，其中边缘用户的信道向量在irs辅助下在预定的空间方向上对齐。在[7]中，作者重点研究了irs辅助的noma网络，并提出了一种能量管理方法联合优化传输波束的有效方案基站(bs)的形成和irs的反射相移。此外，在[8]中考虑了irs增强毫米波noma系统，并提出了波束形成和功率分配的联合优化问题。在文献[5]中，作者专注于一个irs辅助的noma网络，并提出了一种节能算法，通过联合优化bs的传输波束赋形和irs的反射相移来最大化系统的能量效率。文献[6]研究了一种irs增强毫米波noma系统，提出了有源束形成、无源束形成和功率分布的联合优化问题。在[7]中研究了irs在noma系统传输功耗中的有效性，并考虑到每个用户最小信号干扰比的约束条件，提出了irs辅助下行noma系统的功率最小化问题。在[8]中提出了一种简单的irs辅助noma下行传输的设计。基站首先采用传统的空间划分多址接入，利用近用户信道的空间方向生成正交波束。在irs协助下，边缘用户的有效信道向量在预定的空间方向上对齐，确保这些波束可以服务于额外的边缘用户。
[0135]
引入强化学习：文献[9]-[11]使用强化学习对优化问题进行求解。文献[9]研究了多单元功率分配的方法，与传统的优化分解方法不同，采用深度强化学习(drl)方法来解决了功率分配问题。文章的工作目标是在基站随机、密集分布的情况下，使整个网络的整体容量最大化。提出了一种无线资源映射方法和深度神经网络deep q-全连接网络(dqfcnet)。与water-filling算法功率分配和q learning方法相比，dqfcnet可以实现更高的整体容量。仿真结果表明，dqfcnet在收敛速度和稳定性方面都有显著的提高。文献[10]研究了利用深度强化学习(drl)来解决动态频谱访问问题。具体来说，文章研究了这样一种场景，即不同类型的节点共享多个离散通道，这些节点缺乏与其他节点通信的能力，并且对其他节点的行为没有先验知识。每个节点的目标是最大化其自己的长期的成功传输的数量。该问题被表述为一个具有未知系统动力学的马尔可夫决策过程(mdp)。为了克服未知环境和非常大的过渡矩阵相结合的挑战，采用了两种特定的drl方法：深度q网络(dqn)和双深度q网络(ddqn)。此外，还引入了改进dqn的技术，包括资格跟踪、既往经验和“猜测过程”。仿真结果表明，dqn和ddqn都可以在没有事先知识的情况下有效地学习不同节点的通信模式，并达到接近最优的性能。文献[11]中表示优化无线系统中的无线电传输功率和用户数据速率需
要完整的系统可观测性。虽然这个问题在文献中得到了广泛的研究，但仅利用实际系统中可用的部分可观测性来接近最优性的实际解决方案仍然缺乏。本发明提出了一种在蜂窝网络中实现下行功率控制和速率自适应的强化学习方法，从而弥补了这一差距。发明中提出了一个全面的学习框架的设计，包括系统状态，一个一般的奖励函数，和一个有效的学习算法。系统级仿真表明，这个设计快速学习了一个功率控制策略，带来了显著的能源节约和公平的用户在系统中。
[0136]
如图1所示，本发明的一种基于智能反射面辅助的noma太赫兹网络能效优化方法，包含以下步骤：
[0137]
步骤一：将用户分为bs用户和irs用户。
[0138]
基站配备nb个天线，用户配备nu天线，用户分别被分为bs用户和irs用户；假设有l个bs用户，以集合表示；每个irs用户被分为m簇，每簇k个用户，每簇由g个irs的元件服务，分别定义为系统的带宽被分为多个子信道，每个bs用户和irs用户分别使用一个子信道，假设bs用户使用前l个子信道，irs用户使用剩下的子信道。
[0139]
步骤二：定义bs用户的信道模型和irs用户的信道模型。
[0140]
bs用户的信道模型具体为：
[0141]
考虑从bs到用户的太赫兹信道建模为los信道，由于太赫兹的严重衰减，忽略反射，折射和散射路径；从bs通过子信道n到用户l的信道表示为：
[0142][0143]
其中，pl(fn，d
l
)是太赫兹los路径的路径损耗，fn和d
l
分别是太赫兹频率和基站到用户的距离；太赫兹los路径的路径损耗分为两部分，一部分是自由空间传播损耗，一部分是分子吸收损耗，表示为：
[0144]
pl(fn，d
l
)＝l
spread
(fn，d
l
)
×
l
abs
(fn，d
l
)
[0145]
其中，l
spread
(fn，d
l
)和l
abs
(fn，d
l
)满足：
[0146][0147][0148]
其中，c表示光速，k
abs
(fn)是分子吸收系数；
[0149]
假设通过子信道n，发送给用户l的功率为接收到的信号为
[0150][0151]
其中，σ2为加性高斯白噪声，为通过子信道n发送给用户l'的功率。
[0152]
irs用户的信道模型具体为：
[0153]
irs用户的信道由bs到irs信道和irs到用户的信道和irs元件的相移组成；根据经典的s-v模型，假设通过irs i反射到第m簇里的第k个用户信道矢量定义为：
[0154]
h＝hiφhb[0155]
其中，hb代表从基站到irs的信道衰落，hi代表从irs到用户的信道衰落；φ是一个g
×
g的对角阵，代表着irs元件的相移，满足其中的表示第g个元件的相移；hb可以分别表示为：
[0156][0157]
其中
[0158][0159][0160][0161]
其中，l1表示从bs到irs的散射路径数目，是路径l1的路径损失复增益，表示路径l1上，从bs到irs的离开角和到达角；这里考虑均匀的线性阵列，和表示bs和irs的阵列响应矢量，表示为
[0162][0163][0164]
其中，λ是太赫兹信号的的波长，d为相邻的天线元件或irs元件之间的距离；
[0165]
与bs到irs链路相同，irs到用户的信道表示为
[0166][0167]
其中，
[0168][0169][0170][0171]
其中，l2表示从bs到irs的散射路径数目，是路径l2的路径损失复增益，表示路径l2上，从irs到bs的离开角和到达角；这里考虑均匀的线性阵列,和表示为
[0172]
[0173][0174]
因此irs到用户之间的信道为
[0175][0176]
为了简单起见，假定nb＝1、nu＝1；因此矢量h是由代表着通过子信道n，第m簇第k个用户的信道增益的单向量组成；用表示发送给第n子信道上，第m簇第k个用户的功率；第n子信道上，第m簇第k个用户的接收信号表示为
[0177][0178]
步骤三：分别计算bs用户速率和irs用户速率并计算系统的总速率。
[0179]
计算bs用户速率：
[0180]
bs用户l信号接收的信噪比为
[0181][0182]
根据香农公式，用户l的速率表示为
[0183][0184]
其中，b是带宽；
[0185]
计算irs用户速率：
[0186]
第m簇的用户k的信噪比为
[0187][0188]
速率表示为
[0189][0190]
则系统的总速率表示为
[0191][0192]
步骤四：提出关于下行功率控制和irs相移调整的优化问题。
[0193]
为了使网络的整体能源效率最大化，提出了一个关于下行功率控制和irs相移调整的优化问题；bs的总传输功率计算为所有用户的功率之和，表示为
[0194][0195]
系统网络的能源效率被定义为网络速率之和与总功率的之比；这里对最优化问题的表述为
[0196][0197][0198][0199][0200][0201][0202]
其中，c1和c2是每个用户的功率限制，c3和c4是速率的最低要求，c5是角度的范围。
[0203]
步骤五：使用madrl方法解决优化问题。
[0204]
使用madrl方法来解决优化问题，将虚拟代理引入到bs中，作为用户的映射，并且训练以实现最佳的功率和相移；在bs上配置一个中央控制器，以收集用户的信息，如信道状态信息csi、相移和功率；设置一个时钟，以确保代理训练中的同步迭代，以便在每次迭代后计算出全局能量效率；代理利用收集到的用户信息和实时迭代结果进行训练，以实现全局优化。
[0205]
考虑一个离散时间、有限状态空间和动作空间的马尔可夫过程来训练；强化学习的基本元素用一个元组来表示其中表示为状态空间，表示为动作空间，表示为奖励函数，是状态转移概率；状态和动作空间设置如下：
[0206]
1)状态空间：定义一个元组来代表irs的元件角度和bs用户和irs用户的功率，公式表示为其中
[0207]
2)动作空间：为了获得有限的空间，我们将角度和功率离散化
[0208][0209][0210]
其中，和是irs元件相位的最小值和最大值，p
min
和p
max
是用户功率的最小值和最大值，角度和功率的离散数目分别为和|p|；动作空间表示为
[0211]
3)奖励空间：我们将当前状态和前一状态之间的整体能源效率的差定义为奖励，
其表示为ee
t+1
和ee
t
分别为状态s
t+1
和状态s
t
的能量效率；
[0212]
代理获得最优的策略π来实现最大化累积的奖励，表示为
[0213][0214]
其中，γ∈(0，1]，表示一个对于未来奖励的折扣因子；
[0215]
在训练中，代理通过最优的策略π选择动作；代理在状态s
t
时根据最优的策略π采取动作a
t
，此时代理的动作-价值的函数q
π
(s
t
，a
t
)表示为
[0216][0217]
根据贝尔曼方程
[0218][0219]
对最优策略的评价表示为
[0220][0221]
最优的策略表示为
[0222][0223]
为了实现在大状态空间和动作空间中获得最优策略的搜索，在madrl中引入了dqn；最优策略和值函数由qi(s，a；θ)≈q
*
(s，a)近似为一个函数，其中θ是权重，并通过训练进行更新；dqn有一个目标网络和一个当前网络，通过最小化损失函数进行训练来优化参数θ；损失函数为
[0224][0225]
其中，q
t
(s
t
，a
t
；θ)是神经网络在状态为s
t
，参数为θ时的输出，是目标网络在状态s
t+1
，参数为时的输出
[0226][0227]
采用梯度下降算法使损失函数最小化，并利用神经网络逼近动作-价值函数直至收敛。
[0228]
随机参数θ生成动作价值函数q，目标动作价值函数迭代的索引t，经验池
[0229]
从episode＝1到m循环
[0230]
5)初始化状态s
t
[0231]
6)从t＝1到t循环
[0232]
u.代理通过来进行动作的选择；
[0233]
v.代理执行动作a
t
，将从当前状态s
t
转换到下一个状态s
t+1
；
[0234]
w.代理通过与中央控制器交换数据获取奖励r
t
；
[0235]
x.将s
t
，a
t
，r
t
，s
t+1
组成元组(s
t
，a
t
,r
t
,s
t+1
)，存入经验池中；
[0236]
y.从经验池中随机抽取出小批量元组(s
t
，a
t
,r
t
,s
t+1
)；
[0237]
z.通过计算
[0238]
aa.对使用梯度下降方法更新参数θ；
[0239]
bb.每过一段时间，将θ赋给更新即
[0240]
cc.中央控制器计算能量效率ee
t
；
[0241]
dd.通过r
t
＝ee
t+1-ee
t
计算出奖励；
[0242]
结束循环。
[0243]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
[0244]
以下是本技术应用的文献列表：
[0245]
[1]w.chen,x.ma,z.li,and n.kuang,“sum-rate maximization for intelligent reflecting surface based terahertz communication systems,”ieee int.conf.commun.,pp.153-157,aug.2019.
[0246]
[2]w.chen,z.chen,x.ma,y.chi,and z.li,“spectral efficiency optimization for intelligent reflecting surface aided multi-input multioutput terahertz system,”microwave and optical technology lett.,vol.62,no.8,pp.2754-2759,aug.2020.
[0247]
[3]x.ma,z.chen,w.chen,z.li,y.chi,c.han,and s.li,“joint channel estimation and data rate maximization for intelligent reflecting surface assisted terahertz mimo communication systems,”ieee access,vol.8,pp.99565-99581,aug.2020.
[0248]
[4]x.zhang,c.han,and x.wang,“joint beamforming-power-bandwidth allocation in terahertz noma networks,”int.conf.on sensing,commun.,and netw.,pp.1-9,jun.2019.
[0249]
[5]h.zhang,y.duan,k.long,and v.c.m.leung,“energy efficient resource allocation in terahertz downlink noma systems,”ieee trans.commun.,vol.69,no.2,pp.1375-1384,feb.2021.
[0250]
[6]z.ding and h.v.poor,“a simple design of irs-noma transmission,”ieee commun.lett.,vol.24,no.5,pp.1119-1123,may.2020.
[0251]
[7]f.fang,y.xu,q.pham,and z.ding,“energy-efficient design of irs-noma networks,”ieee trans.veh.technol.,vol.69,no.11,pp.14088-14092,nov.2020.
[0252]
[8]j.zuo,y.liu,e.basar,and o.a.dobre,“intelligent reflecting surface enhanced millimeter-wave noma systems,”ieee commun.lett.,vol.24,no.11,
pp.2632-2636,nov.2020.
[0253]
[9]y.zhang,c.kang,t.ma,y.teng,and d.guo,“power allocation in multi-cell networks using deep reinforcement learning,”ieee veh.technol.conf.,pp.1-6,aug.2018.
[0254]
[10]y.xu,j.yu,w.c.headley,and r.m.buehrer,“deep reinforcement learning for dynamic spectrum access in wireless networks,”ieee military commun.conf.,pp.207-212,oct.2018.
[0255]
[11]e.ghadimi,f.d.calabrese,g.peters,and p.soldati,“a reinforcement learning approach to power control and rate adaptation in cellular networks,”ieee int.conf.commun.,pp.1-7,may.2017.
技术特征：1.一种基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于包含以下步骤：步骤一：将用户分为bs用户和irs用户；步骤二：定义bs用户的信道模型和irs用户的信道模型；步骤三：分别计算bs用户速率和irs用户速率并计算系统的总速率；步骤四：提出关于下行功率控制和irs相移调整的优化问题；步骤五：使用madrl方法解决优化问题。2.根据权利要求1所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：所述步骤一具体为：基站配备n
b
个天线，用户配备n
u
天线，用户分别被分为bs用户和irs用户；假设有l个bs用户，以集合表示；每个irs用户被分为m簇，每簇k个用户，每簇由g个irs的元件服务，分别定义为系统的带宽被分为多个子信道，每个bs用户和irs用户分别使用一个子信道，假设bs用户使用前l个子信道，irs用户使用剩下的子信道。3.根据权利要求1所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：所述步骤二中，bs用户的信道模型具体为：考虑从bs到用户的太赫兹信道建模为los信道，由于太赫兹的严重衰减，忽略反射，折射和散射路径；从bs通过子信道n到用户l的信道表示为：其中，pl(f
n
，d
l
)是太赫兹los路径的路径损耗，f
n
和d
l
分别是太赫兹频率和基站到用户的距离；太赫兹los路径的路径损耗分为两部分，一部分是自由空间传播损耗，一部分是分子吸收损耗，表示为：pl(f
n
，d
l
)＝l
spread
(f
n
，d
l
)
×
l
abs
(f
n
，d
l
)其中，l
spread
(f
n
，d
l
)和l
abs
(f
n
，d
l
)满足：)满足：其中，c表示光速，k
abs
(f
n
)是分子吸收系数；假设通过子信道n，发送给用户l的功率为接收到的信号为其中，σ2为加性高斯白噪声功率，为通过子信道n发送给用户l'的功率。4.根据权利要求3所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特
征在于：所述步骤二中，irs用户的信道模型具体为：irs用户的信道由bs到irs信道和irs到用户的信道和irs元件的相移组成；根据经典的s-v模型，假设通过irsi反射到第m簇里的第k个用户信道矢量定义为：h＝h
i
φh
b
其中，h
b
代表从基站到irs的信道衰落，h
i
代表从irs到用户的信道衰落；φ是一个g
×
g的对角阵，代表着irs元件的相移，满足其中的表示第g个元件的相移；h
b
可以分别表示为：其中其中其中其中，l1表示从bs到irs的散射路径数目，是路径l1的路径损失复增益，表示路径l1上，从bs到irs的离开角和到达角；这里考虑均匀的线性阵列，和表示bs和irs的阵列响应矢量，表示为表示bs和irs的阵列响应矢量，表示为其中，λ是太赫兹信号的的波长，d为相邻的天线元件或irs元件之间的距离；与bs到irs链路相同，irs到用户的信道表示为其中，其中，其中，其中，l2表示从bs到irs的散射路径数目，是路径l2的路径损失复增益，表示路径l2上，从irs到bs的离开角和到达角；这里考虑均匀的线性阵列,和表示为
因此irs到用户之间的信道为为了简单起见，假定n
b
＝1、n
u
＝1；因此矢量h是由代表着通过子信道n，第m簇第k个用户的信道增益的单向量组成；用表示发送给第n子信道上，第m簇第k个用户的功率；第n子信道上，第m簇第k个用户的接收信号表示为5.根据权利要求4所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：所述步骤三具体为：计算bs用户速率：bs用户l信号接收的信噪比为根据香农公式，用户l的速率表示为其中，b是带宽；计算irs用户速率：第m簇的用户k的信噪比为速率表示为则系统的总速率表示为
6.根据权利要求5所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：所述步骤四具体为：为了使网络的整体能源效率最大化，提出了一个关于下行功率控制和irs相移调整的优化问题；bs的总传输功率计算为所有用户的功率之和，表示为系统网络的能源效率被定义为网络速率之和与总功率的之比；这里对最优化问题的表述为述为述为述为述为述为其中，c1和c2是每个用户的功率限制，c3和c4是速率的最低要求，c5是角度的范围。7.根据权利要求6所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：所述步骤五具体为：使用madrl方法来解决优化问题，将虚拟代理引入到bs中，作为用户的映射，并且训练以实现最佳的功率和相移；在bs上配置一个中央控制器，以收集用户的信息，如信道状态信息csi、相移和功率；设置一个时钟，以确保代理训练中的同步迭代，以便在每次迭代后计算出全局能量效率；代理利用收集到的用户信息和实时迭代结果进行训练，以实现全局优化。8.根据权利要求7所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：考虑一个离散时间、有限状态空间和动作空间的马尔可夫过程来训练；强化学习的基本元素用一个元组来表示其中表示为状态空间，表示为动作空间，表示为奖励函数，是状态转移概率；状态和动作空间设置如下：1)状态空间：定义一个元组来代表irs的元件角度和bs用户和irs用户的功率，公式表示为其中2)动作空间：为了获得有限的空间，我们将角度和功率离散化2)动作空间：为了获得有限的空间，我们将角度和功率离散化
其中，和是irs元件相位的最小值和最大值，p
min
和p
max
是用户功率的最小值和最大值，角度和功率的离散数目分别为和|p|；动作空间表示为3)奖励空间：我们将当前状态和前一状态之间的整体能源效率的差定义为奖励，其表示为ee
t+1
和ee
t
分别为状态s
t+1
和状态s
t
的能量效率；代理获得最优的策略π来实现最大化累积的奖励，表示为其中，γ∈(0，1]，表示一个对于未来奖励的折扣因子；在训练中，代理通过最优的策略π选择动作；代理在状态s
t
时根据最优的策略π采取动作a
t
，此时代理的动作-价值的函数q
π
(s
t
，a
t
)表示为根据贝尔曼方程对最优策略的评价表示为最优的策略表示为为了实现在大状态空间和动作空间中获得最优策略的搜索，在madrl中引入了dqn；最优策略和值函数由q
i
(s，a；θ)≈q
*
(s，a)近似为一个函数，其中θ是权重，并通过训练进行更新；dqn有一个目标网络和一个当前网络，通过最小化损失函数进行训练来优化参数θ；损失函数为其中，q
t
(s
t
，a
t
；θ)是神经网络在状态为s
t
，参数为θ时的输出，是目标网络在状态s
t+1
，参数为时的输出采用梯度下降算法使损失函数最小化，并利用神经网络逼近动作-价值函数直至收敛。9.根据权利要求8所述的基于智能反射面辅助的noma太赫兹网络能效优化方法，其特征在于：随机参数θ生成动作价值函数q，目标动作价值函数迭代的索引t，经验池从episode＝1到m循环1)初始化状态s
t
2)从t＝1到t循环a.代理通过来进行动作的选择；
b.代理执行动作a
t
，将从当前状态s
t
转换到下一个状态s
t+1
；c.代理通过与中央控制器交换数据获取奖励r
t
；d.将s
t
，a
t
，r
t
，s
t+1
组成元组(s
t
，a
t
,r
t
,s
t+1
)，存入经验池中；e.从经验池中随机抽取出小批量元组(s
t
，a
t
,r
t
,s
t+1
)；f.通过计算g.对使用梯度下降方法更新参数θ；h.每过一段时间，将θ赋给更新即i.中央控制器计算能量效率ee
t
；j.通过r
t
＝ee
t+1-ee
t
计算出奖励；结束循环。
技术总结本发明公开了一种基于智能反射面辅助的NOMA太赫兹网络能效优化方法，将用户分为BS用户和IRS用户；定义BS用户的信道模型和IRS用户的信道模型；分别计算BS用户速率和IRS用户速率并计算系统的总速率；提出关于下行功率控制和IRS相移调整的优化问题；使用MADRL方法解决优化问题。本发明提出一个能量效率概念，在每个用户最低速率、最大功率的约束下，采用多智能体深度强化学习MADRL方法最大化系统的整体能量效率。能量效率。能量效率。
技术研发人员：张国斌 陈瀚 李海滨 朱鹏程
受保护的技术使用者：东莞理工学院
技术研发日：2022.06.15
技术公布日：2022/11/1
