【CN109729528A】一种基于多智能体深度强化学习的D2D资源分配方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910161391.8

(22)申请日 2019.03.04

(66)本国优先权数据

201811572168.4 2018.12.21 CN

(71)申请人 北京邮电大学

地址 100876 北京市海淀区西土城路10号

(72)发明人 郭彩丽　李政　宣一荻　冯春燕　

(74)专利代理机构 北京永创新实专利事务所

11121

代理人 冀学军

(51)Int.Cl.

H04W 16/14(2009.01)

H04W 24/02(2009.01)

H04W 76/14(2018.01)

(54)发明名称

一种基于多智能体深度强化学习的D2D资源

分配方法

(57)摘要

本发明公开了一种基于多智能体深度强化

学习的D2D资源分配方法，属于无线通信领域。首

先构建蜂窝网络与D2D通信共享频谱的异构网络

模型，基于其存在的干扰，建立D2D接收用户的信

干噪比SINR以及蜂窝用户的SINR，然后分别计算

蜂窝链路和D2D链路的单位带宽通信速率后，以

将最大化系统容量为优化目标，构建异构网络中

的D2D资源分配优化模型；针对时隙t，在D2D资源

分配优化模型的基础上，构建每一个D2D通信对

的深度强化学习模型；分别对后续时隙中的每个

D2D通信对提取各自的状态特征矢量，输入训练

好的深度强化学习模型中，得到各个D2D通信对

的资源分配方案。本发明优化了频谱分配和传输

功率，最大化了系统容量，提供了低复杂度的资

源分配算法。权利要求书3页 说明书10页 附图5页CN 109729528 A 2019.05.07

C N 109729528

A

1.一种基于多智能体深度强化学习的D2D资源分配方法，其特征在于，具体步骤包括：步骤一、构建蜂窝网络与D2D通信共享频谱的异构网络模型；

异构网络模型包括蜂窝基站BS、M个蜂窝下行用户以及N个D2D通信对；

设定第m个蜂窝用户为C m ，其中1≤m≤M；第n个D2D通信对为D n ，其中1≤n≤N；D2D通信对D n 中的发射用户和接收用户分别用和表示；

蜂窝下行通信链路和D2D链路通信都采用正交频分复用技术，每个蜂窝用户占用一个通信资源块RB，任意两个蜂窝链路之间没有干扰；同时允许一个蜂窝用户与多个D2D用户共享相同的RB，由D2D用户自主选择通信资源块RB和传输功率；

步骤二、基于异构网络模型中存在的干扰，建立D2D接收用户的信干噪比SINR以及蜂窝用户的SINR；

蜂窝用户C m

接收到的来自基站的第k个通信资源块RB上的信号SINR为：

P B 表示基站的固定发射功率；为基站到蜂窝用户C m 的下行目标链路的信道增益；D k 代表共享第k个RB的所有D2D通信对组成的集合；表示D2D通信对D n 中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D n 中发射用户到蜂窝用户C m 的干扰链路的信道增益；N 0代表加性高斯白噪声的功率谱密度；

D2D通信对D n

的接收用户在第k个RB上的接收信号的SINR为：

为D2D通信对D n 的发射用户到接收用户的D2D目标链路的信道增益；为当多个链路共享RB时，基站到D2D通信对D n 的接收用户的干扰链路的信道增益；表示D2D通信对D i 中发射用户的发射功率；

为当多个链路共享RB时，D2D通信对D i 中发射用户到接收用户的干扰链路的信道增益；

步骤三、利用蜂窝用户的SINR以及D2D接收用户的SINR分别计算蜂窝链路和D2D链路的单位带宽通信速率；蜂窝链路的单位带宽通信速率计算公式为：D2D链路的单位带宽通信速率计算公式为：

步骤四、利用蜂窝链路和D2D链路的单位带宽通信速率计算系统容量，并将最大化系统容量为优化目标，构建异构网络中的D2D资源分配优化模型；

优化模型如下所示：

权　利　要　求　书1/3页2CN 109729528 A