30 lines
4.5 KiB
Markdown
30 lines
4.5 KiB
Markdown
# 第八章：结论与展望 (Conclusion)
|
||
|
||
## A. 研究总结
|
||
|
||
本文针对语义通信与传统通信在 OFDMA 系统中共存时的资源分配问题，提出了一种基于合作竞争（Coopetition）博弈论的多智能体深度强化学习框架。与现有将两类通信实体的交互简单化为纯合作或纯竞争的方案不同，本文的核心思想在于：语义智能体与传统智能体之间的关系并非静态二元的，而是随无线环境的动态变化在合作与竞争之间连续切换的。围绕这一核心思想，本文的主要贡献可归纳为以下五个方面。
|
||
|
||
首先，我们建立了面向语义与传统混合通信的合作竞争博弈模型。该模型将语义智能体（Agent_S）设定为 Stackelberg 博弈中的领导者，传统智能体（Agent_B）设定为跟随者，通过层级化的策略交互刻画了两类通信实体在智能程度和决策影响力上的非对称性。
|
||
|
||
其次，我们设计了基于系统体验质量（QoE）反馈的动态切换因子 $\lambda(t) = \sigma(\beta \cdot (\text{QoE}_{\text{sys}}(t) - Q_{\text{th}}))$。该机制使得系统能够在资源紧张时自动增强合作分量以保障基本通信服务，在资源充裕时释放竞争活力以激发个体性能潜力，从而实现了全局效用与个体利益之间的自适应平衡。
|
||
|
||
第三，我们提出了 Co-MADDPG 算法，该算法在 CTDE 架构的基础上引入了 Stackelberg 层级更新机制和动态混合奖励函数。与标准 MADDPG 的同步更新策略不同，Co-MADDPG 通过先更新跟随者、再基于跟随者最优响应更新领导者的序贯训练方式，显式地利用了博弈的层级结构信息。
|
||
|
||
第四，我们从理论上严格证明了所提框架的四个关键性质：(1) Stackelberg 均衡在紧致动作空间和连续效用函数条件下的存在性（Theorem 1）；(2) 合作竞争机制相比纯合作和纯竞争策略的效用增益下界 $\Delta U \geq P(\mathcal{S}_{\text{minor}}) \cdot \delta_{\min}$（Theorem 2）；(3) 动态切换因子 $\lambda(t)$ 在阻尼条件 $\beta L / 4 < 1$ 下的全局收敛性（Theorem 3）；(4) Co-MADDPG 算法的近似 Nash 均衡收敛速率 $O(\epsilon_Q + 1/\sqrt{T})$（Theorem 4）。此外，Proposition 1 证明了合作竞争均衡在状态异质性条件下 Pareto 支配纯策略解。
|
||
|
||
第五，仿真结果验证了 Co-MADDPG 在多个维度上的优越性。与七种基线方案的对比表明，所提算法在系统 QoE、用户公平性、网络扩展性和约束满足率等指标上均取得了最优或接近最优的性能。消融实验进一步确认了 Stackelberg 层级更新、动态 $\lambda$ 切换和 CTDE 架构三个核心组件对整体性能的不可或缺性。
|
||
|
||
## B. 未来工作
|
||
|
||
尽管本文的研究取得了积极的结果，仍有若干方向值得进一步探索。
|
||
|
||
**多智能体规模扩展**。本文的框架针对的是两类智能体（语义与传统）的双方博弈。在实际的异构网络中，可能存在多种类型的通信实体（如物联网设备、车联网终端、增强现实用户等），将当前的双方 Stackelberg 博弈扩展为多层级（Multi-tier）或多领导者-多跟随者（Multi-leader Multi-follower）博弈是一个具有挑战性的方向。
|
||
|
||
**不完全信息博弈**。本文假设训练阶段智能体可以获取全局状态信息（CTDE 假设）。在更贴近实际的场景中，智能体可能仅拥有关于其他参与者策略的不完全或噪声信息。将合作竞争框架扩展到贝叶斯博弈（Bayesian Game）或信息不对称的 Stackelberg 博弈，并设计相应的鲁棒学习算法，是值得深入研究的课题。
|
||
|
||
**联合语义编码器与资源分配的端到端优化**。本文将语义编码器视为预训练的固定模块，仅优化资源分配策略。未来的工作可以探索将语义编码器的压缩比和特征提取策略纳入联合优化框架，实现从语义提取到无线传输的全链路协同设计。
|
||
|
||
**理论松弛条件的实验验证**。Theorem 3 中的阻尼条件 $\beta L / 4 < 1$ 在默认参数 $\beta = 5, L \approx 1$ 下可能不被严格满足。未来需要通过更大规模的实验系统性地探索 $\beta$ 与 $L$ 的实际取值范围，并研究在阻尼条件不满足时系统是否仍能在实践中收敛（如极限环行为是否可被容忍）。
|
||
|
||
**实际部署与原型验证**。将所提框架在软件定义无线电 (SDR) 平台或 5G NR 测试环境上进行原型实现和性能评估，是验证理论成果工程价值的关键一步。
|