冯勇

天津大学智能与计算学部

摘要(Abstract)：

随着云计算、大数据、人工智能等新一代信息技术的快速迭代与广泛应用，数据中心作为数字经济的核心基础设施，其规模持续扩张、承载的业务种类不断丰富，网络流量呈现出爆发式增长态势。负载均衡作为数据中心网络优化的核心技术，能够合理分配网络流量与资源，避免链路拥堵、节点过载等问题，直接决定了数据中心的服务质量、资源利用率与运行稳定性。然而，传统负载均衡算法多基于固定规则或静态策略，难以适应数据中心网络中流量动态波动、拓扑结构复杂多变、业务需求异构性强等特点，在实际应用中存在资源利用率偏低、响应延迟较高、鲁棒性不足等问题。强化学习作为一种基于试错学习的智能决策方法，具备在动态、不确定环境中自主学习最优策略的能力，能够通过与环境的持续交互，实时调整决策策略，恰好适配数据中心网络负载均衡的动态优化需求。本文针对数据中心网络负载均衡的核心痛点，开展基于强化学习的负载均衡算法优化研究，旨在突破传统算法的局限性，提升数据中心网络的运行性能与服务质量。首先，系统梳理数据中心网络的流量特征与负载均衡挑战，深入分析传统负载均衡算法的缺陷，论证强化学习应用于动态负载均衡场景的适应性优势；其次，全面综述数据中心网络负载均衡技术与强化学习在网络优化中的应用进展，明确现有研究的不足与本文的研究切入点；再次，构建基于强化学习的负载均衡模型，完成网络拓扑抽象、状态空间定义、动作空间设计，针对深度Q网络（DQN）和近端策略优化（PPO）算法进行改进，设计多智能体协作机制，实现多节点、多链路的协同负载均衡；然后，通过搭建仿真实验环境，设计对比实验，从收敛性、性能提升、鲁棒性三个维度验证所提优化算法的有效性；最后，总结本文的研究成果，展望结合图神经网络（GNN）提升拓扑感知能力、轻量化模型部署等未来研究方向。实验结果表明，本文提出的基于强化学习的负载均衡优化算法，相比传统负载均衡算法（如ECMP、WRR）和基础强化学习算法，在链路利用率、平均响应延迟、吞吐量、负载均衡度等关键指标上均有显著提升，能够有效应对数据中心网络流量的动态波动，具备较强的鲁棒性和适应性，为数据中心网络的高效、稳定运行提供了一种新的技术方案与理论支撑。

关键词(KeyWords)：

数据中心网络；负载均衡；强化学习；深度强化学习；多智能体强化学习；动态调度

参考文献(References)：

[1]张尧学，周兴社，林闯.计算机网络与分布式系统[M].北京：清华大学出版社，2020：156-189.

[2]李军，王健，刘杰.数据中心网络负载均衡技术研究进展[J].软件学报，2021，32（05）：1367-1390.

[3]刘铁岩，方勇，秦涛.强化学习与深度学习融合及应用[J].计算机学报，2020，43（06）：961-988.

[4] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015,518(7540):529-533.