01 OpenAI Gym

OpenAI Gym是一个用于开发和对比 RL 算法的工具箱，

兼容大部分数值计算的库，比如 TensorFlow 和 Theano。

02 Gymnasium

Gymnasium 是 OpenAI 的 Gym 库的维护分支。

Gymnasium 接口简单、pythonic，能够表示一般的 RL 问题，

并且具有适用于旧 Gym 环境的兼容性包装器。

官方网站：

Gymnasium Documentation

建立新的环境：GYAM

pip install gymnasium

pip install "gymnasium[box2d]"

03 PettingZoo

PettingZoo是一个Python库，

用于研究多智能体强化学习multi-agent reinforcement learning (MARL)，

环境可以与Gymnasium非常相似的方式进行交互。

文献：

[1706.02275] Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments

CTDE框架 MADDPG √

[1705.08926] Counterfactual Multi-Agent Policy Gradients

所有agent共享critic网络

Deterministic Policy Gradient Algorithms - Archive ouverte HAL

确定性决策的MDP

官方网站：

PettingZoo Documentation

学习材料：

多智能体强化学习环境PettingZoo文档详解（一）-介绍 - 知乎

多智能体强化学习 MADDPG 纯白板逐行代码Python实现_哔哩哔哩_bilibili

04 MOMAland

MOMAland也是一个类似PettingZoo的一个Python库，

用于研究多目标多智能体强化学习，

其将矢量化奖励作为 numpy 数组而不是标量值返回。

文献：

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning | Papers With Code

官方网站：

MOMAland Documentation

学习资料：

******

已经在实验室电脑中配置好名为MOMA的环境

在虚拟环境MOMA中安装库

pip install momaland

两次报错的解决方法

1.pip install --upgrade pip setuptools wheel

2.安装 Microsoft Visual C++ Build Tools

Microsoft C++ 生成工具 - Visual Studio

官网直接全选库库装，反正装完了就能pip了

此外再：pip install "momaland[learning]"

pip install "momaland[testing]"

05 gymjsp

文章：基于深度强化学习和注意机制的车间动态调度混合智能

[1]Zeng Y, Liao Z, Dai Y, et al. Hybrid intelligence for dynamic job-shop scheduling with deep reinforcement learning and attention mechanism[J]. arXiv preprint arXiv:2201.00548, 2022.

github:

https://github.com/Yunhui1998/Gymjsp

python3.9

06 Multi-Agent-Deep-Reinforcement-Learning-on-Multi-Echelon-Inventory-Management

文章：面向多级库存管理的多智能体深度强化学习

[2]Liu X, Hu M, Peng Y, et al. EXPRESS: Multi-Agent Deep Reinforcement Learning for Multi-Echelon Inventory Management[J]. Production and Operations Management, 2024: 10591478241305863.

github:

https://github.com/xiaotianliu01/Multi-Agent-Deep-Reinforcement-Learning-on-Multi-Echelon-Inventory-Management

python3.8

配置环境MADRL-MEIM