文章目录
- 前言
- 模型
-
- attention layer
- phase layer
- Imitated Cross-agents Communication
前言
作者认为游戏ai的下一个挑战在于实时策略游戏（RTS）。RTS比围棋困难的方面有：1）计算复杂度。动作空间与状态空间比较大。2）多智能体。他们的协作很关键。3）不完美信息。战争迷雾增加了游戏的不确定性。4）稀疏与延时奖赏。游戏长度太长了。OpenAI Five直接在micro 级别动作空间上使用PPO结合团队奖赏进行学习，缺乏宏观策略。相关工作宏观策略主要是导航——提供目的地以及路由。使用influence map，通过handcrafted等式量化单位，多个地图进行融合输出单值导航agent。导航最重要的目标是提供目的地。planning也用于宏观策略操作，比如AHTN，搜索层次化任务，但是效率不行。
之前的文献没能提供彻底的解决方案：
- 通过微观动作空间隐式地学习宏观策略或许太难了。仅仅通过微观动作以及奖赏让模型搞清楚高层策略或许过于乐观，作者考虑明确地建模宏观策略。
- 明确宏观策略的太依赖handcrafted等式，太多数值参数需要人为决定是这变得不实际。planning方法效率低下。
- 宏观策略中最具挑战性的问题之一是age