星际争霸地图全开放命令百科全书(地图全开放秘籍代码)

论文地址：https://arxiv.org/abs/2003.01927项目地址：https://github.com/TeamSAIDA/DefogGAN本文提出了DefogGAN，这是一种在即时战略(RTS)游戏中推断战争迷雾后隐藏信息状态的生成方法。给定一个部分可观察的状态，DefogGAN可以生成游戏的去雾图像作为预测信息。这些信息可以创造战略代理人。DefogGAN是条件GAN的一种变体，它使用金字塔重建损失在多个特征分辨率尺度上进行优化。本文采用大型专业星际争霸视频数据集来验证DefogGAN。结果表明，除雾根可以预测敌方建筑和作战单位，精度与职业玩家相当，性能优于目前最好的除雾模型。

AlphaGo的成功为人工智能在游戏中的应用(游戏AI)带来了极大的关注。通过强化学习训练出来的智能体可以在国际象棋、围棋、雅达利等经典游戏中轻松击败人类。随着任务环境的日益复杂，实时策略游戏(RTS)已经成为评估最先进学习算法的一种方式。今天，游戏AI给机器学习带来了新的机遇和挑战。开发游戏AI的好处非常广泛，不仅限于游戏应用。智能体在科学中的应用(如有机化学领域预测的蛋白质折叠)和企业商业服务的探索(如Skyrobot)让游戏AI走向了一个新的时代。

在本文中，作者提出的迪福根使用产生式方法来完成因战争迷雾而向玩家展示的不完整信息。本文以星际争霸为实验场景3354。这是一款RTS游戏。有三个平衡的种族供玩家选择，玩家要建立完全不同的游戏风格和策略。星际争霸在发布二十多年后，仍然是一款非常受欢迎的电子竞技游戏。为了实现让游戏AI超越高水平人类玩家的艰巨目标，本文作者利用超过3万个职业玩家的电子游戏训练了迪福根。在星际争霸中，这样的目标很难实现。因为星际争霸已经流行了很长时间，玩家已经开发出了多种成熟的游戏策略。此外，玩家还在电子竞技和暴雪Battle.net(battle . net)中广泛使用微操作技术。

图1:1:除雾根的预测值与真实值对比。友军和敌军单位在地图上分别用绿色和红色表示(黑色)。迪福根预测到了无法观察到的敌军单位。

战争迷雾是指在没有友军单位的地区无法获得视野和信息。这些区域包括所有以前勘探过但目前无人管理的区域。部分可观测马尔可夫决策过程(POMDP)是描述战争迷雾的最佳方式。总的来说，POMDP为现实世界中存在大量不可观测变量的大多数问题提供了一种实用的表达方式。对于游戏AI来说，解决一些可观察的问题是提升性能的关键。事实上，许多现有的设计智能游戏AI的方法都会遇到一些可观察的问题。最近，生成模型被用来减少一些可观测问题的不确定性。通过使用生成模型的预测结果，提高了代理的性能。但是生成方式并不能完全媲美顶级职业人类玩家的高级侦察技术。

星际争霸为研究游戏AI相关的复杂POMDP问题提供了一个极好的平台。本文作者利用生成的对抗网络建立了DefogGAN，可以根据生成的现实信息准确预测隐藏在战争迷雾中的对手的状态。根据我们的经验，作者发现GAN生成的图像比(变分自动编码器)生成的图像更真实。为了生成消除战争迷雾的游戏状态，本文作者将原来的GAN生成器改造成一个编解码网络。

原则上，DefogGAN是条件GAN的变体。通过使用跳跃连接，去雾发生器使用根据编码器-解码器结构学习的残差进行训练。除了甘的对抗损失，作者还设置了有雾和去雾游戏状态之间的重建损失，以强调单位位置和数量的回归。本文的贡献如下：

开发了DefogGAN，可以用战争迷雾分析游戏状态，获得有用的胜利信息。除雾是以甘为原型的星际争霸中最早处理战争迷雾的方法；利用跳转连接学习残差，不引入任何循环结构，DefogGAN以前馈的形式包含过去的信息(序列)，更适合实时使用；本文作者在模型简化实验和其他设置(如测试提取的游戏碎片和目前最先进的去雾策略)中对去雾进行了实证验证。本文涉及的数据集、源代码和预训练网络都是公开的，可以在线访问。

在t时刻，除雾根根据部分可观测(起雾)状态生成完整的观测(除雾)状态。在星际争霸中，完整的观察状态包括所有友军和敌军单位在给定时间的确切位置。图2显示了DefogGAN的架构。在本文中，作者总结和汇集了由一些当前可观测状态的输入计算出的特征图。在过去观测值的特征图进入生成器之前，应该对其进行累加，并与当前状态进行拼接。本文作者用预测可观测状态与实际完全可观测状态之间的重构损失和鉴别器的对抗损失来训练生成器。

图2:概述2:迪福根的架构。

除雾发生器采用VGG网络的形式。卷积核的大小固定为3*3。当特征图的大小减少一半时，卷积核的数量增加一倍。DefogGAN不使用任何空间池层或全连接层，而是使用卷积层来保持从输入到输出的空间信息。

去雾发生器包括编码器、解码器和通道组合层。编码器使用32*32*82输入和卷积神经网络(CNN)提取隐藏在战争迷雾中的语义特征。每个卷积层使用批量归一化和校正线性单元(ReLU)来实现非线性变换。

解码器使用语义提取的编码器特征来生成预测数据。在解码过程中，将数据重构为高维数据，然后利用逆卷积运算完成推断。解码器产生与输入相同的输出大小。考虑到初始通道尺寸较大导致的学习速度较高，我们使用的卷积层数没有ResNet多。

表1:X _ T和X _ T的混淆矩阵使用的测试数据超过10000帧，是表中的平均值。

表1总结了DefogGAN的输入输出的统计信息，包括部分可观测状态X _ T、累计部分可观测状态X _ T、真值Y _ T，平均54%的单位可以在部分可观测状态下看到，83%的单位可以在累计部分可观测状态下看到。注意，累积的部分可观测状态引起第一种类型的误差(假阳性)，因为累积的状态包含了运动单元之前的位置，该位置此时不再符合实际情况。给定这样的输出空间，去雾问题需要从可能的67，584(32*32*66)个空间中选择平均141个空间。

图4:预测结果可视化。左边是累积的部分可观测状态(x _ t)。第二列是部分可观测状态x _t t .第三列是CED(目前最好的除雾器)的预测结果。列4-7分别是DCGAN、BEGAN、WGAN-GP和cWGAN的世代结果。第八列是DefogGAN的结果，最后一列是真实值。线代表用于评估的视频。

表4:4:DefogGAN与其他型号精度对比结果。

图4中的可视化结果可以有效地解释去雾的预测性能。随机选取四组视频，给出每个模型去雾后的预测完整观察状态。比如视频4中，在部分可观测状态x _t T的右下角看不到红色的敌方单位，同时在累积的部分可观测状态x \\t中只能看到敌方单位的子集，利用同时观测结果和累积观测结果，德佛根能够生成的完全可观测状态y_t看起来和真实值非常相似。CED也生成一个相当可信的完整状态，但是DefogGAN生成一个更准确的结果。WGAN-GP也产生可信的完整状态而没有重建损失，但是它倾向于产生假阳性(低精度)结果。CWGAN(一种使用重建损失的WGAN-GP变体)似乎降低了假阳性率，但DefogGAN的预测结果仍然更好。

总结

本文提出了一种基于条件生成对抗网络（DefogGAN）的方法，该方法通过分析无可见度信息并利用已知的信息预测敌方状态，从而生成游戏状态的去雾图像。通过比较不同模型在预测战争迷雾情况下的表现，作者发现DefogGAN具有显著的优势，尤其是在识别敌方建筑和作战单位方面。

具体而言：

1. 去除迷雾：DefogGAN可以通过分析未可见的信息并利用已知的信息预测敌方状态，从而生成去雾图像。这种方法在实时策略游戏中展示了其优越性。

2. 性能对比：本文对不同模型的性能进行了实证验证，结果显示DefogGAN相对于其他模型在预测敌方建筑和作战单位的能力上更为出色。

3. 独特优势：作者指出，由于采用了生成式方法，DefogGAN能够在一定程度上克服传统GAN无法捕捉复杂信息的局限性。

问题清单

1. 如何改进DefogGAN以提高其在真实世界的可用性和泛化能力？

可能的改进措施包括优化生成器的设计和增强训练数据的质量。

2. 如何确保DefogGAN不会过度依赖于已有的知识库，从而降低其准确性？

一种可能的方法是在训练期间引入新的知识库，或者通过使用混合生成器来结合来自不同来源的知识。

3. 在使用DefogGAN进行游戏AI部署时，是否还需要考虑伦理和社会影响因素？

需要考虑的是，如果在使用中出现偏见或其他社会影响问题，应采取适当的措施进行纠正。

4. DefogGAN的训练和使用对职业玩家和初学者有什么区别？

职业玩家通常依靠已有知识和经验来进行游戏，而新手玩家则需要更多的指导和支持。

5. 未来的研究方向有哪些？

针对现有技术的改进、新的生成模型的发展以及在真实世界中的应用等问题。

- END -