1、 今天，谷歌大脑团队的十几位成员披露了谷歌的足球研究环境，这是一个训练人工智能掌握足球的3D强化学习模拟器。该环境可以模拟足球比赛，包括具体场景，如角球和点球、进球和越位。这个消息是在今天法国女足世界杯开赛时传出的，就在前一天，谷歌推出了其球场云游戏服务的定价和游戏。

2、 研究人员可以通过相互竞争或与他们的代理决斗来直接体验游戏的操作。游戏可以通过键盘和手柄控制。此外，渲染质量的多次回放可以在训练过程中自动存储，因此很容易检查代理正在学习的策略，”研究人员在GitHub附带的一篇论文中说。

3、 谷歌研究足球环境的beta版可以在GitHub上获得，包括一个基于可玩足球的C游戏引擎，是2017年的开源模拟器。

4、 该环境还包括最先进的强化学习算法，即近端策略优化(PPO)、DQN和英帕拉，以及一组大约12种不同的场景，用于在研究人员所谓的足球学院中训练人工智能代理。

5、 这种针对特定场景的练习环境包括角球、3对1比赛和11对11与懒惰对手的比赛。在研究论文详述的初步结果中，Impala在5亿步训练中表现最好。

6、 3D模拟器可以考虑球员在场上的位置和原始像素分析，找到传球、克服障碍、防守前锋和进球的最佳方式。

7、 通过模拟的强化学习已经被应用于完成许多具有挑战性的游戏任务，例如在《星际争霸》、《雷神之锤3》、《围棋》和《乒乓》中训练代理击败人类，但它也被用于从机器人手臂和腿控制到在线推荐工具的一系列任务。

8、 谷歌研究足球环境和OpenAI健身房强化学习环境协同工作。