一只漂浮在平流层的巨型气球，在人工智能的帮助下，稳稳地待在原地数周。

12月3日，学术期刊《自然》发表了一项来自谷歌团队的研究，显示人工智能控制器能让平流层的气球一连数周待在原地。这项研究结果意味着，深度强化学习向现实世界应用迈进了难得的一步，提高了全自动环境监测成为现实的可能性。

平流层中的无人气球。谷歌Project Loon正在利用这种气球建立空中无线通讯网络。

填充氦气的“超压”气球常被用来在高层大气开展实验，比如气象监测。对于谷歌Project Loon项目而言，这类气球被用来向指定地区提供互联网服务。

“超压”气球在空中作业时，被要求停留在固定的位置，以便更好地获取数据或传输信息。如果被风吹偏了航道，它们需要返回驻点。根据《自然》的这项最新研究，深度强化学习可以训练人工智能系统进行决策，这些决策包括采取哪些行动来保持气球的位置不变。

这项研究题为“Autonomous navigation of stratospheric balloons using reinforcement learning”（《基于强化学习的平流层气球自主导航》），由谷歌大脑团队和谷歌母公司Alphabet旗下子公司Loon共同完成。

论文第一作者、来自谷歌大脑团队的Marc Bellemare和同事训练了的人工智能控制器能根据风的历史记录、预报、局地风观测和其他因素（如氦气损失和电池疲劳），决定是否要移动气球。

平流层气球的定位。定位是指将气球的位置保持在地面某特定位置的一定范围之内。

深度强化学习的应用已在受控环境如电脑游戏中得到了演示。受控环境拥有完整的数据集和明确定义的参数，与之相比，现实世界的可预测性较差。比如在平流层气球定位问题中，环境中风的数据不完整，很难采取最优调整，让气球保持在原位。

为解决这个问题，研究人员利用一种数据增强算法来解释数据中的空白。他们将这种名为StationSeeker的技术应用到全球各地的Loon气球上，并在太平洋赤道附近进行了为期39天的空中受控实验。

作者发现，受到StationSeeker控制的气球能成功实现自主导航，一旦被吹偏航道，它们能比传统控制器控制的气球更快地回到驻点。

Project Loon最初是谷歌X实验室的一个项目，2018年该项目被分拆出来，成为了Alphabet的独立子公司。至今，Loon气球已经累计了超过100万小时的飞行时间，2020年7月起，Loon正式开始在肯尼亚运营其商业互联网服务。

英国国家大气科学中心、牛津大学大气海洋和行星物理学系的科学家Scott M. Osprey在为该论文写的“新闻与观点”文章中评价称，这项研究代表了增强学习在现实世界应用的一次巨大进步。“在不完全了解周边风的情况下，一个人工智能控制器让气球在平流层停留了数周，这为无监督环境监测开辟了前景”。

Scott M. Osprey认为，有效且自主“超压”气球将为探测地球和其他行星的大气提供一系列商业和科学应用。如果能做到让一个气球在特定位置停留数月，就可以进行长期的环境监测，例如检测城市上空的空气质量、受高温影响的森林和冻土融化地区的碳通量等。其他应用甚至包括监测动物迁徙路线和非法越境的货物与偷渡人员。
责任编辑：YYX