南宫28这是Jim Gao在Google大型数据中心的一次尝试。这位华人机械工程师巧妙地使用了AI系统辅助控制数据中心的复杂的工业系统，AI在实现了预期系统优化的基础上，还做到了他从没幻想过的超低冷却能耗。

　　Jim经常给其他人做一个假设来说明他在Google数据中心做的工作究竟有什么意义：

　　假设他们需要控制10台冷水机组进行冷却操作，每台机器都有10种不同的运行速度，那就是10种控制模式。可是在在现实复杂的工业系统中，整个系统的操作模式可能有10种到100种或100亿种不同的排列组合。

　　在这种情况下，要如何找到操控整个冷却系统的最佳方式？这些系统还是动态的，像天气一样每时每刻都在变化。

　　人类的手动控制可能只是探索了所有操作方式中的0.00001%的可能性，还剩下99.99999%的空间没被探索过。而AI能够探索所有的未探索的空间，找到最合适的实时变动的操作方式。这也是Jim想要实现真正的工业自动化。

　　Jim带领团队研究出了能够通过云端控制多个数据中心的应用，总计帮助Google节省了数百万美元的能源成本。

　　这同时也说明，即便生成式AI已经成为当下的风口，其他类型的AI——例如决策式AI——仍然显示出巨大的应用潜力。

　　利用AI决策提升组织的决策和经营效率，一直是AI技术落地应用、降本增效的热门领域。例如在雷峰网(公众号：雷峰网)GAIR 2019大会上，京东集团副总裁郑宇就分享了如何利用AI与大数据“重塑城市”的经验，GAIR大会另一位演讲嘉宾、联想集团集团首席技术官芮勇，则是基于多交互增强学习和多目标策略学习网络打造了一套智能生产规划模型，快速找到最佳的排产策略，该项目获得了国际运筹学与管理科学学会2021年的Franz Edelman奖。

　　Jim研发的技术不需要在原本的系统基础上加入新的设备或传感器，只需要将提供的设备插入现有设施，就能连接楼宇管理系统 (BMS)等系统将所有数据点直接输入AI智能体，实时识别并采用最大化整个设施性能的行动。

　　Phaidra由Jim Gao和Veda Panneershelvam、Katie Hoffman组建，三人决心通过强化学习构建一个能够实现工业自动化的通用AI控制平台。自创立之初就斩获多家公司和行业大牛的投资，多轮融资总额达到6020万美元。

　　刚刚结束最新一轮融资的Jim接受了红杉资本的邀请，做客Training Data Podcast，讲述了自己将AI融入工业环境的故事，以及他对如何利用强化学习打造第四次工业革命的思考。

　　AI科技评论节选了部分内容并进行了解读，完整Podcast点击以下链接即可获取：

　　Jim Gao：好的。之所以有一个问号，是因为人们通常不知道强化学习与工业设施的结合是否真的很棒。

　　这是我发给Mustafa Suleyman的电子邮件，他是我后来在DeepMind的老板。发送这封邮件的动力来源于一种叫做Alphago的东西。

　　在Google工作的那段时期，20%的时间里我一直在学习机器学习技术。Andrew Eng在刚诞生的Coursera上开设了一门非常有用的课程——机器学习入门。那是在2013，我记得我应该是第二批学生。

　　那堂课彻底改变了我的生活。我自学了如何编程，然后开始东一块西一块地学习机器学习的知识。我认为机器学习是非常有趣的技术。

　　Jim Gao：是的，没错。所以我当时的工作职责是帮助Google设计和运营他们的超大型数据中心。

　　当这些需要消耗大量能源的大型数据中心建成，我们当然会将重点转移到以最节能的方式运行这些复杂的工业系统，因为它们使用了数十亿美元的电力，对吧？

　　这就是当时的背景。我那时候已经在研究机器学习技术，以分析谷歌的海量数据。

　　2016年，Alphago问世了，我是全世界数亿个观看那场比赛中的一员。那时候应该是凌晨三点钟，我在巴黎还是什么地方。我发现它非常迷人，以至于我给Mustafa写了一封电子邮件，描述了一个想法：

　　如果DeepMind能在围棋这样的复杂游戏里，让AI击败世界上最聪明的人。那么肯定也可以让AlphaGo这样的AI智能体去玩一个另一个他很熟悉的游戏，那就是优化Google数据中心的电力使用效率。这就是那封电子邮件的背景。

　　我还记得我在Google内部向领导层推销这个想法的方式，特别是对着Joe Kava，他是领导Google数据中心和ORS的人。我给他展示了一张图片，一边是目标栏，一边是各种视频游戏控制，比如Xbox控制器。

　　我对他说，“我们有一个最大化或最小化的目标函数，还会给出一些具体的操作，比如控制旋钮和杠杆。我们还会设定好必须遵守的约束条件，把整个过程都控制在一个非常易于测量的环境里。“

　　其实这样来看，强化学习和操作大型复杂的工业系统实际上是一样的。这个结论就是我最初想法的内核。

　　Pat Grady：所以你发送了这封邮件给Mustafa，然后发生了什么？

　　Jim Gao：我们把邮件发送给Mustafa。两周后，他飞到了山景城。

　　当时我正在那里和DeepMind的团队一起研究如何使用强化学习的方式来控制和优化Google的数据中心。实际上，这也让Google和DeepMind之间也由此围绕着数据中心工作中的强化学习应用建立起了一种合作伙伴关系。

　　强化学习真的非常迷人，这也是我认识Phaidra另外两位联合创始人之一的契机。

　　Veda是AlphaGo项目的重要工程师之一，他去了韩国，在首尔见到了Lisa和Larry Page，发生了很多有趣的事情。AlphaGo之后，他回到了辛辛那提，准确来说是回到了美国。他那时在想，他的下一件大事会是什么。

　　我设法说服了Veda，我说，嘿，如果我们用像Alpha这样的自学框架来控制和优化谷歌的数据中心会怎么样呢？

　　Sonya Huang：很多人会问这样能行吗还是认为它就像一个疯狂的登月计划，让我们试试？

　　Jim Gao：我也不知道，我甚至不知道它是否会奏效。我喜欢从概念上讲，它对我的思维有意义。我认为运营数据中心只是一个不同的游戏。？在工业世界里有各种各样的游戏，也许游戏是最大化能源效率，也许游戏是最小化水的消耗，也许这个游戏是最大化事实的收益，对吧？但是有很多游戏一直在玩。所以在我看来，这是有道理的。

　　我仍然清楚地记得这一天，我们打开AI系统，看着能耗下降。这令人惊讶的原因有两个。

　　第一，我们设计了一个系统。我在设计这个系统中发挥了作用，AI现在正在进行控制和优化。所以理论上，我应该是对这些系统了如指掌的专家，但是AI带给我一些我一开始不知道的关于我帮助设计的系统的东西。

　　第二，AI的举动非常违反直觉。就像当我们看到即将做出的决定时，你知道，我们研究了计划运营商。我们坐在爱荷华州的巨大玉米田里，就像谷歌喜欢把它的数据中心放在那里一样。我们在研究，我们认为这个决定不可能是正确的。这个AI很烂，学到了错误的东西。但我们还是坐在这里，让我们试试AI所说的吧。我们尝试了一下，它奏效了。我们看到的就是能耗骤降。所以我想那是我成为这项技术的信徒的时候。从根本上说，这项技术是创造性的，它帮助我们从原始数据中发现以前不存在的新知识。

　　Sonya Huang：你能和我们谈谈主要成果吗？你看到了能耗的立即下降，但是之后又给Google带来了什么成果？

　　Jim Gao：一开始有两种类型的成果。尤其是对于谷歌来说，有试点的成功。在2016年，我们发布了试点的结果。试点是在几个数据中心完成的，但从根本上来说，它不是一个自主控制系统。

　　我的意思是，这只是AI在生成建议。对于像我这样的人类专家来说，可以手动审查和实施操作。我们不想直接把手从方向盘上拿开，因为这是一项新的新技术。

　　但当时没有人知道，是否有可能使用云端的AI来控制大型基础设施。所以第一步是正确进行试点。AI提出了建议，我们看到了也接受了，最后实现了40%的能源节省。

　　这种经验告诉我们，我们实际上应该让AI直接正确地控制事物，自动获取价值。而且坦白地说，规划师操作员厌倦了检查电子邮件，比如每15分钟等待AI告诉他们该怎么做。与其手动实施，他们有更好的事情要做。

　　所以我们实际上决定，是时候使用全自动系统了。这在当时是完全未知的领域，忘掉AI可以控制我们甚至不知道的事情。AI 是否可以从云端控制机器，大型工业基础设施？因为据我们所知，以前没有人做过这件事。

　　Sonya Huang：你能告诉我们之前和之后的情况吗？比如说在你们实施这个工业控制系统之前，这个工厂操作员可能需要手动转动旋钮。这个之前和之后是如何工作的？

　　Jim Gao：这是一个很好的问题。让我为那些不太熟悉大型工业设施的人补充一点基础知识。它们是非常现代化的工业设施，非常复杂，人们在操作和控制各种各样的机器。

　　我经常让人们去做一个简单实验设想。想象一下你只有10台机器在控制，它们就像泵一样。每台机器都有10个可能的设定点值，所以有10种与之相关的模式。想象一下可能是10%的泵速，20%的泵速，30%的泵速等等。然后在这个非常简单的玩具例子中，你有 10 种到 100 种或 100 亿种不同的排列组合来操作你的玩具系统。

　　顺便说一下，这些是动态系统，所以它的负载在变化，天气在波动，操作这些系统的人正在改变，管道正在腐蚀，热量变化正在结垢。

　　关键是这些是非常复杂的动态系统。现实世界中有超过10台机器，每台机器都有超过10个设定点。

　　这样你就能明白为什么像AlphaGo这样能够管理MX复杂性的技术，在这里很有帮助。这也有助于解释为什么一开始往往有这么大的优化空间，因为这个动态系统如此复杂。

　　如果去考虑整个操作空间，比如现代数据中心内所有可能的行动，因为风险规避，也因为硬编码规则和启发式方法，我们只探索了所有可能操作该系统的方式的0.00001%。

　　那么问题就变成了，在我们从未探索过的99.99999%的行动空间中有什么？肯定有比我们历史上所做的更优化的操作系统的方法。所以这是一种直观的解释，希望能解释为什么能在一开始有这么大的效率提升。

　　我们操作这些设施的方式受到硬编码控制逻辑的限制，所以不要误解我的意思，如今这些系统已经是自动化的了，只是没有实现智能自动化而已，我认为是这样的。

　　Pat Grady：AI已经准备好了，那么工业系统是否也准备好了由某种自主系统控制，还是需要在这方面做其他工作？

　　Jim Gao：这是一个很好的问题，我会详细说明我所说的正确的控制系统的含义。

　　20世纪70年代和80年代是第三次工业革命，发生了从模拟到数字的转变以及第一个自动化系统出现。为了从根本上实现自动化，你必须先进行审查。但是这些都是简单的自动化。

　　第四次工业革命意味着智能基础设施能够自我运作，并随着时间的推移从根本上变得更好，是能够自我完善的基础设施。

　　但现在我们正在将AI硬塞进第三次工业革命的系统中。它们肯定不是为此而设计的。我们所做的最重要的是，在现有的控制系统上编写，所以有一个硬编码的角色和启发式层，数百万行的if then语句被编程到我们通常称作BMS的建筑管理系统中。它定义了设施应该如何运作。

　　硬编码系统的问题在于，因为它们是硬编码的，所以它们现在的运行方式与昨天、一年前或五年前，甚至是十年前一样，因为人们不经常进入后端来更新控制逻辑。

　　现在Fhaidra所做的是我们在控制堆栈的最顶部插入一个新的云智能层。我们没有引入任何硬件，也没有引入任何新的传感器。我们（的云智能层）实际上是在现有控制堆栈的顶部。这真的很关键。

　　你可以把它想象成战场上的将军。将军对整个系统中发生的一切都有全局的看法。它正在发出命令信号，地面部队进行实际执行。

　　在我们的例子中，AI每分钟要寻找10,000个操作办法。它会发出决定，比如打开哪些泵，泵的速度应该是多少，以适应本地BMS系统或PLC系统的自动实施和执行。

　　Sonya Huang：你在一开始谈到了强化学习成为一个好的解决方案的必要因素。你是否认为强化学习的应用并不多？还是说你认为这只是技术问题？

　　Jim Gao：绝对不，我认为强化学习的应用非常广泛，而我们的Fhaidra只是众多例子中的一个。

　　作为一个行业，我们只是触及了我们可以用这项技术做什么的表面。从根本上讲，这项技术的力量在于它是一个自主学习的系统。Alpha Go及其继任者Alpha Zero自学成为世界上最好的围棋、国际象棋和将棋，三种截然不同的游戏，相同的学习框架。它能够自主学习。

　　所以我认为强化学习有很多非常有趣的应用领域，其中很多地方都缺少数据基础设施。但是我们也可以列出来一些例子，比如我们已经讨论过的蛋白质折叠。

　　围绕着物流还有一个完整的未开发的领域，这是一个非常棘手的计算挑战。当你开始研究运筹学的时候，运筹学是这些价值数万亿美元的工业活动的基础。不仅仅是工业活动，还有像运输飞机、联邦快递、驾驶路线，这些都是运筹学网格平衡的应用。

　　我的意思是，我认为网格平衡可能是AI应对气候变化最重要的方式。我认为这是AI影响最大的地方，气候。

　　Sonya Huang：你一开始没有预料到把它部署到Google数据中心时，你会看到40%的能耗节省。如果我们让AI在电网负载上进行网格平衡操作，你认为我们可以看到什么样的能源节约？

　　Jim Gao：我认为这太疯狂了。我认为这和能源节约本身的大小无关，而是和潜在的节约成本有关。因为你可以将你的负载转移到最具有成本效益的时候。如果你有二氧化碳信号，你可以在碳密集度最低的时候安排完成你的非宽带敏感工作负载。我认为谷歌已经在进行一些相关实验。

　　我认为其实我们应该更多地围绕着全球系统级别的优化。我们必须知道数据中心已经成为了越来越巨大的负载银行。

　　比如美国数据中心占了美国能源消耗的1.5%-2%，今年将增加到4%，我估计在本世纪末会达到9%左右。目前爱尔兰全国22%的能源电力消耗只用于数据中心，国际能源机构预测，到本世纪末，这一数字将增加到37%。这真的是令人难以置信的数字。

　　但关键原因是我提到的电网上有大量的负载银行。如果你能以某种方式将数据中心协调在一起，这将是一个真正的能够帮助平衡电网的机会。这是一个巨大的挑战。

　　Pat Grady：你认为在未来五到十年内，AI领域最让你感到兴奋的会是什么？

　　Jim Gao：最令我兴奋的是，我们什么时候可以开始把一些技术应用到现实世界的物理事物上。这是这项技术与我们生活的现实世界基础设施的交集。像大型工业系统、汽车、房屋，这些物理上的东西。我认为未来我们会在那里看到一些非常有趣的事情。

　　Jim Gao于2011年毕业于加州大学伯克利分校机械工程与环境科学专业，毕业后就职于Google在山景城的数据中心。2016年带领由40多名跨学科专家组成的团队开发了一款AI应用程序，能够通过云端控制多个数据中心，帮助Google节省了数百万美元的能源成本。2017年开始担任DeepMind Energy团队负责人。2019年，和Veda Panneershelvam、Katie Hoffman两人合作成立初创公司Phaidra，给工业领域提供自学习AI控制系统。雷峰网雷峰网