OpenAI CEO Sam Altman于2023年6月10日上午线上接入2023北京智源大会，就“AI安全与对齐”主题发表演讲：

今天，我想谈谈未来，特别是我们在人工智能能力方面看到的增长率，以及我们现在需要做些什么，为它们引入世界做好负责任的准备。科学史告诉我们，技术进步遵循指数曲线。我们已经在农业、工业和计算革命的千禧一代中看到了这一点。但是，我们现在实时见证的人工智能革命之所以如此重要，不仅在于其影响的大小，还在于其进步的速度。它正在扩展人类想象力的画布，并以快速的速度这样做。想象一下，在未来十年的世界里，人工通用智能系统（通常称为agi）几乎在每个领域都超过了人类的专业知识。这些系统最终可能超过我们最大公司的集体生产力。这里潜在的好处是巨大的。人工智能革命将创造共享财富，并使每个人的生活水平都有可能大幅提高。但我们必须共同管理风险，才能实现这一目标。

现在，我意识到，大国有时可能会有自己的分歧。今天和以前一样，情况也是如此。但即使在最困难的时期，大国也找到了在最重要的事情上进行合作的方法。这种合作有助于关键的医学和科学进步，如根除脊髓灰质炎和天花等疾病，以及全球降低气候变化风险的努力。随着越来越强大的人工智能系统的出现，全球合作的风险从未如此之高。如果我们不小心，一个旨在改善公共卫生结果的错位人工智能系统可能会提供毫无根据的建议，从而扰乱整个医疗系统。同样，由于缺乏对影响粮食生产和环境平衡的长期可持续性的考虑，旨在优化农业实践的人工智能系统可能会无意中耗尽自然资源或破坏生态系统。

我希望我们都能同意，推进AGI安全是我们找到共同点的最重要领域之一。我想把剩下的话集中在我认为我们可以从哪里开始。一个领域是AGIi治理。AGI从根本上改变我们文明的强大力量突显了进行有意义的国际合作与协调的必要性。每个人都将从合作治理方法中受益。如果我们安全而负责任地走上这条道路，agi系统可以为全球经济创造无与伦比的经济富足，解决气候变化和全球卫生安全等共同挑战，并以无数其他方式改善社会福祉。

我也坚信这个未来，作为一个星球，我们需要投资于agi安全，才能实现并享受它。这样做需要仔细协调。这是一项具有全球影响的全球性技术。不计后果的开发和部署所造成的事故代价将影响到我们所有人。

两个关键领域最为重要。首先，我们需要在一个包容性的过程中建立国际规范和标准，并为所有国家使用agi设置平等统一的护栏。在这些护栏内，我们认为人们有充分的机会做出自己的选择。

第二，我们需要国际合作，以可验证的方式建立全球对日益强大的人工智能系统安全开发的信任。我不幻想这会很容易。作为一个国际社会，我们需要给予重大和持续的关注，以实现这一目标。《道》提醒我们，千里之行始于足下。

我们认为，在这方面采取的最具建设性的第一步是与国际科学和技术界合作。特别是，我们应该促进在agi安全技术进步方面提高透明度和知识共享的机制。发现新出现的安全问题的研究人员应该为了更大的利益分享他们的见解。我们需要认真思考如何在尊重和保护知识产权的同时鼓励这一规范。如果我们做得好，这将为我们深化合作打开新的大门。更广泛地说，我们应该投资、促进和引导对对准和安全研究的投资

在openai我们今天的对齐研究主要集中在让人工智能系统在我们当前的系统中成为一个有用和更安全的系统的技术问题上。这可能意味着我们如何训练聊天gbt，使其不会发出暴力威胁或协助用户进行有害活动。但随着我们越来越接近agi，任何错位的潜在影响和幅度都将呈指数级增长。通过现在积极应对这些挑战，我们努力将未来灾难性后果的风险降至最低。对于当前的系统，我们主要使用来自人类反馈的强化学习来训练我们的模型，使其成为有用和安全的助手。这是各种训练后对齐技术的一个例子，我们也在忙于研究新的对齐技术。要做到这一点，需要做大量艰苦的工程工作。从gpt 4完成预训练到部署它，我们花了8个月的时间来完成这项工作。总的来说，我们认为我们在这方面走得很好。Gpt 4比我们以前的任何型号都更加一致。然而，对于更先进的系统来说，对齐仍然是一个未解决的问题，我们认为这需要新的技术方法，以及加强治理和监督。

考虑一下未来的agi系统，它提出了100000行二进制代码。人类监管者不太可能检测到这样一个模型是否在做邪恶的事情。因此，我们正在投资于一些新的、互补的研究方向，希望这些方向能取得突破。一个是可扩展的监督。我们可以尝试使用人工智能系统来帮助人类监督其他人工智能系统。例如，我们可以训练一个模型来帮助人类主管发现其他模型输出中的缺陷。第二是可解释性。我们想更好地了解这些模型内部发生了什么。我们最近发表了一篇论文，使用gpt4来解释gpt2中的神经元。在另一篇论文中，我们使用模型内部来检测模型何时较轻。尽管我们还有很长的路要走，但我们相信先进的机器学习技术可以进一步提高我们做出解释的能力。最终，我们的目标是训练人工智能系统来帮助对准研究本身。这种方法的一个有希望的方面是，它可以随着人工智能的发展速度而扩展。随着未来的模型变得越来越智能和有用，我们将找到更好的对齐技术。

在降低风险的同时实现agi的非凡好处是我们这个时代的重大挑战之一。我们看到美国、中国和世界各地的研究人员为实现共同目标而共同努力的巨大潜力，并致力于解决agi对准方面的突出技术挑战。如果我们这样做，我相信我们将能够利用agi来解决世界上最重要的问题，并显著提高人类的生活质量。非常感谢。

QA环节 智源研究院理事长张宏江博士提问

Q：首先选择一个非常接近你演讲主题的。这就是我们离安全的agi有多远？在你看来，从openai的角度来看，我们离agi还有多远？风险是迫在眉睫，还是我们离它还很远？无论是从安全agi还是从潜在的不安全agi的角度来看。

A：现在很难预测确切的时间，这需要新的研究想法才能实现，而这些想法并不总是有效的。它可能很快就会发生，也可能在遥远的未来。我认为很难以任何程度的确定性进行预测，但我确实认为，在未来10年内，我们很有可能拥有非常强大的人工智能系统。在这样的世界里，我认为把这件事做好是重要和紧迫的，这就是为什么我呼吁国际社会共同努力。现在，历史无疑为我们提供了新技术的例子，这些新技术从根本上改变了世界，比许多人想象的要快。我们现在看到的加速和这些系统的影响在某种意义上是前所未有的。因此，我认为，考虑到规模上的利害关系，为即将发生的事情做好准备，并正确处理有关安全的问题似乎非常重要。

Q：所以你确实有一种紧迫感。是我听到的吗？可以你还提到了几年，也许在10年后，agi会有一个突破。

A：我想强调的是，我们真的不知道，agi的定义也不一样，但是，我认为10年后，我们应该为一个拥有强大系统的世界做好准备。

Q：你刚才在早期的演讲中也提到了几次关于全球合作的问题，我们知道，在过去的六七年里，世界面临着相当多的危机，不知何故，我们为其中许多人建立了共识，建立了全球合作。你也正在进行一次全球之旅。那么，你到底想推动什么样的全球合作呢？你对目前收到的回复有何感受？

A：到目前为止，我对这些回复非常满意。我认为人们非常认真地对待agi的风险和机遇。我认为在过去的6个月里，那里的讨论取得了很大进展。人们似乎真的致力于制定一个结构，使我们能够享受这些好处，同时在全球范围内共同努力减轻风险。我认为我们在这方面处于不同寻常的有利地位。我的全球合作总是很困难，但我认为这是一种将世界团结在一起的机会和威胁。我们可以为这些系统制定一个框架和安全标准，这将非常有帮助。

Q：你以前有没有成功的挑战的例子可以参考？当我们解决这一潜在风险时。

A：我们已经在全球范围内根除了一些非常严重的疾病。这需要大量的合作。我们已经处理了造成问题的化学品，例如臭氧层的真正问题。有很多例子说明我们是如何走到一起做到这一点的。

Q：在这个特定的主题上，你们提到的先进人工智能系统的对齐是一个尚未解决的问题。我还注意到开放人工智能在过去几年里付出了很多努力。你还提到gbd 4是迄今为止在对齐方面最伟大的例子，但你认为我们可以简单地通过对齐来解决AI、agi安全问题吗？还是这个问题比这个大得多？

A：我认为对齐这个词有不同的用法。我认为我们需要解决获得安全人工智能系统所需的全部挑战。传统意义上的一致性，即让模型按照用户的意图行事，当然是其中的一部分。还有其他问题，比如我们如何验证系统正在做我们希望他们做的事情，以及我们将系统与谁的价值观相一致。但我认为，重要的是要全面了解实现安全agi所需的一切。

Q：除了技术，还有许多其他因素。所以这确实是一个复杂的问题。通常复杂的问题都是系统性的，人工智能安全也不例外。因此，除了技术方面，你认为对人工智能安全至关重要的其他因素和问题是什么？我们应该如何应对这些挑战？尤其是我们大多数人都是我们应该做什么的科学家。

A：这当然是一个非常复杂的问题。我想说，如果没有技术解决方案，其他一切都很困难，因此我认为，正如我所提到的，集中精力确保我们解决安全方面的技术问题是非常重要的，弄清楚我们所遵循的价值观不是一个技术问题。这需要技术投入，但这是一个值得全社会深入讨论的问题，我们必须设计公平、有代表性和包容性的系统，而且正如你所指出的，我们不仅需要考虑人工智能模型本身的安全性，而是整个系统，因此构建了可以在其上运行的安全分类器和检测器，可以监控对使用策略的遵守情况。这很重要.

此外，我认为很难提前预测任何技术会出现的问题。从现实世界的使用中学习并迭代部署，看看当你真正实现内容并改进它时会发生什么。给人们和社会时间学习和更新，思考这些模型将如何以好的方式和坏的方式与他们的生活互动。这也很重要。

Q：早些时候，你提到了全球合作，并且一直在世界各地巡回演出。下面是一个后续问题。中国、美国和其他以及欧洲和3，这三个主要群体是人工智能创新背后的驱动力，肯定是在agi。因此，在你看来，你们不同的国家在解决发布的agi问题，特别是解决人工智能安全问题方面有什么优势？这些优势如何结合起来？

A：我认为通常需要很多不同的视角和人工智能安全——我们还没有所有的答案。这是一个非常困难和重要的问题。此外，正如所提到的，这不仅仅是一个技术问题。让人工智能安全而有益涉及到了解不同国家、不同国家的用户偏好和文本。因此，我们需要大量不同的投入来实现这一目标——中国拥有世界上最好的人工智能人才。从根本上说，我认为，考虑到这些困难，解决先进人工智能系统的对齐问题需要世界各地最优秀的人才。因此，我真的希望中国的人工智能研究人员能在这里做出巨大贡献。

Q：你已经访问了很多国家，你提到了中国，但你能分享一下你在合作方面取得的一些成果吗？从你与各个政府、各个机构、各个机构的互动中，你对这次世界之旅的下一步有什么计划或想法。

A：我认为一个伟大的发展是，人们兴奋地聚集在一起，制定如何安全开发先进人工智能系统的国际标准。作为一个非常强大的模型，我们想如何思考测试应该是什么，是在部署之前进行培训。我们还就建立反映全球价值观和偏好的数据库进行了良好的对话，人们也可以使用这些价值观和喜好来调整他们的系统。以及我们如何开发共享人工智能安全研究的表格。因此，也许这是迄今为止出现的三种最具体的事情。太棒了

Q：今天的论坛关注的是人工智能安全，但由于人们对openai非常好奇，除了人工智能安全之外还有很多问题。openai是否有计划像3.0之前一样重新开放其源代码和模型？我认为开源也有利于人工智能的安全。

A：我们开源了一些模型，没开源其他模型。但随着时间的推移，你应该期待我们在未来继续开源更多的模型。我没有具体的模型或时间表，但这是我们目前正在讨论的问题。

Q：我们智源把所有的精力都放在了开源上，包括开发模型的模型本身算法和寻找调优模型的工具，以及训练模型的数据。我们相信，有必要分享让你感觉到人们在控制他们的使用。那么，你在这次旅行中是否有类似的反馈，或者这是你和你的同事和openai中在讨论的问题。

A：我认为开源确实有着重要的作用，而且最近有很多开源模型的开发。我认为API模型也有重要作用。它为我们提供了额外的安全控制。你可以防止某些用途。您可以阻止某些类型的微调。如果有些东西不起作用，你可以把它收回。以目前的模型规模，我对此并不太担心。但随着模型变得像我们期望的那样强大，如果我们是对的，我认为开源可能不是最佳途径，尽管有时肯定是对的。我认为我们只需要谨慎地把握平衡。但是的，我认为开源模式和研究的安全性肯定有好处。

Q：我们是否有可能需要改变agi模型的整个基础设施或架构。为了让它变得更安全，更容易被检查。有什么想法吗？

A：从能力和安全的角度来看，我们确实需要一些非常不同的架构，这是肯定的。我认为我们将能够在当前类型的模型的可解释性方面取得一些进展，并让他们更好地向我们解释他们在做什么以及为什么。但如果在transformer之后又有一次巨大的飞跃，我也不会感到惊讶。自最初的transformer以来，我们已经对架构进行了很大的更改。

Q：我自己也是一名研究人员，我相信在这里的观众中，我们都很好奇，在agi直接研究和大模型或大语言模型方面，下一步该怎么做。我们会很快看到gbt 5吗？还是具身智能，自主机器人是下一个将要研究的前沿？

A：我很好奇接下来会发生什么。我最喜欢做这项工作的一件事是站在研究的前沿，这令人兴奋和惊讶。我们还没有答案。因此，我们正在探索许多关于下一步会发生什么，潜在的新范式会是什么的想法。当然，在某个时候，我们会尝试在序列中建立gpt 5模型，但不会很快，我们也不知道确切的时间。我们都是，在开放人工智能诞生之初，我们就致力于机器人技术，我们对此感到非常兴奋，也有过挣扎，我希望有一天我们会这样做。

Q：你在演讲中提到例子来说明如何使模型更安全，你用gpt4来研究gpt2。这项工作是可扩展的或朝着这个方向发展吗？openai将在未来继续推进吗？

A：我们将继续推进。

Q：正如您考虑的那样，这项工作将是可扩展的。生物学专业的一群科学家也关注人类的学习。他们想借用这个想法在他们的领域，研究和探索人类神经元是如何工作的。

A：观察人工神经元中发生的事情比观察生物神经元更容易。所以我认为这将适用于人工神经网络。我认为这种使用更强大的模型或使用模型来帮助我们理解其他模型的方法会奏效。我不太确定你会如何将其应用于人类大脑。

Q：由于我们正在讨论人工智能安全和agi控制的主题。我们一直在争论，也许如果这个世界只有三种型号，那么它会更安全。这就像核控制一样。你不想拥有核武器的资格。所以我们有了这个条约。我们试图控制能够获得这项技术的国家的数量。那么控制模型数量是一个方向吗？

A：我认为，对于世界上拥有少量模型还是大量模型更安全，有不同的观点。我认为更重要的是，正确的框架是，我们是否有一个系统，让任何强大的模型都接受安全、充分的安全测试。那么，我们是否有一个框架，让任何创建足够强大模型的人都有资源和责任来确保他们创建的东西是安全和一致的？

Q：MIT的教授昨天提到了一种潜在的方法，即一种特殊的研究方法，可能是我们如何控制药物开发，对吧？科学家们开发了一种新药。公司开发新药。你不只是在市场上发布。你必须经历这个测试过程。这是我们可以借鉴的吗？

A：有些行业已经开发了不同的许可和测试框架，以将新技术推向市场。我认为我们应该尽可能多地从中借鉴。但我认为，从根本上讲我们在这方面有着行之有效的方法的悠久历史。

Q：最后一个问题，就是你如何设想openai的理念，是什么让你不懈地朝着这个方向前进，就像今天一样，是什么使你努力推动人工智能安全？

A：我无法想象有什么比安全的AGI更激动人心的事情了。我坚信，如果你有一个对你个人来说非常重要的任务，这对我和我们的团队来说非常重要，那么你将有1吨的精力。我们认为，当我们刚建立openai时，我们认为成功的可能性很低，但如果我们能够弄清楚如何构建agi，那么它肯定会带来变革。作为其中的一部分，我们必须确保安全，但这将带来巨大的好处。我真的相信这将是社会迄今为止建立的最具变革性的东西。