欢迎关注“调研专享”，每日盘前分享最新信息

这周op­e­n­ai在硅谷召集了一个20多人闭门会议，要点如下：

1、Op­e­n­AI的GPU受到严重限制在整个讨论过程中出现的一个共同主题是，目前Op­e­n­AI的GPU非常有限，这推迟了他们的许多短期计划。客户最大的抱怨是关于API的可靠性和速度。Sam承认了他们的担忧，并解释说，大部分问题都是GPU短缺的结果。更长的32k上下文还不能推广给更多的人。Op­e­n­AI尚未克服O(n^2)的关注范围，因此，尽管这似乎是合理的，但他们很快就会有10万-100万的to­k­e­ns上下文溯源窗口（今年），但任何更大的事情都需要研究突破。微调API目前也受到GPU可用性的瓶颈。他们尚未使用适配器或Lo­Ra等高效微调方法，因此微调的运行和管理非常耗时需要计算。未来将有更好的微调支持。他们甚至可能举办一个社区贡献模型的市场。Op­e­n­AI还提供专用容量，为客户提供该模型的私人副本。要访问此服务，客户必须愿意承诺预付10万美元。专用容量供应受到GPU可用性的限制。

2、Op­e­n­AI的近期路线图Sam分享了他所看到的Op­e­n­AI的API临时近期路线图。2023：•更便宜、更快的GPT-4——这是他们的首要任务。一般来说，Op­e­n­AI的目标是尽可能降低“智能成本”，因此他们将努力随着时间的推移继续降低API的成本。•更长的上下文窗口——在不久的将来，高达100万个令牌的上下文窗口是合理的。•微调API——微调API将扩展到最新型号，但其确切形式将由开发人员表示他们真正想要的东西来塑造。•有状态的API——当您今天调用聊天API时，您必须反复浏览相同的对话历史记录，并一次又一次地支付相同的令牌。将来会有一个记住对话历史记录的API版本。2024：•多模态——这是作为GPT-4版本的更多定制内容添加微st­a­rt20160903一部分演示的，但在更多GPU上线之前无法扩展到所有人。

3、插件“没有PMF”，可能不会很快进入API许多开发人员对通过API访问Ch­a­t­G­PT插件感兴趣，但Sam表示，他认为这些插件不会很快发布。除浏览外，插件的使用表明他们还没有PMF。很多人认为他们希望应用程序在Ch­a­t­G­PT中，但他们真正想要的是应用程序中的Ch­a­t­G­PT。

4、除了Ch­a­t­G­PT之外，Op­e­n­AI将避免与客户竞争相当多的开发人员表示，当Op­e­n­AI最终可能发布对他们有竞争力的产品时，他们对使用Op­e­n­A­I­A­PI进行构建感到紧张。Sam说，Op­e­n­AI不会发布Ch­a­t­G­PT以外的更多产品。他说，伟大的平台公司有着拥有杀手级应用程序的历史，Ch­a­t­G­PT将允许他们通过成为自己产品的客户来使API变得更好。Ch­a­t­G­PT的愿景是成为一个超级聪明的工作助理，但会有很多其他GPT用例，Op­e­n­AI不会触及。

5、需要监管，但开源也需要监管虽然Sam呼吁对未来模型进行监管，但他并不认为现有模型是危险的，并认为禁止它们是一大错误。他重申了他对开源重要性的信念，并表示Op­e­n­AI正在考虑开源GPT-3。他们尚未开源的部分原因是，他对有多少个人和公司有能力托管和服务大型法学硕士持怀疑态度。

6.缩放法仍然适用最近，许多文章声称“巨型人工智能模型的时代已经结束”。这不是对意义的准确表示。Op­e­n­AI的内部数据表明，模型性能的缩放定律继续有效，使模型变大将继续产生性能。缩放速度无法保持，因为Op­e­n­AI在短短几年内使模型扩大了数百万倍，而这样做是不可持续的。这并不意味着Op­e­n­AI不会继续试图使模型变大，它只是意味着它们每年的规模可能会增加一倍或三倍，而不是增加许多数量级。扩展继续工作的事实对AGI开发的时间表有重大影响。缩放假设的想法是，我们可能拥有构建AGI所需的大部分部件，其余大部分工作将采用现有方法，并将其扩展到更大的模型和更大的数据集。如果缩放时代已经结束，那么我们可能应该期望AGI会更远。缩放法继续保持的事实强烈表明时间会更短。