ChatGPT 专家 1. ChatGPT算力、研发、进展情况• 初始是谷歌做的transformer。

ChatGPT一代就有40几亿个参数。

参数可以理解为深度学习的时候讲到的神经网络，一层有1000个节点，节点互联，是1兆个参数。

ChatGPT是1750亿个参数。

我们实验中做过的最大的模型是10亿个参数，所以大概是我们的175倍。

• Transformer核心就是用大量的语料进行训练，做出理解力很强的AI。

语言理解力是我们长期攻克的难题。

中文是最难的，首先要做断句分词、根据上下文研究语法模型。

但从Transformer开始，不需要做断句分词，所有都从语料库来，实现理解。

统一了所有语言的学习方法。

• OpenAI从1代到3代，模型不断放大，从43亿到1750亿。

网络复杂度是几何级数的增加，我们估算是2-3次方之间。

• 不能光看参数大小，参数很多，但是节点互联很简单也没有意义。

算力投入一方面是规模，另一方面是迭代次数和时间。

• chatGPT此次是用了5000块A100，每块节点是8块A100全互联。

美国对我们禁运的首先就是A100。

用NV link进行互传。

如果不用NV link的话只能用CPU，传输时间会变长。

国内不会很快追上open AI 的算力投入。

• 截止到2021年底：因为新知识可能会产生矛盾，出现之后需要人为处理。

知识还需要进行重新校验的，所以不能接入在线数据。

2. 中国的ChatGPT有哪些瓶颈• 从处理器的角度，我们有很多可以支持计算的处理器，例如海光、飞腾、寒武纪等。

最大的问题是做不了高制成，只能做到28nm，28nm会导致芯片密度低，能耗更高。

导致NVIDIA一块卡我们要用2-3块。

• 第二个问题是互联，有一些机器的互联可以，例如飞腾等，但是有产能问题。

缺乏NV link的互联设备，我们在做大语言模型的时候问题就很大。

• 海光有不到3000块的A100。

• ChatGPT能够做到99.9几的理解能力，我们如果降低要求到97-98之间，阿里京东百度等自身的算力就可以在1-1.5年内做到这个水平。

短时间追上openAI是很困难的。

微软的投入不光是钱，更多是云计算的基础设施，例如5000块的A100，按照市价，算力投入在3000万。

但如果降低要求，现在相关领域做应用的话还是有机会的。

• 瓶颈最主要的还是在数据交换上，如果互联不好的话，5000块卡和100块卡的效果是一样的。

3. 商业应用价值• 国外很快就会淘汰数据程序员，可能会淘汰一半，交一部分的工作给chatGPT。

• 国内程序员供应量多，如果用chatGPT取代反而成本会更多。

但另一方面，国内有些行业，例如3D建模的人才，我们目前是缺乏的，3D建模本身门槛不高，但没有办法跟机器比速度。

CG图片、特效成本可能会迅速降低。

另一个就是销售客服。

现在很多地方都是机器客服为主，国内做外贸的很多公司都需要英语销售客服，但他们跟外商的交流很不畅通，如果换成chatGPT，可以看到工厂的实时库存、帮助下订单。

ChatGPT计费标准来说，这样的替代也是很便宜的。

4. 中美竞争• 如果看大模型的话，中美的差距有可能会拉大。

AI模型、芯片产业链都需要投入。

• 如果降低NLP的理解能力，不影响后续工作的话，也是一个方向。

5. 数据分工• 国内主要问题在于复制性的内容太多，国外相对而言能够找到一些权威的语料。

这是中文和英语的最大差别。

权威就是可以告诉机器，从nature science上面找到的文章，权威值就是99%，我们在万方知网上面能够找到的权威数据有限，这些论文发了中文也都会发英文，我们是比较吃亏的。

中文语料训练上没有问题，但是在知识质量上我们会低一些。

• 微软数据标注团队质量很高，我们的劣势：有劣势但是不大。

人工标注的话不会具体到每一篇文章，只会是标注刊物、高引的文章等。

例如知乎的高赞文章是不是高质量的需要人为来进行鉴定。

6. 确权的问题• ChatGPT的创作思路跟我们所说的洗稿很像，据说openAI会给以后生成的文章里面打技术性水印。

• 少数作者会启动防止被引用的开关，大部分作者不会启动。

• New bing会生成来源。

• 175G的参数需要1T的内存才可以运行，开源是不太可能的。

7. 审核• 现在是基于关键字和简单语义识别。

但如果变成80%的ChatGPT水平，发出违规文字的可能性就没有了。

8. 公司竞争力• 做类似chatGPT需要几个元素：1）语料。

自有平台或者爬取网页。

微信有公众号朋友圈，百度是爬取，京东是产品和用户咨询评价，相对比较少。

360和腾讯有搜索引擎，应该还在爬取。

自有平台大一点就是知乎、腾讯、网络小说、门户网站等；2）算力。

一个是看自有平台的CPU和GPU，现在比较强的是阿里腾讯，都有GPU的云。

地方的数据超算中心都有一定的算力资源；3）钱。

openAI拿到了很多投资。

4）人。

• 京东淘宝可能需要的是智能客服。

百度可能需要的是自动驾驶和AI 的联动。

腾讯可能就是游戏的开发。

9. 搜索成本• 谷歌的首次搜索的成本高，但是重复搜索的单次成本不高。

谷歌主要成本是不断爬取数据的成本。

• 如果放到搜索引擎上，直接的问题就是广告放在哪里。

• 搜索引擎市占率低的公司可以通过chatGPT来抢市场，但是市占率高的公司如果运用的话会把最赚钱的广告业务挤掉。

10. AI方向• 国内可能会在3D建模、网络小说方面发展。

下游的游戏影视也会有变化。