硅谷AI考察报告

——来自AI前沿的第一手信息

为了近距离了解硅谷AI前沿发展最新动向和第一手信息，近期，我们专程前往硅谷学习考察，先后参观了微软、Google、英伟达、Meta等公司总部，与众多业内人士进行了深入交流，收获多多，感触颇深。通过交流过所了解到的很多关于算力和大模型的前沿认知，与国内目前资本市场的理解不尽相同，甚至天差地别，这些差异也许蕴含着重要的投资机遇。为此，特将此次学习考察收获第一时间与各位分享。

此行中我们最大的感受是，在美国AI已经不是刚开始引发好奇与争议的新鲜事物，而是像水和电一样融入到社会生产、公司经营和百姓生活的各个方面。同时，AI技术进步的速度处于一个“寒武纪”的时代，几乎每一周甚至每一天，都有让人兴奋的新技术或者新产品横空出世并且迅速应用到实际场景中，因而美国的VC、PE可以说是几乎无孔不入，深入到AI各个方面去寻找投资机会。

以谷歌为代表的全球科技巨头普遍认为，本次AI革命是人类未有之大变局，它是人类进步的一个空前的拐点。我们曾经指出，这一次，AI将计算机历史上最大想象空间的互联网最高流量入口、公有云最大的市场、统一万物的操作系统合三为一，即使这样我们可能仍然低估了它的意义：这或将是人类发展史上最伟大的科技革命！

我们从底层技术路径与算力、行业应用以及大模型与垂直模型的发展趋势三个方面来介绍硅谷AI学习考察之行的收获：

1、大模型的底层技术与算力需求

第一，GPT大模型的底层技术是谷歌的TransFormer，其核心的意义在于给定前文后推理出下一个最有可能的字符来进行输出，一些巨头的基础大模型差别在于解码单向结构还是编解码双向结构。ChatGPT可以支持对前文32000个字符分析再推理出下一个字，这已经是一个非常庞大的数量级，且ChatGPT只允许根据前文分析推理不允许加入后文来分析推理（decoder only）。谷歌最先推出的大模型Bard是前后文都可以用来分析推理（编解码双向结构），但后来改成与ChatGPT类似只能用前文推理的PaLM大模型，可能最终还是这种模式更接近于我们人类语言的方式。

第二，大模型本质上更像依赖AI基础设施的“炼丹”，是推理并不是认知;目前视频生成受制于对基础设施的高要求仍存在一定局限性。虽ChatGPT在QA、总结等领域表现令人震惊，但实际上还是推理而不是认知，包括生成图片其实本质上也是生成文本，但是在生成视频上AI推理难度很大，因为视频的每帧都是大量图片，需要非常强大的AI基础设施去支撑。形象地说，大模型训练就像炼丹，AI基础设施越好火力越旺，但是一开始都不知道大模型到底有没有用，有一定的运气的成分在里面。

第三，大模型后来者的追赶难度并没有大家想象那么大，中国大模型追赶海外也会比较快。OpenAI本身并不是技术绝对领先于其他科技巨头，核心在于专注于TransForemer往通用人工智能方向发展，而微软、谷歌、Meta都有很多赚钱的业务不太重视大模型。OpenAI做出来之后大公司发现AI有前途，自己资源更好肯定会加紧追赶。硅谷专家预测6个月到1年以后，全球大厂大模型水平基本看齐。中国大模型追赶海外也会比较快，中国本身是一个很好的市场，现在大模型所有的技术大家都了解，无非就是资源的集中堆积。OpenAI做这么好都“委身”给微软，本身就是因为训练太花钱。

第四，海外AI巨头算力储备A100芯片基本在50万片以上的量级，英伟达在把算力资源向云服务方向发展，同时也在布局自身大模型。目前海外巨头平均A100量级估计在50万片以上，H100可能每家一两百张，六七月份才能大规模上线。英伟达的实际优势是软硬件结合，它的硬件上面有一层框架tensor RT，英伟达有几百人的工程设计团队做框架，比如pytorch必须有Tensor RT才能跑，这个中间层软件一般硬件公司写不了。英伟达不止做硬件，做Tensor RT还要做下层的基础设施，未来英伟达有望形成一个云品牌，同时自己也在布局大模型，可能会对整个AI生态造成极大影响。

第五，推理芯片的市场远大于训练芯片，甚至也远大于训练市场加上云端推理市场的总和，中国在边缘AI算力市场空间非常大。边缘计算应用于物联网等小设备对制程要求不高，现在市场的格局分散，而推理芯片的市场远大于训练芯片，甚至也远大于训练市场加上云端推理市场的总和，中国可以借助自己的制造业优势，把物联网这一块的制程降低，然后专用一点的这种小体量低算力的AI推理芯片推向市场，这是巨大机会。其实终端设备的体量是极大的，世界上能够提供云服务的提供商，数据中心的量跟海量的终端设备的数量比，芯片需求也还是很小的，大概就是2/8的比例。

在大模型的底层技术与算力需求方面，我们认为：

1、算力需求没有天花板。当前大模型的主要算力需求来自于文字训练，未来从文字到图像再到视频，从训练到推理，从云端到边缘端，算力需求的持续高增长是确定性非常强的。

2、GPU芯片的市场格局或将发生变化，在微软等巨头的强力支持下，AMD较为薄弱的软件生态有望取得长足进步，AMD将对NVIDIA形成强有力的挑战。

3、芯片是中美竞争的最大鸿沟。两国达到一个数量级的算力储备既是目前亟待解决的瓶颈，也是未来确定的投资机遇。尤其是在边缘侧推理算力，既是被低估的远超训练算力的市场，也给了中国展现制造业优势的机会。

2 、关于AI行业应用

第一，大模型适用于需要一定容错率的行业，ChatGPT开始做商业化付费使用plus其实并不赚钱，核心是为了挡掉一些乱用而把成本变得过高的用户。大模型应用在要求100%准确的行业目前难度比较大，更多的是比如客服咨询、艺术创作、会议记录、写文章、数据分析等。大模型的商业化在B端已经看到成果了，比如：微软的全家桶office，减少制作时间、提升完成度、提升复购率；客服：给地产公司、医疗公司节省前端客服的成本。视频制作：一键生成visla.us只能生成demo视频等工具，就不需要找工作室了，节约人力成本。GPT4到现在只有一个半月，市场还在讨论如何应用，再过六个月能看到更多更清晰的落地。

第二，微软M365 产品主要在大规模交付、隐私和安全方面发力。微软现在主要的目标是怎样去大规模的交付，尤其是解决一些个性化的AI特征，另外就是安全与隐私方面的准备。M365是微软现在最核心的产品。对于企业整个工作流，整个的协作平台，整个工具、存储、安全都在M365的目录下面。Copilot是对于现有的产品线的生产能力做大幅度的提升。M365有两套不同的运算，依托Azure的数据中心做全球的扩张，M365内部也有自己的数据中心；M365是把openAI嵌入产品，不是用公用的openAI。M365在中国落地技术上有难度：1）运算资源；2）法规：数据透明度、敏感信息的管理。

我们认为，在美国，AI技术的应用已经非常普遍，例如客服咨询、艺术创作、会议记录、写文章、数据分析等众多行业。但需要注意的是，目前大模型的应用应该定位在“副驾驶员”，需要一定的容错率而非确定性的决策工作。此外，以微软为代表的海外大模型应用目前进入中国仍存在较大难度，这些难度不仅仅是在数据安全与合规政策的要求方面，大模型与算力资源的本地化部署方面也面临诸多挑战。

3 、大模型与垂直模型的发展趋势

第一，谷歌和微软的大模型大概率闭源，而Meta可能是最重要的开源“搅局者”。谷歌因为搜索会被大模型颠覆是没有退路的，再开源大模型就没有优势了，而且AI未来会成为重要赚钱工具，所以大概率闭源。微软则是完全依靠OpenAI，希望GPT赋能MS365 Copilot等效率办公工具和Bing搜索引擎，微软大概率也不会把AI开源。而 Meta最重要的业务是社交，AI可以作为聊天助手，Meta的思路是做出大模型然后开源，成为大模型里面的“搅局者”。比较来看，Meta的大模型1750亿参数，估计GPT4参数5000亿左右，Meta开源了超过650亿个参数的大模型，估计精确度比ChatGPT低20%左右。很多公司和学习使用Meta的开源模型做微调，在模型参数很小的基础下效果和GPT等差不多。开源的意义在于可以发动全世界上百万工程师一起参与微调。

第二，大模型走向移动端是个趋势。未来大模型开源生态中大公司做大模型，小公司做微调，大模型还会被简化到在各个移动终端上，比如原来的32位浮点运算改成INT8等，提升运算速度。大语言模型在开源中会有一个很好的生态圈，大语言模型就像水、电一样，在一些细分领域让开源生态做。开源社区有些聪明的人可以把模型蒸馏的很小，比如把36位浮点运算改成INT4，可以把体积缩小十倍，小到可以在电脑和手机端装，未来可能会有很多有创意的应用开发出来。未来iOS或者安卓可能会内置大模型，以后所有的移动端应用跑一次给苹果一定费用。

第三，大模型继续发展中参数量的增加核心要考虑ROI。处于科研角度，当然参数越多越好，但是处于商业使用的角度，每多一个参数就会增加成本，包含收集成本、训练成本。ChatGPT 3.0用了1750B的参数量，而GitHub上有一个仿GBT的模型只用了70B的参数就达到了90%GPT的效果。从商业应用层面，需要找ROI最高的参数。

第四，大模型最终会通吃一些通过互联网即可获得数据的垂直行业，可能无法覆盖某些数据无法获得的垂直领域模型。现在谷歌正在做一件事让AI像人一样实时学习互联网的内容，而数据在线下无法获得的领域，可能会出现线上的大模型和本地模型做交互的形式，但这个涉及难度比较大的耦合问题。

我们认为：

1、 中国可能是以Meta为代表的开源大模型的最大受益者。
2、我们对于国内大模型追赶全球领先水平的进度应该保持信心，在已经给定了技术路线方向与开源大模型基础上去追赶，实际上节省了从头开始的试错成本。尤其是对大模型通用性要求并不高的垂直行业龙头，借助开源大模型可以迅速搭建垂直大模型，加快垂直领域的应用落地。
3、大模型部署在边缘侧与移动端是一个必然的趋势，尤其在近期谷歌发布移动端大模型和ChatGPT在苹果手机上的App正式上线之后，这一趋势逐步被市场认知，大模型是非标准化的各类AIoT终端等待已久的统一操作系统。

特别声明:任何情况下相关内容不应被视为投资建议