登录注册
推理占比确认70%、B100性能提升可能4倍
挖到宝藏啦!
2024-03-04 22:37:52


转载自:推理占比确认70%、B100性能提升可能4倍 


AMD、AMAT、KLAC、INTC、LRCX、MU、NVDA、STX、SWKS和WDC等以及一级市场的Cerebras、Groq、Tenstorrent、Sambanova等公司,甚至包括了美国商务部工业和安全副部长Alan Estevez主持的小组讨论。总结如下:

英伟达表示B100相比H100性能提升超过2-3倍(注:英伟达CFO原话是“2-3倍听起来低了”。因为H200相比H100就是80%提升,B100相比H200 2倍提升,也有3.6了,估计真的要4倍以上了)。 推理需求的增长开始迅速加速,上个财年40%,现在已经到了70%(注:这个和我们之前星球里的分析对上了,但要注意这里面包含了大量传统推理需求,真正的GenAI占推理需求小于50%,但反过来,随着GenAI部署的泛华,意味着推理的需求增速还会加速

关于每个GPU 4500美元软件收入,这与企业安装基础有关,20%的收入来自企业,以及一部分销售到云中。对于已经发货的H100有400万GPU的累计基数,这些GPU都存在升级的可能。如果我们假设一半已经销售到云中,最终将以某种方式被企业在云实例中使用,因此需要打补丁/优化,这表明收入潜力>100亿美元。对于在CPU上运行的推理,可以继续在CPU上运行,并不一定需要GPU。对于其他类型的更高级的推理工作负载,如genAI,不可能在CPU上运行。数据中心容量瓶颈,对于CSP,他们已经在展望2-3年后,所以这是他们规划过程的一部分,因此NVDA没有那么担心数据中心容量瓶颈。HBM供应商会增加到三个。需求仍然远远超过供应,尤其是全球范围内,特别是在中东地区(阿联酋、沙特阿拉伯)开始出现国家级别的需求。

AMD表示到2027年其4000亿美元AI加速器TAM中约65-70%将用于推理强调从未说过今年可以实现80亿美元的MI300收入(),认为按产能储备(HBM和cowos)算的话,的确超过35亿美元的指引,并在未来几代产品表现出非常自信的语气。我们预计AMD今年结束将在数据中心GPU的市场份额达到约10%。我们还感觉到服务器CPU的语气稍微好一些,在传统服务器市场看到了一些反弹(也得到了MU评论的支持)。长期毛利率目标57%,但在设定该目标时并未考虑AI业务(MI300X前期对毛利率还是有拖累)。且公司也提到了未来可能会和HBM厂商进行定制化合作(之前文章我们提过HBM4会更加定制化

存储板块持乐观态度 在DRAM方面,HBM供应一直紧张到2025年,MU采用了与TSMC对其客户所做的类似的预付款和晶圆供应协议,以及年度而非季度/半年的定价谈判方式。为了最大化HBM量,在一定程度上牺牲了DDR5的量,并造成了紧缺——所有这些都有助于ASP。WDC对NAND的定价和上涨的持续性持非常乐观的态度,因为新的资本支出仍然没有用于NAND,而是被转移到了HBM。这也传递到了SPE,AMAT和LRCX都对DRAM持乐观态度。
MU透露更多HBM信息,8层已经量产,12层3月送样,12层毛利率比8层更高。且镁光的2024年的HBM已经售罄,再次强调在2025年下半年某个时候达到与镁光全球DRAM份额相同的HBM份额。且由于MU在HBM2E和HBM3上起步较晚,所以跳到了HBM3E,并决定在1beta上做(功耗有优势),同时优化了TSV的数量和间距。HBM的裸片尺寸是DDR5的两倍,且由于堆叠产能额外晶圆损耗,因此非常吃DDR产能(与之前季报说的一致)。合适时间一定会转向Hybrid Bonding。对于中国XXXX做HBM,原话是“packaging is not controlled”。
可能有更多的CN芯片制造商会被加入实体清单,尽管很难说是谁、何时(彭博已经报道了几个潜在实体)。在我们的小组讨论中,行业与美国商务部之间的一个争议点仍然是让其他地区的供应商加入并停止在禁止美国供应商的情况下补发设备发货(堵日韩的缺口呗)。KLA表示china某厂希望其承诺服务资源,给了更多预付款XXXX的第二家工厂是新的先进工厂,虽然KLA被禁,但其试图用国产供应商来实现小于1X纳米的产能XXXX的第一家工厂是20纳米,会升级微缩一次可以用KLA。如果其他公司被加入实体清单,KLAC担心的是,这些份额将只会流向日本竞争对手,如Lasertech或日立,性能不会那么好,但能用。

OpenAI 2027 AGI?

今天广泛流传的50多页的《OpenAI 2027 AGI plan》,作者几乎是搜集了之前推特出现的关于OpenAI的所有传闻,然后把点连成了线,一位大佬评价非常精准——“twitter大旗党”。文章核心就为了论证以下猜想:

OAI从22年8月开始训练一个125万亿参数的模型,第一阶段是 Arrakis,也称为 Q*,模型于 2023 年 12 月完成训练,Q*原本作为GPT-5在2年后也就是2025年发布,但由于推理成本过高暂时搁置(记得当时出现了Arrakis的rumor)。而另一个称为Gobi的模型原本作为GPT-4.5,现在已更名为 GPT-5。Q* 的下一阶段原为GPT-6,也继续顺延为GPT-7(原定于 2026 年发布),但由于埃隆-马斯克最近提起的诉讼而被搁置。OAI目标是2027年推出GPT-8实现AGI。

真假自辨吧,说实话,你也不能否认所有twitter上的rumor,只不过按照过去1年结果看“大旗党”屡次被打脸。27年实现AGI的确是一个非常非常bullish的观点,完全不可能吗?也不是。比如你说3年后GPU性能 per Dollar 或者 per power会降低多少?拍脑袋比如30-50倍(就算现在每年3倍,2年10倍,3年也30倍了),那125万亿参数的算力也就相当于目前2-4万亿参数,和GPT-4  8*2200的1.8万亿规模也差不多了这段时间看了很多人的观点,倾向于认为纯scaling就已经可以实现模型能力的巨大提升...还是那句话,NV+OAI,全村的希望。

今天热议TSMC的第二大客户到底是谁

台积发了2023年审计报告,其中第二大客户占收入11%引起大家热议。我们之前文章发过UBS测算的台积电历史客户收入,24/25预测就看看,23年之前历史数据确定性强一点,AMD按照这个测算就是11%,NVDA会在24年对TSMC的收入贡献猛增到10%以上。

继续说AI catch up plays(今天海力士+6%,台积电+5%

TMTB博主今天的comment,哥们最近是格局打开了:AI新结构下,想象力打开点对我们有好处。2-3年后的世界会是什么样子?从那个点出发,我们应该思考5-6年后的世界会是什么样子?这对当前的市盈率意味着什么?市盈率是我们尝试根据增长和风险来评估资产价格的一种方式(注:如果指数增长传统的PE估值如何优化)。如果AI让利率反而是lower for longer,越来越多的AI驱动的投资回报率(ROI)的证据对我们对盈利增长预测有什么影响?在某个时候,我们将从第一波(半导体受益于芯片需求的快速扩张+IT云支出)和第二波(基础设施需求增加)转向第三波(非科技公司通过利用AI提高效率+收入增长获得更高的投资回报)。这个进程不会是线性的,任何时候都会有阶段之间的重叠:Klarna和META的收益是第三波的早期例子。

这里不得不再引述下F姐的评论:“既然beat rate差异这么大(IGV 51% vs SOX 67%),这是不是说明大而分散的IGV就比小而集中的SOX基本面更差?并不是。如果我们把这个月度的业绩扩展到整个1Q,两者beat/miss的概率几乎差不多,都是50:50;但是两者的赔率却有显著差异,IGV是3%:-4%,SOX是11%:-1%”    说白了,风在硬件这边,beat一点就给你拉上天,miss一点反倒一堆人去抄,更何况beat率还挺高,传统业务复苏和AI拉动共振了,基本面强劲。

因此TMTB老哥也提到了赌财报的问题,“这种股价反应范式是否会在本周CRWD、MDB、GTLB、MRVL、AVGO、CIEN的季报中继续?

此外对于老哥提到的“第三波”非科技公司用AI提升效率,MS还真就刚刚做了个图,说实话,过去一年由于模型的不给力,这个交易逻辑一直不work,到今天继续扩散的话,不知道会不会又被拿回来炒

MS策略分析师Andrew Pauker的结论:类比1990s年代,生产力提升传导至利润率滞后了1年,认为AI会给2025整个标普500的净利率提升30-50个bp...

Tegus今天的一篇NV纪要,专家据称是戴尔CTO...

总结:企业级HPC和AI服务器,戴尔和惠普相比SMCI有明显优势;英伟达AI Enterprise (软件业务)所带来的GPU资产“可管理性”,又是前瞻的一步,将进一步拉开与AMD Rocm差距;NV对超威的优先支持,让其他服务器厂商不得不增加对AMD Intel的适配(这不得取决于客户选择吗?

I关于某芯某际又5了,什么n+three了之类的新闻,里面大家热议的HBM到底XX有没有出货YY有没有量产之类的,我们Leslie总今天给了一个清晰的总结:

说到底芯片好坏的评价标准是PPACt(power,performance,Area,Cost,time to market),线宽只是指标之一,但过去几十年因为消费者最易于理解被营销反复加强,过度强调了其重要性,且在非业内人士中建立一个过于单一的评价标准。就比如说几nm成功了,“成功”是什么意思?对应于晶圆良率爬坡的哪个阶段叫成功?台积电可能至少初期良率要4成一年后要拉上7成才会叫量产。如果按照且听龙吟式段子,那台积电完全可以说a14已经成功!(三星不就每次玩这招)良率界定清楚了,还有成本问题(一袋面粉做一个馒头还是10个馒头),还有产能问题,只能扩1k片还是1w片还是10w片有本质区别。以极低良率、极高成本、实现了超小规模产能,技术突破的象征意义的确很大。不过话说回来,卡点也是一个个解决的,现状不代表未来,良率&成本、扩产设备瓶颈,留给时间吧。

 

作者在2024-03-05 19:20:08修改文章
作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
国科微
S
云天励飞
S
寒武纪
S
旋极信息
S
科德教育
工分
6.02
转发
收藏
投诉
复制链接
分享到微信
有用 10
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(8)
只看楼主
热度排序
最新发布
最新互动
  • 只看TA
    03-05 06:16
    谢谢分享
    1
    0
    打赏
    回复
    投诉
  • 只看TA
    03-05 05:42
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    03-05 03:47
    浪潮信息,国产算力龙头
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    03-04 23:16
    谢谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    03-04 23:09
    谢谢
    0
    0
    打赏
    回复
    投诉
  • 青春*散场
    航行五百年的老司机
    只看TA
    03-04 22:51
    HBM设备弹性高度股亚威股份!
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    03-04 22:47
    个人看好科德教育,既有芯片又有教育。
    0
    0
    打赏
    回复
    投诉
  • 1
前往