登录注册

一图文秒懂SRAM存储芯片（小表哥）

大侠风清扬

疯狂打赏的老韭菜

2024-02-20 15:42:12

一图文秒懂SRAM存储芯片（小表哥）
SRAM作为读写速度最快的内存介质，具备很多优势，比如，它可以向更先进的制程节点兼容，具备高能效比的计算优势，同时它又不存在其他非易失性存储所具备的耐久性问题，更重要的是，基于SRAM的设计方案，可以支持纯数字化设计，从而能够解决很多应用场景所关心的精度问题。

SRAM方案在现阶段具有三点优势，SRAM是所有存储类型中最快的，且没有写次数限制，对于追求快响应的场景几乎是必选；SRAM可向先进制程兼容，从而达到更高的能效比和面效比；相对新型存储器，SRAM的工艺成熟度较高，可以相对较快地实现技术落地与量产。

存内计算存在多种基于不同存储介质的技术路径，如SRAM、Flash及其它新型存储器。SRAM工艺成熟度高，具有向先进节点高兼容性和无限擦写次数的优势，在计算时能够做到精度无损、读写延迟短，适用于诸如自动驾驶、无人机等对计算准确性和反应速度要求高的场景。

比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍

ChatGPT-3.5每秒生成速度仅为40个token。

有网友将其与GPT-4、Gemini对标，看看它们完成一个简单代码调试问题所需的时间。

没想到，Groq完全碾压两者，在输出速度上比Gemini快10倍，比GPT-4快18倍。（不过就答案质量来说，Gemini更好。）

不同于英伟达GPU需要依赖高速数据传输，Groq的LPU在其系统中没有采用高带宽存储器（HBM）。

它使用的是SRAM，其速度比GPU所用的存储器快约20倍。

鉴于AI的推理计算，相较于模型训练需要的数据量远小，Groq的LPU因此更节能。

在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于英伟达的GPU。

LPU并不像GPU那样对存储速度有极高要求。

如果在AI处理场景中采用Groq的LPU，可能就无需为英伟达GPU配置特殊的存储解决方案。

另有网友表示，「Groq LPU似乎没有任何HBM，而且每个芯片基本上都带有少量的SRAM？也就是说他们需要大约256个芯片来运行Llama 70B？」

没想到得到了官方回应：是的，我们的LLM在数百个芯片上运行。

Groq LPU面临的一个关键问题是，它们完全不配备高带宽存储器（HBM），而是仅配备了一小块（230MiB）的超高速静态随机存取存储器（SRAM），这种SRAM的速度比HBM3快20倍。

这意味着，为了支持运行单个AI模型，你需要配置大约256个LPU，相当于4个满载的服务器机架。每个机架可以容纳8个LPU单元，每个单元中又包含8个LPU。

相比之下，你只需要一个H200（相当于1/4个服务器机架的密度）就可以相当有效地运行这些模型。

这种配置如果用于只需运行一个模型且有大量用户的场景下可能表现良好。但是，一旦需要同时运行多个模型，特别是需要进行大量的模型微调或使用高级别的LoRA等操作时，这种配置就不再适用。

此外，对于需要在本地部署的情况，Groq LPU的这一配置优势也不明显，因为其主要优势在于能够集中多个用户使用同一个模型。

1、什么是RAM？

RAM（Random Access Memory）中文的意思是随机存取存储器。为什么要强调随机存储？因为在此之前，一些存储器都是顺序存储（Direct-Access），较为常见的有光碟、老式的磁带、磁鼓存储器等。

随机存取存储器的特点是，其访问数据的时间与数据存放在存储器中的物理位置无关。

2、什么是随机读写？

随机和顺序读写是存储器的两种输入输出方式。其中，存储的数据在磁盘中占据空间，对于一个新磁盘，操作系统会将数据文件依次写入磁盘，当有些数据被删除时，就会空出该数据原来占有的存储空间，时间长了，不断的写入、删除数据，就会产生很多零零散散的存储空间，从而造成一个较大的数据文件放在许多不连续的存贮空间上。读写这部分数据时，就是随机读写，磁头要不断的调整磁道的位置，以在不同位置上的读写数据，相对于连续空间上的顺序读写，要耗时很多。在开机时、启动大型程序时，电脑要读取大量小文件，而这些文件也不是连续存放的，也属于随机读取的范围。

改善方法：做磁盘碎片整理，合并碎片文件，但随后还会再产生碎片造成磁盘读写性能下降，而且也解决不了小文件的随机存取的问题，这只是治标。除此之外，还有更好的解决办法，那就是更换电子硬盘（SSD），电子盘由于免除了机械硬盘的磁头运动，对于随机数据的读写极大地提高。

举个例子，SSD的随机读取延迟只有零点几毫秒，而7200RPM的随机读取延迟有7毫秒左右，5400RPM硬盘更是高达9毫秒之多，体现在性能上就是开关机速度。

随机存取存储器（RAM）是存储器中最为人熟知的一种。之所以RAM被称为“随机存储”，是因为可以直接访问任一个存储单元，只要知道该单元所在记忆行X和记忆列Y的地址即可定位。

3、SRAM和DRAM的区别

RAM的另一个特点是易失性（Volatile），虽然业界也有非易失（non-volatile）的RAM，比如利用电池来维持RAM中的数据等方法。

RAM主要分为两类：SRAM（Static RAM）、DRAM（Dynamic RAM）。

其中，SRAM的S是Static的缩写，全称是静态随机存取存储器；而DRAM的D是Dynamic的缩写，全称是动态随机存取存储器。

作者利益披露：原创，不作为证券推荐或投资建议，截至发文时，作者不持有相关标的。

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

S

北京君正

S

西测测试

工分

81.59

转发

收藏

投诉

复制链接

分享到微信

有用 81

打赏作者

无用

真知无价，用钱说话

0个人打赏

同时转发

评论（55）

只看楼主

热度排序

最新发布

最新互动

大侠风清扬
疯狂打赏的老韭菜

只看TA

02-20 15:46

年后第二个疯狂题材

12

1

打赏

回复

投诉
小狼
关灯吃面

只看TA

02-20 16:19

炬芯科技也是SRAM

4

0

打赏

回复

投诉

于2024-02-20 17:41:14更新

查看3条回复
Bryan 丶Fury

只看TA

02-21 01:40

有没有可能是一日游

2

0

打赏

回复

投诉

于2024-02-21 08:55:56更新

查看1条回复
利物浦不做小韭菜

只看TA

02-20 16:21

广利微次新股，股价也在地位，估计资金会比较喜欢

3

0

打赏

回复

投诉
吃鸡遇到缩圈
蜜汁自信的老韭菜

只看TA

02-20 15:47

感谢

2

0

打赏

回复

投诉

于2024-02-20 15:48:04更新

查看1条回复
无名小韭95271014

只看TA

02-20 20:33

这么吹你没买我不信

1

0

打赏

回复

投诉

于2024-02-20 20:54:07更新

查看1条回复
股海漫行者
全梭哈的龙头选手

只看TA

02-20 16:17

sora，sram，炒到细分了吗

1

0

打赏

回复

投诉

于2024-02-20 16:45:48更新

查看1条回复
无名小韭82771031

只看TA

02-21 16:24

ARAM新技术关于AI0.....1

1

0

打赏

回复

投诉
风景旧曾谙

只看TA

02-20 23:03

佰维算近期存储的龙头了吧

1

0

打赏

回复

投诉
无名小韭68960726

只看TA

02-20 21:10

放心吧明天你就吹其他的了

0

0

打赏

回复

投诉

于2024-02-20 21:16:08更新

查看1条回复

前往

页