抢算力，已经成为当下科技公司、以及希望应用AI的诸多公司的头等大事。大算力，大力出奇迹。但实际上，只抢算力，是不够的。
虽然高端显卡产能还是紧俏，但算力逐步普及的同时，要想发挥算力的效果，还要抢存力。
关于存算的关系，最容易想起来的就是做饭了。好的算力，就是好的大厨，厨艺高超、同时掌七八个勺也没问题；而内存就是炒锅，厨子再厉害，只有一个炒锅，也只能一道道做菜。

存储，也是生产力
存储，一直是人类发展的重要加速器。
比如在文本领域，原始社会时，部落就学会在石壁作画来记录、存储信息，使得零散琐碎的经验，逐渐成为代代流传的知识。
随后，文字的出现，是人类文明“算法”的提升；活字印刷术、算盘等等工具出现，可以称为“算力”的飞跃；而从甲骨、毛皮、竹简再到纸张，这就是“存力”的升级。纸张的出现，大幅加速了知识传播，作为知识的载体，相当于为人类整体增加了智力光环，生产力大幅提升。
而今，所有的存储都走向了数字化，技术进步更在加速。存量在指数级增长，一张光盘，可以存下一个图书馆的所有书籍。越大的内存、缓存，也为CPU高效发挥提供保障。当互联网、移动互联网成为趋势时，分布式存储、云存储也应运而生，存储不仅更加便捷，也为企业节省成本。
在人类发展的不同时期，都有不同的存储技术出现，成为重要的生产力。既和当时的算力相匹配，也时常引领着算力发展，成为算力、算法提升的基础。
而在当下，算力的大力出奇迹，让AI呈现出了涌现，数学家、程序员、科学家、设计师、研发人员等等都开始用AI来高效辅助工作。毫无意外，AI依然会逐渐普及，深入社会各个层面，解锁新的生产力。而存力升级，也将会加速AI的发展。

AI发展，存力越来越重要
随着算力性能提升、产能逐渐释放，对于AI而言，存力升级越来越重要。
首先，量是不够的。我国算力在提升，但存力却依然相对滞后。而且，在大模型时代，文本只是TB级，但多模态则是PB级要求，量级显著提升。从单模态走向多模态，存储需求量大幅增加。
其次，质是有要求的。就像不是所有的显卡才算得上高端，被抢购；也不是所有的存储，都能被称为“存力”。生产力，必须顺应新趋势、解决新挑战，“过五关斩六将”。而大模型的发展则为存储带来了诸多变化和要求。
比如，通用大模型的数据样本是多模态的，包含多种类型的数据，包括文本、图像、音频、视频等等，对存储提出不同要求。
再比如，大模型的生成式依靠海量数据加速训练，规模大、训练时间长，而且DL网络层多、连接多。每层都需要存储权重、偏置阐述，激活函数、输入输出数据、模型结构等等也需要存储，这就对存储带宽和I/O性能提出了更高要求。
另外，由于数据量持续更新，因此对存储集群的可靠稳定性、安全性，也都要求更高。在数据流通方面，也要能够做到数据流动和统一管理，不能是“一潭死水”，而是“数据活水”。
同时，在节能减排的大趋势下，能耗也是一个“紧箍咒”。存储系统，在数据中心能耗中占比为35%，不能存力升级了、能耗却超标了。
总结而言，存储面临的状况就是：数据量更大、类型更复杂、性能高标准、稳定严要求；干的是越来越多，但“吃”的却不能增加。

全闪分布式并行文件存储是实现大模型训练加速的“共识”方案

要满足大模型落地的种种要求，选择适合的存储技术方案尤为关键，从存储介质、存储架构等方面分析，全闪分布式并行文件存储是最优方案，并已在市场中初步形成共识。

全闪分布式并行文件存储是实现大模型训练加速的“共识”方案

要满足大模型落地的种种要求，选择适合的存储技术方案尤为关键，从存储介质、存储架构等方面分析，全闪分布式并行文件存储是最优方案，并已在市场中初步形成共识。

从存储架构角度，分布式并行文件系统更能满足大文件、小文件全流程高带宽、高吞吐以及低延迟需求。
大模型训练的并行访问要求高带宽。传统NFS文件系统适用于低并发用户对小数据集的访问场景，但在用户并发数大或数据集太大时，NFS服务器会成为IO路由瓶颈，限制系统性能。而并行文件系统能支持多客户端直接访问所有存储节点，从根本上消除这个瓶颈，更适用于对并发要求高的大模型训练场景。
另外，为保证数据一致性，大模型需采用有元数据服务（MDS）的存储架构。传统中心对称的元数据架构会限制系统伸缩性，在大模型高并发、高性能的场景下，全对称元数据架构成为首选。目前，全对称架构重点解决MDS规模和性能匹配问题，尤其海量小文件处理场景中的性能稳定性。

相关概念票：

同有科技

中科曙光