华为存储新技术-存算分离，未来的存储发展方向。存算分离究竟是什么？哪家公司受益？-韭研公社

登录注册

华为存储新技术-存算分离，未来的存储发展方向。存算分离究竟是什么？哪家公司受益？

挖哈哈大队长

买买买的游资

2023-10-19 18:45:36

海量数据时代已经到来，大数据分析的基础设施面临新挑战，存算分离技术将帮助解决这一难题。此前，华为存与万里数据库共同发布“存算分离&多主架构联合创新方案”，联合GreatDB万里安全数据库、参天数据库加速引警和华为Oceanstor闪存存情，基于存算分离架构打造我国首个多主架构数据库方案。

1、什么是存算分离

存算分离通过将存储和计算分离的方式，将计算节点转为了无状态节点，而存储节点和计算节点的分离可以使用中心化的存储集群，提升存储的可靠性和扩展性。存算分离将存储资源和计算资源拆分为独立的模块进行建设，在资源利用率、存储资源高效共享、多场景灵活部署、网存算协同等方面具有显著优势。

图表 1. 同有科技存算分离存储解决方案拓扑图

资料来源：同有科技官网，中银证券

2、为什么要存算分离

海量大数据对存储提出了新的要求，专业存储至关重要。传统的存算融合架构面临四重挑战，存储资源利用率低，性能可靠与资源利用率难以兼得，极大浪费了存储资源。同时数据中心税导致数据密集型应用效率低下。专业的存储系统被视为保证数据可靠性和访问性能的基础，它为数据库提供高可靠、高性能的硬盘存储，同时为大数据和智能应用提供海量扩展和高性能的共享文件系统，是保障数字经济平稳运行的重要基础设施。

Hadoop趋向于存算分离。在传统的Apache Hadoop集群系统中，计算和存储资源是紧密耦合的。在这样的集群中，当存储空间或计算资源不足时，只能同时对两者进行扩容。这导致扩容的经济效率较低，增加成本。独立扩展的计算和存储更加灵活，同时可显著降低成本。因此，现在Hadoop采用存算分离的架构的趋势越来越明显，Hadoop社区普遍采用S3A客户端来对接外部对象存储。

图表 2. Hadoop趋向于存算分离

资料来源：维科网，中银证券

不同的架构适应不同的规模和应用场景，存算分离优势明显。新型存算分离架构将服务器本地盘拉远构成无盘化(diskless)服务器和远端存储池，同时还通过远程内存池扩展本地内存，实现了真正意义上的存算解耦，可极大提升存储资源利用率。多样化的网络协议。连接计算和存储间的网络协议从当前的IP或光纤通道(Fibre Channel，FC)协议扩展到CXL+NoF+IP协议组合。通过这几类协议组合构建的高通量网络，满足了多种场景池化接入诉求。专用化的数据处理器。数据存储、访问等操作不再由通用处理器负责，而是卸载到专用数据处理器。此外，特定的数据操作可由专用硬件加速器进行进一步加速，如纠删码、加密压缩、网络通信等。通过专用数据处理器，可以释放通用处理器算力，用于服务更适合的场景，显著提升系统整体能效比。极高存力密度的存储系统。分离式存储系统是新型架构的重要组件，作为持久化数据的底座，在存储介质的集约化管理基础上，结合芯片、介质的深度协同设计，整合当前系统、盘两级的空间管理，通过大比例纠删码算法减少冗余资源开销比例。此外，还可通过基于芯片加速的场景化数据缩减技术提供更多的数据可用空间。

3、存算分离较存储一体对比的优势

存算分离架构当前已经在许多场景得到应用。金融及电信等行业核心交易系统、数据库等关键应用通常采用小型机结合高端存储的方式；在企业办公场景下，为满足跨平台企业应用的数据共享诉求，通常采用通用服务器结合文件共享存储(Network Attached Storage，NAS)的方式；在大数据场景下，为实现多业务数据共享，通常采用分析计算服务结合数据湖的形式。多样化的存算分离实践为存储系统带来了数据共享、灵活伸缩等优势。

华为推出存算分离的OceanData分布式数据库存算解决方案。几个小时的数据重构时间，缩短至分钟级，极大提升系统效率和可靠性。华为OceanData方案采用了一种云原生的架构，通过容器和企业级存储的结合，可以做到整个计算侧是无状态的；同时企业级存储也采用了分布式架构，也是一种数控分离的架构，盘和处理单元是分开的，处理单元采用交全交叉互联的方式，与数据盘的资源联系在一起。华为OceanData方案使数据局计算的利用率能够从10%提升到30%左右，成本将近节省一半，机房和耗电能够降低大概60~70%。

4、同有科技存算分离的优势

针对传统的存储架构无法满足用户数字化转型的应用需求，同有科技推出基于存算分离架构的存储解决方案。该方案具有存算分离，降低TCO；数据融合，管理更高效等优势。同有科技的存算分离存储解决方案已成功应用于科研院所、政府部门、金融投资等行业领域。建议关注同有科技。

分布式存储适配存算分离架构，随分布式存储市场占有率提升，存算分离市场空间扩大。

==============================================================================================================================================================

近日，华为在2023金融业数据库技术大会上提出以存强数，存算分离架构助力金融业数据库实现创新与发展。

华为此前推出的OceanData 方案使数据局计算的利用率能够从10%提升到30%左右，成本将近节省一半，机房和耗电能够降低大概60~70%。目前国内能够实现存算分离的公司有华为、同有、浪潮和新华三四家。

存算分离是先进存储的一种重要架构。

工信部、网信办等六部门联合印发《算力基础设施高质量发展行动计划》，制定了到2025 年的主要发展目标，其中重点提出鼓励先进存储技术的部署应用，实现存储闪存化升级。

存算分离是未来存储发展的方向。

海量大数据对存储提出了新的要求，专业存储至关重要。Hadoop 的发展也趋向于存算分离。存算分离相对于存算一体优势明显，因此也在诸多场景得到了落地。

🚀建议关注:同有科技

同有科技推出基于存算分离架构的存储解决方案，该方案具有存算分离，降低TCO；数据融合，管理更高效等优势，已成功应用于科研院所、政府部门、金融投资等行业领域。