华为存算分离技术-韭研公社

登录注册

华为存算分离技术

道与术抓妖

2023-10-19 20:17:20

华为存算分离专家交流时间：2023 年 10 月 19 日本次会议邀请华为存储领域的专家进行了充分的交流。

存算分离技术介绍：

数据处理需要计算设备和储存设备。传统存储是存算一体的部署策略，数据在本地盘，好处是数据离 CPU 比较近，能够快速读写数据；坏处是计算和存储资源绑定，不利于在大数据时代的数据管理。而且可能出现可靠性问题，因为计算存储都在一起，所以服务器出问题导致数据出问题。数据存在本地盘一般采取一主多备，如果要保持数据一致性，需要许多数据同步工作。存算一体的缺点： 1）可靠性不行；2）同步程序复杂；3）资源消耗大；4）数据利用效率不高。存算分离是大势所趋，常见的计算由服务器完成，数据用外部存储，通过集中式、分布式或其他形态，特别在大数据、AI 时代的数据量膨胀很快，所以采用分离架构。在分离结构下，计算和存储都可以按最优的形式进行，比如计算做集群或分布式计算不用考虑数据储存问题；数据也可以按最有利的方式去存储，结构化、非结构化、分布式的各种形式，按照数据读写的效率提升，降低资源的占用，提高数据的安全性等最有利的方式去做。

优点：可靠性提升、资源灵活分配、专业级容灾，数据复用。

典型产品是企业的外置存储设备，现有主流的厂商有华为、浪潮、同有、新华三。

Q：存算分离技术难点？以前为什么不用？

A：以前数据量小，存算一体比较方便，计算和存储很近，且集中式架构简单。存算分离的难点：1）数据量需要外置，访问数据需要网络，早期网络带宽较低，网络没有服务器内部总线速度快，外置读写效率较低；2）存储介质不如现在 SSD 的性价比，以前 SSD 很难做到规模化，只有最热的数据用系统盘，大量的数据使用机械硬盘，导致可靠性问题。外置机械硬盘会有故障率，规模化导致整体可靠性降低；3）当时没有使用 MPP 分布式架构，包括大数据 Hadoop 架构可以支持操作更大的数据，在数据到 PB 以后必须存算分离，进行层层分离，专人管理。

Q：冷数据是否才进行分离？热数据仍然一体管理？

A：对。数据一般分为冷热温三种，最特别的数据一般放在服务器内存里，甚至在 CPU 的高速缓存层操作。温冷数据更推荐存算分离，放外置存储设备里管理。随着热数据膨胀到一定规模，服务器内部的高速缓存能做到 T 级别。现在也有热数据采取外置，依赖于提高访问的速率。比如，内存直接访问 RDMA，虽然外置数据，实际可以接近 CPU 直接访问内存的效果，保证数据访问足够快。整体来说，最热的数据还是离 CPU 最近，搁在高速缓存或者内存里面，再其次放在服务器附带的闪存盘，再其次是硬盘。

Q：随着分布式存储的市占率提高，存算分离是不是更适合分布式存储？

A：分布式存储必然存算分离，集中存储更方便进行各种数据的管理，但是带来扩容问题。只有分布化才能做的更大，不需要通过系统。分离架构可以考虑并发的操作，读写更大规模的数据。在数据爆炸的时代，必然是存算分离。

Q：存算分离场景？

A：数据库，早期是存算一体，现在都分布式化了，比如金融行业，现在改造由集中式向分布式改造。大数据，规模更大，传统数据库是 TB 级别，大数据一般是 PB 级别。使用存算一体会造成大量计算资源浪费。

云计算，云化数据包括客户数据和自身虚拟化数据，数据和虚拟机绑定，所以必然分离进行管理。高性能计算 HPC，数据量很大，需要根据数据密集程度进行分离。 Web 应用，将前端客户应用操作和后端数据进行分离。

Q：拆下产业链和玩家？行业难点在哪？

A：有华为、浪潮、同有、新华三，难点是技术门槛比较高：1）存算分离架构，需要通过软件、硬件构成整体的效率、稳定性、可靠性，需要很多年的研发经验和技术积累，需要对介质、存储协议、芯片、算法需要全面的了解。需要长期的积累才能做到最优状态。有的玩家会研发控制芯片和介质芯片，提高产品的自主可控能力与自身架构达成最优的效果 2）算法，偏向软件层面，比如落盘算法，数据读写就是效率、可靠性、稳定性，把性能波动对业务的影响，降低到最低，这里面有很多算法。需要很多技术积累。全产业链的厂商更能做存算分离的设备。比如，同有面向行业的产品做到最优，在军工，保密行业存储，独有的加密算法也很讲究，也能在细分市场做到极致。

Q：存算分离市场空间？

A：企业外部存储中国市场规模大概 600 多亿，每年增长大概平均 20%。

Q：如何评价华为的产品？

A：金融行业由于数据量膨胀，需要对数据库改造，用国产化分布式数据库，通过存算分离可以提高整体的能力，可以满足金融核心数据库演进的需要。华为、浪潮、同有、新华三都在做这类的研发。

Q：存储增量会提升吗？

A：是的，随着数据的膨胀，对应存储设备必然增长。比如金融行业的很多银行数据基本上要 50 年以上，意味着市场一直在增长。市场增长意味着可以卖更多的存储设备和更多的存储介质，像金融行业为代表的行业，越来越多用国产化的自主可控的存储的设备和介质，对厂家都是利好。国内存储领域在政府、金融、教育、医疗，还有央国企和运营商，也有很多机会。包括信创工程也有更多的机会，必须进入国家相关名录，比如同有。存储介质也要国产化忆恒、长江、紫光也都是受益的。

作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

同有科技

工分