登录注册
数据库行业交流纪要10.21
无名小韭95781115
2022-10-23 14:38:53

摘要 :
1. 数据库发展分为四阶段:1960 年 ,1990 年 ,2000 年 ,2010 年是重要分界点。数据库发展伴随业务场景变化而变化。Web1.0以静态数据为主,MySQL数据库可以完成,传统行业Oracle、DB2也可以;Web2.0出现大量的视频游戏等热业务,要求对数据的类型产生更丰富的变化,出现nosql数据库,如Redis、 MongoDB;互联网场景下,出现更多的数据库分类,如时序数据库、图数据 库。
2. 后续数据库发展路线分为向上和向下。向上:发展出更多垂直场景数据库,时序数据库、图数据库。向下:与具体的硬件或操作系统做适配或兼容,提升数据库本身的软件性能。总体来看,数据库要适合多云部署、多云管理、多云的运维和安全。一方面在细分垂直领域出现更多数据库类型,另一方面向下兼容更多的底层硬件能力来提升数据库性能。
3.国内数据库玩家分类。第一类是云厂商数据库,这是主流,各行业都需要的数据库。第二类是传统的数据库厂商,人大金仓、南大通用、中兴等,走国产信创路线。这类是将产品打造成国产信创的适配认证,以买软件的方式去卖数据 库。第三类是开源数据库创业公司,pingcap,高斯数据,tidb,偶数。

交流全文:
1.数据库的发展历史。时间维度:最初是19世纪60年代,被称为软硬件一体 机,软硬件不可分割,需要运行在特定的设备硬件上;20世纪90年代软硬件解耦,逐步分离;2000年以后,开源数据库出现,如MySQL、PG;2010年以后,随着云计算的出现,云数据库出现。利用了弹性的底层资源,实现了单体应用数据库无法实现的架构,如分布式架构、原生架构、存算分离等方式,实现了更大处理量的高速处理,并实现新的场景应用,如NewSQL数据库支持从OLTP数据库到OLAP数据库,再到HTAP数据库。此外还有云厂商产出的软硬件结合的更高性能的数据库,如阿里云的polarDB一体机。
2.数据库的发展是伴随业务场景变化而变化。Web1.0以静态数据为主,没有太多高并发,MySQL数据库可以完成,传统行业Oracle、DB2也可以。Web2.0出现大量的视频游戏等热业务,要求对数据的类型产生更丰富的变化,出现 nosql数据库,如Redis、MongoDB,是为了和前端关系数据库相互匹配,即在业务端利用MySQL,但在MySQL和业务端之间运用Redis和MongoDB去加速,去缓存。互联网场景下,出现更多的数据库分类,如时序数据库、图数据库。

3.数据库开始支持更多的微数据、冷数据、热数据的融合。华为的gaussDB,tidb。即olap和OLTP在融合,融合原因:实时性要求提升。大规模互联网应用兴盛之前,热数据与归档数据分类明显,最多是在归档数据中做olap的分析,再将分析场景同步到OLTP场景中,对实时性要求不高。现在,电商等实时推荐精准营销加大了对历史数据实时分析快速出结果的实时性要求,实现一个计算引擎兼容离线计算与实时计算。

4.存算分离架构:计算引擎支持spark与flink,底层存储是分布式存储节点,实现高弹性。计算节点与存储节点分离,二者之间可以构建加速系统。数据量至少达到PB级。

5.云上数据库国内市场收入规模。2021年第一次云数据库收入规模超过传统行业市场数据库软件收入规模。目前国内国外市场均在同步增长,2025年国内国外将会各自达到3000亿的市场规模。

6.后续数据库发展路线分为向上和向下。向上:发展出更多垂直场景数据库,时序数据库、图数据库。向下:与具体的硬件或操作系统做适配或兼容,提升数据库本身的软件性能。总体来看,数据库要适合多云部署、多云管理、多云的运维和安全。一方面在细分垂直领域出现更多数据库类型,另一方面向下兼容更多的底层硬件能力来提升数据库性能。

7.国内数据库玩家分类。第一类是云厂商数据库,这是主流,各行业都需要的数据库。第二类是传统的数据库厂商,人大金仓、南大通用、中兴等,走国产信创路线。这类是将产品打造成国产信创的适配认证,以买软件的方式去卖数据库。第三类是开源数据库创业公司,pingcap,高斯数据,tidb,偶数。

8.按照数据格式分类分为结构化数据库、非结构化数据库与半结构化数据库。结构化数据库指关系型数据库,非结构化指文档型、键值型的视频、文本数据库。

9.面向传统行业输出的数据库。在2019年以后,公有云增速下降,更加关注产业互联网时开始兴起。如时序数据库、流式数据库、图数据库以及内存数据库,包括走数据湖路线的易华录蓝光存储、湖仓一体。

10.企业选择数据库的标准。不同企业看重不同的维度。互联网企业看重性价比,注重整体运维方便和低成本,架构是相对简单的三层架构:前端访问层、中间业务处理逻辑。很少使用自己的数据库,均使用云厂商提供的数据库,如MySQL、SqlServer。传统企业更多的是在本地构建私有云。

11.国内数据库仍然以Oracle为主,不容易用其他数据库替代。原因:Oracle已经衍生出众多行业应用,对数据库进行了深度集成。简单替换数据库并不可行,涉及很多上层应用的改造,可能会造成业务不稳定的基础风险。目前国产信创更多是政策信创,每年完成信创指标,逐步取代。

12.国产信创是自下而上,而不是自上而下。更多是从底层操作、芯片级、存储级、操作系统级,再到数据库级,最后是基础软件和配套中间件软件。范围由小扩大,先选择影响较小的系统去做信创,慢慢做核心系统信创。

13.传统行业选择数据库的指标。可靠、可用、可信。包括稳定性、可用性指标以及可信安全,需要通过一些安全资质认证、自主可控认证,性能是否满足实时性分析。最后是后续的维护和支持指标。因为数据库并不是短时替换设备。

14.传统行业数据库市场份额仍然是Oracle占据很高比例,40-50%。不同行业具体比例不同。

15.国内数据库行业两个途径。开源、商业化。很少有不开源的数据库。需要在细分行业数据库中做大而全的数据库有可能实现。如涛思数据库,做工业物联网领域的时序数据库,全世界排名34,针对时序数据库领域很有优势。

提问环节:
Q:技术层面,分布式数据库能否在功能上完全替代集中式数据库?
A:功能上是完全可以的,性能上会更具可扩展性和弹性,同时资源利用率更高。但集中式数据库也非全无用处,可以针对数据非常的特定场景做流式处理和批处理,固定场景下集中式数据库相比分布式数据库性价比更高。除此之外,集中式数据库在强一致性方面优于分布式数据库。

Q:分布式数据库有四五家厂商竞争,是否可以理解为未来不再会有厂商进入分布式数据库赛道?
A:不是。关键要看如何提供数据库。分布式架构数据库针对特定场景,如时序数据,服务于特定场景数据类型,性能最高,吞吐量好。

Q:如何界定一款数据库产品时自主可控的?
A:自主可控:基于开源框架进行二次功能开发,不购买其他任何第三方的授权,后续的升级维护与定制开发自由。

Q:数据库领域的厂商在极端情况下的自我生存能力如何理解?
A:第一要有至少三个副本节点,不能丢失数据库的数据。第二一旦数据节点出现运行宕机的情况,上层要有管理的控制调度机制,实现高可用。

Q:一旦中美交恶,开源协议中止,基于MySQL与基于PG的迭代失去专利保护,在这种极端情况下,我们国家哪些产品具有自我生存能力?
A:阿里云的mariaDB以及DorisDB,虽然是开源,但是授权协议在中国人手中,因此是自主可控。除此之外,达梦和华为高斯DB以及人大金仓也是完全自主可控的,但南大通用不是自主可控。

Q:技术层面看,国产数据库目前处于国外数据库哪个阶段的水平?能否点评一下国内数据库各自所处的阶段并对他们进行排序?
A:技术层面来讲,国产数据库并不比海外差,包括一些测试指标在国际排名也很考前。大家之所以觉得国外数据库占主导是因为国外数据库发展时间早,覆盖大量客户群体,并且做了深度集成。这种在绑定上层应用场景生态的情况下,数据库替换并不是单纯看技术和功能指标,更注重能否提供一套完整的软件体系帮助迁移,目前没有数据库厂商可以对此进行保证。
国内分布式数据库排序:第一梯队是阿里的analyticDB,polarDB,oceanDB,oceanDB是国内唯一有希望去替代Oracle的国产化数据库。第二梯队是高斯DB和中兴的goldenDB。第三梯队是腾讯的TDSQL和TBase,第四梯队是tidb,可能跟腾讯的TDSQL不相上下,甚至可以说TDSQL抄袭了tidb一些底层核心组件能力。其余是偏数仓的偶数等。之前所说的达梦、人大金仓以及南大通用更像是集中式数据库。

Q:数据库国产率是多少?一些数据库在和银行等机构合作,目前进展如何?
A:数据库国产率:不到20%,甚至可能更低。做国产数据库涉及到很多方面,首先是底层要有操作系统芯片适配,之后要针对上层应用生态数据迁移,迁移后格式转换,对接上层应用系统,之后是自运行模拟,检查是否有数据丢失错乱以及编解码错误。乐观估计全部流程需要至少半年可以完成。

Q:国产数据库去做银行核心数据库是否可行
A:五大行核心数据库仍然以Oracle为主,90%以上,另外10%是开源的关系型数据库。具体要看业务。稳态业务在Oracle,TOC的业务在关系型数据库中,如互联网金融等。

Q:非关系型数据库未来是否有可能超过20%的市场占比?
A:未来非关系型数据库会超过20%的市场占比。2019-2021年数据库营收中关系与非关系数据库占比来看,非关系型数据库占比在逐年提升。说明趋势是非关系型数据库,因为非关系型数据库代表智能驾驶等未来趋势,2030年,关系型数据库可能仅占比40%,非关系型数据库占比60%。

Q:国产数据库面临闭源风险,若从头开始自己做,存在何种技术难度?
A:国内巨杉数据库在做多模数据库,针对闭源风险,使得数据库前端计算引擎兼容多种语言,一旦MySQL闭源,可以迁移到多模式中进行扩展。

Q:若不采取兼容海外开源数据库的做法,真正从头开始开发,性能方面是否能做到与海外开源数据库齐平?
A:基本很难。数据库是承上启下的过程,需要运营在下面的操作系统之上。无论是接口还是生态软件均需要适配,并不是一劳永逸的开发。例如华为ARM架构64位芯片,性能比x86同种规格性能还要强,但是需要运行在x86架构上,若突然换到ARM架构需要进行很多改造。

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
海量数据
S
宝兰德
S
宝信软件
工分
4.26
转发
收藏
投诉
复制链接
分享到微信
有用 4
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(4)
只看楼主
热度排序
最新发布
最新互动
  • 只看TA
    2022-10-23 21:59
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2022-10-23 17:36
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2022-10-23 16:23
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2022-10-23 14:52
    梭哈梭哈梭哈
    0
    0
    打赏
    回复
    投诉
  • 1
前往