和平空天科技产业集团探索新一代数据库新闻 / 2021.10.21
红色间隔
2021年10月21日,和平空天科技产业集团高管及IT专家,在北京与国内顶尖数据库专家进行了深入的交流。
众所周知,在改革开放的40-50年里,我国通过刻苦的研发以及逐渐成熟的商业化运作,在IT的很多领域都获得了长足的进步,特别是在各种应用领域,例如互联网电商、电子支付、社交媒体、游戏等消费类应用,以及电子政务、物流、人工智能等应用领域,可以说已经站在世界的前沿。
但是2019年的华为事件,以及由此事件所引发和揭示的中美两国之间的各种高科技领域的摩擦,深刻地挑战着我国对IT领域所谓“关键技术”掌握程度的认知,以及对“关键技术”的依赖性的更深程度的认识。
据该数据库专家的观点,数据库、数据仓库及其他一系列数据管理产品一直是信息化的最重要的基础,也是数字化转型最关键的技术。不夸张地说,“IT(Information Technology)”中的“I”几乎可以等同于“数据”。数据管理相关软件产品及技术一直是信息技术的核心,而这个核心技术一直掌握在少数西方公司,特别是美国公司手中。如甲骨文公司的Oracle数据库,微软的SQL Server,IBM公司的DB2等著名数据库软件一直引领着数据库技术发展的方向,掌握着重要的数据库开发者生态,这也是这些公司一直把持着企业级用户的IT采购命脉的原因。在云计算充分发展、充分竞争的今天,如谷歌、亚马逊等公司发展出了类似Spanner、Redshift、Dynamo DB等新型云数据库,以及各种开源NoSQL/NewSQL类型的数据库,如Cassandra、MongoDB、Redis、SnowFlake等,都在某种意义上挑战着,甚至在颠覆着过去数据库市场的格局。与此相比,我国IT企业的数据库/数据管理产品的能力,以及生态的影响力,和国际先进水平仍然有着比较大的差距。这和我国市场人口多、经济活动量大、数据量大、数据种类复杂、对数据要求复杂等现实需求相比,形成了巨大的剪刀差,也暴露出我国信息化技术栈中亟待解决的短板。
我国目前的数据库在传统的OLTP/OLAP方面仍然存在相当程度的差距,即使我们认为这种“传统数据库”已经过时,现在进入了新一代“HTAP”、“数据湖”、“数据中台”、“数据服务”,甚至“云原生数据库”等技术时代,我国自主可控的数据库技术仍然在产品能力、软硬件的配合程度、开发者生态丰富程度、健壮程度等都有巨大的差距。而未来的方向会往哪个方向发展?中国数据库技术存不存在弯道超车的机会?如果中美两国的技术脱钩加深,中国的数据库依赖问题如何解决?该数据库专家称,我们现在瞄准的是真正的新一代数据库。在深入地分析了数据库技术的发展历史和发展方向之后,我们认为新一代数据库一定需要具备以下几个重要特点:
1. 超越云原生:从根本上适应云计算的发展方向和特点。现在的云计算已经进入了一个更深入的混合云时代,无论哪一家云商都不可能在架构层面简单胜出,或者在市场上形成简单垄断。在未来的15-20年内,混合云架构下的云原生数据库必然是一个大方向。然而如何超越“云原生”数据库,让数据库可以在真正的“混合云架构”下自如运营、自如调度,充分自由地享受所有云计算的好处,而不被任何一家云商绑定,成为未来数据库技术的一大架构要点。
2. 超大规模分布:“分布式数据库”一直是数据库界的一个难题。但随着Facebook/微信/苹果iCloud等全球性互联网应用的到来,全球性/全国性互联网、云计算类应用对数据的发布提出了全新的要求。不仅要求数据在全球范围内合规分布,而且要求在如此大规模的分布式数据库中解决数据的一致性问题。从而对数据库的能力提出了更高的挑战,从传统的ACID理论、CAP理论,到后来的BASE理论,分布式系统同步也发展出Paxos协议、Raft协议等优秀的算法来解决超大规模分布式数据库的一些重要的关键技术。但是如何解决大量我国互联网及企业应用场景中的跨地域、跨云商、成百上千个节点的分布式数据库,是真正应对超大规模分布式场景的关键技术。新一代数据库必须要在超大规模分布的前提下解决数据一致性的问题。
3. 超高可用性:过去大中型企业提出的“高可用性”挑战基本上在“集群/IDC/两地三中心”等技术层面得到了比较好的解决,数据业务对数据超高可用性的要求正在进入“5个9,6个9,甚至‘Always Available’的时代”,如何从技术架构层面提供一个真正“永远可用的数据库”将成为数据库产品之间的重要比拼技术点。
4. 超低时延:大量新一代的基于IoT设备的数据应用使得数据的量及发生频率又上了一个新台阶:又要超大规模发布、又要超高可用性、还要求超低时延,似乎是不可能完成的任务,然而,这一定是新一代数据库的重要特征。
5. 超级安全:互联网应用的发展让我们看到了大数据的威力,也看到了大数据的危险,如果数据安全不能得到保障,就可能出现数据越多、危险越大的局面。特别是随着我国企业越来越多进入到国际市场,国际领域中的数据安全将成为全球技术竞争的一个要点。我国必须有基于国密机制、全球领先的安全数据库技术。
6. 超级灵活:未来的数据库在使用上将要更轻灵、更个性化、更实时,针对开发者的各种API接口,现在的各种API不仅都要支持,更要有轻灵的机制接受未来可能的各种API,使得开发者可以灵活、轻便、快速的开发应用。
7. 超级易管理:IT界一直有一个现象,那就是计算机语言3-5年一流行,没有哪一个语言真正占领开发者的桌面。这也是近十年来,IT行业给人以更新换代快的印象。然而数据库技术近十年来一直大量依赖经验,经验丰富的数据库管理员(DBA)/系统管理员(SA)仍然是IT发展的“重器”。但是目前,企业对这一层人员的重视程度严重不足,很少有企业有专门的DBA/SA,导致数据库的使用水平比较低。数据库使用和管理的难度成为企业信息化的一个阻力,新一代数据库必须在这个领域进行颠覆性的突破,实现高度自动化运维。
数据库专家表示,具备这些特性的软件是否还能简单称为“数据库”可能都存在争议。但其实是否叫“数据库”也许并非最重要,最重要的是现在规划的新一代国产数据库产品一定会具备以上的全部/大部分要点,并且要以产品公司的方式发展,小步快跑、快速迭代、不断完善。从客户场景发现需求,并且产品回到市场获得最终验证,最终实现国产数据库的蜕变。这是时代给我们的挑战,也是时代给我们的机会,我们一定会抓住这个机会,为中华民族伟大复兴做出我们的贡献。