海量数据 AtlasDB：把“数据库好用”这件事做到
导语：坚守初心、不辱使命，近期海量数据研发的企业级数据库AtlasDB获得了市场的普遍关注。这款以“好用”著称的国产数据库产品，不仅承载着海量数据公司对技术创新的坚持和投入，更凝结着一群拥有“工匠之心”的数据库人对用户的无限敬意！当前，我国在信息技术应用、大数据分析等技术领域已跻身世界前列，但由于数据库和上下游技术构成了难以分割的兼容生态，突破它需要人才、技术、产品的不断积累和打磨，所以数据库的研发是一场持久战，更是一项立体化工程。从12年前开始，海量数据就在积蓄各方面力量，为今天、为未来的数据库技术角逐做准备。12年坚持专注数据，不断积累实践经验，经历大量场景验证，为了交付更安全、可靠、有质量的产品，海量数据一直在追求，寻找佳的用户体验。如今，海量数据已服务超过2000家企业客户，成功在沪市主板上市，“提供好用的国产数据库”是公司一直以来的使命。近日企业级私有云数据库AtlasDB的发布，代表着海量数据的技术能力已走向规模化扩张阶段。那么，这款好用、成熟的数据库产品是如何炼成的？不久前，海量数据的几位核心成员向笔者分享了这家公司的成长历程，介绍了AtlasDB的诞生之路，以及背后的研发故事。在被誉为基础软件“皇guan上的明珠”的数据库领域，海量数据深耕十数年，坚持走自主研发、创新发展的道路，积累了广泛的客户基础。在服务市场的过程中，海量数据发现，用户使用数据库仍然面临着一些现实挑战：首先，用户对数据库的配置不合理。存在商用数据库被“大材小用”的情形，也有国产数据库冒进替代的现象，还存在使用场景不对、使用数据库种类过多以及选用的数据库产品和用户自身技术能力不匹配等问题。其次，用户的使用体验欠佳。一些国产数据库内核过于老旧，性能和功能差强人意；有的产品兼容性较差，让用户被迫改变使用习惯；一些产品稳定性不足，容易出故障，出了故障后，又很难得到及时解决，造成不可逆的损失。其三，用户数据库的迁移风险非常高。数据库迁移是一个多方配合的过程，遍布风险点，如何选择既熟悉原有的数据库系统、又能对全过程负责的合作伙伴，同时使用有效的迁移工具和迁移方法论与数据库产品做配合，成为用户的难题。“国产数据库要走出自己的路，就要站在用户的角度思考，围绕用户的痛点‘开药方’。” 海量数据公司总裁肖枫认为，“数据库产品‘好用’是位。”为了让用户获得“好用”的体验，海量数据基于开源数据库技术，研发了云图数据库产品家族——AtlasDB，专注于打造企业级私有云数据库，主要产品包括：AtlasDB T1、AtlasDB T2、AtlasDB N1等。之所以选择开源数据库技术，是因为开源产品拥有全球广泛的用户群体，在全球用户系统的打磨下，已培养出良好的用户习惯。另外，开源社区集结了全球数据库领域的“大神”，的开发者和用户的智慧源源不断地汇入其中，使产品迅速得到优化，能紧跟先进技术的步伐，实时更新。在现阶段，把好用、稳定的数据库产品带给客户，是海量数据的考虑。同时，海量数据也同期研发了拥有完全自主代码的数据库产品，适用于特定用户需求。AtlasDB T1是海量数据推出的新一代关系型数据库系统。产品稳定可靠，可提供诸多专属领域特性，目前已经在几十个用户，超过百套的系统中运行，经受了考验。AtlasDB T1具备出色的兼容性，兼容多种操作系统、CPU、开发语言和外部数据源。重要的是，兼容国外主流商用数据库，支持Oracle和MySQL专有特性，在语法、数据类型、系统函数、数据字典、数据库对象、编程接口等等方面均可以高度兼容。AtlasDB T1自带一键迁移工具，能够帮助客户实现平稳迁移。一键迁移工具可以提供工作量预测报告，能自动实现数据对象移植与数据迁移，大幅减少项目周期，实现快速而平稳的数据库置换。同时，双向同步复制功能可以在切换上线后追平两套数据，实现新老系统同步并行，在试运行后，原库功成身退，免除后顾之忧。AtlasDB T1对HTAP混合负载场景支持，通过OLTP+OLAP组合，打破了大并发事务处理场景和实时分析场景之间的“墙”,支持更多“实时业务”的分析决策，例如有效帮助金融业迅速实现风控、授信等实时分析后即时交易的需求。AtlasDB T1可以通过空间、时序、图形、流、文档等多模引擎，为特定用户提供专用领域的支持。例如航路拟合、轨迹跟踪、科研监测等功能，适用于国土、住建、交通等行业内常见的ArcGIS等系统。AtlasDB T1具备增强型安全和智能化能力。在安全方面，补充了增强型身份鉴别、强制访问控制、数据透明加密、安全审计四大模块，为数据库的安全性保驾护航。外挂的智能运维组件可以帮助数据库自动优化参数和自动清理碎片。值得一提的是，在日益增长的人工智能应用需求下，AtlasDB T1通过将主流的人工智能算法整合到数据库内部进行贴源层的数据运算，能够大幅提高AI应用的计算性能、降低AI算法的使用门槛。除了产品本身所具备的亮点，海量数据背后的研发体系，也同样引人关注。“打造‘好用’的数据库，离不开强大的技术实力、卓越的研发人才和大量的资金投入。在成立的十多年时间里，海量数据一直不遗余力地加大技术、人才的投入，”海量数据公司副总裁、创新实验室总经理韩涵博士表示。对于如何让产品变得更先进、更符合客户需求、如何做新技术的探索和研发，海量数据经过长期的思考和反复实践，逐步摸索出“前台-中台-后台”联动的“三层研发”体系，让研发组织架构变得更富弹性，避免因过深地融合开源技术，出现开源技术不断迭代升级，而产品的本体却跟不上的现象。“三层研发”模式更像是一种模块化、流程化的研发机制，环环相扣，逐层关联。层是前端技术人员，包括产品工程师、销售工程师、驻场工程师，负责做产品的代码维护、技术服务，并采集客户需求，同时把信息传递给第二层人员；第二层是产品研发中心，负责产品研发，再根据客户需求对产品本体功能进行丰富和增强；第三层是创新实验室，针对各产品线通用的、共性的基础问题、前沿问题，如安全、云化、AI问题等，为各条产品线做通用组件。“三层研发”模式是在海量数据原有的两层研发结构的基础上，将做基础性技术研发的人员剥离出来终形成的。这样，用户侧需求可以快速反馈给产品端；产品端紧跟开源技术迭代更新，不断打磨产品易用性、稳定性；而创新实验室可以联合更多的科研机构，在基础技术和通用组件方面不断研发和应用更前沿的新技术。“前台-中台-后台”联动，模块化、流程化的研发机制，能够汇聚用户-工程师-科学家的共同智慧，高效地利用研发资源，更快速地完成产品迭代，不断紧跟前沿新技术变化。除了产品和技术实力，发力国产数据库，还有重要的一点，那就是不能“差钱”。海量数据创立于2007年，2017年在上海证券交易所主板上市，股票代码为603138.SH。十几年来，海量数据在数据技术洪流中不断踏浪前行，其背后的资本实力也在阶跃发展。“海量数据库产业专项基金成立的目的，是希望通过并购、孵化、投资三种方式，助力公司数据库业务实现跨越式发展。” 海量基金创始合伙人透露，除了自研能力，并购、孵化和投资是海量数据支撑数据库业务发展的三股重要力量。未来，海量数据会选择国内外与公司现有业务相似的数据库企业作为并购标的，在技术方向上会把PG、MySQL、NewSQL等作为重要关注对象，从项目来源上，会从全球数据库领域排名50到150名公司中筛选。与此同时，海量数据会在数据库领域的安全、云计算、AI等基础技术层面做孵化，实现在数据库领域当前领先的技术方向上，不断加强现有研发团队的技术能力和创新实验室的创新力度。海量数据做数据库投资与普通的基金公司不同，投资的终目的一是早期介入优质项目，为未来的并购做储备，二是扩大合作伙伴规模。通过在图数据库、IOT数据库、GPU数据库等方向的拓展，对数据库业务进行更广层次的探索。如果说优质的产品、强大的研发实力和雄厚的资金，已经让“打造好用的国产数据库”这件事成功了一大半；还有一点特别重要，那就是核心团队的领导力。海量数据高管团队均来自国内外机构，非常多元化，核心研发成员来自Oracle、IBM，他们构成了海量数据的中坚力量。海量数据公司总裁肖枫在大学时就与数据库结下了不解之缘。后来加入Oracle，数据库成为了他二十多年来一直在耕耘的领域。在多年从业生涯中，肖枫曾经历过“惊心动魄”的数据库故障。一次，客户的客服数据库系统宕机，在长达50多个小时的时间里，全公司的人忙成一团，一起找数据恢复点，可是故障仍在升级，每秒损失都在扩大，客户那时绝望的眼神，至今历历在目。数据库故障带来的不仅是企业的财产损失，还有致命性的商业声誉损失。加入海量数据后，肖枫认为，做数据库是艰难之旅，必须严肃对待，没有敬畏之心的企业或者个人，好不要做数据库。海量数据公司的副总裁、创新实验室总经理韩涵是清华大学电子工程系博士、哥伦比亚大学访问学者。博士毕业后，韩涵一直从事大数据领域研究工作，见证了技术的周期性变革，亲历了新技术从诞生到商业化运行的过程，她带领着创新实验室团队，为数据库技术的发展和突破创造更多的可能性。海量数据研究院副院长黄晓涛，在数据库领域拥有18年的工作经验，曾任职于IBM。他熟悉Oracle、PostgreSQL、IBM DB2等主流数据库，AtlasDB T1的核心部件就是由他带领的团队进行研发和设计的。作为海量数据的定海神针——海量数据公司董事长闫忠文博士，是科技领域的专家和领导，他获得过诸多荣誉，曾获得军队科技进步二等奖一项，国防科技进步三等奖一项。曾在中国空间技术研究院、中国东方红卫星股份有限公司等担任要职。海量数据聚集了众多在IT领域工作多年的人才，拥有省部级企业技术中心和遍布的技术服务网络，在数据库整体解决方案，软、硬一体化解决方案，云化资源整合，数据库+存储等方面，均拥有经验丰富的团队。有了“天时、地利、人和”，还有后一道难题，那就是如何去打动用户？对于一个国产数据库品牌，如何赢得客户信任是大挑战。但是海量数据贵在“少说多做”，正是这样的品质，让这家企业赢得了用户的信任。以深圳市政府为例，当前深圳政务云的建设，在PaaS层，数据库是重要的一环。在选择数据库产品时，在安全合规的基础上，对可靠性、可用性、生态圈健全度、解决方案灵活性、技术保障能力等方面，均有严格的要求。当前深圳市各局委办应用系统有相当一部分运行在Oracle数据库之上，要实现有计划性地逐步技术创新与云化改造，所选择的数据库产品对Oracle数据库的兼容性是重要的考量因素之一。除此以外，政务云数据库产品在对容器环境的兼容性、对多租户模型的适配度、对各局委办多种应用开发技术与数据模型场景下的通用性、基于国家党政军信息化安全相关准则的合规性、生产商技术实力、产品研发投入的持续性等多个维度上，都需要进行仔细比较、慎重选择。值得一提的是，深圳政务云平台在数据库产品方面的选择极其慎重，并不想要做个“吃螃蟹”的人。为了验证国内外各数据库产品的性能以及与深圳市政务云实际需求的匹配度，特意走访了一些用户，后都证明海量数据是靠得住的选择。除了企业实力、服务支持能力、研发投入延续性，以及产品对Oracle兼容性、可靠性、通用性、合规性、成熟度这些基本要素，海量数据还有很多其他品牌不具备的优势。比如：有能力规划低风险、低成本、平稳迁移方案，能够提供一键式工具自动化地完成迁移评估、工作量预判、对象转化、数据校验等各个环节，能在上线试运行关键期提供可回退的保障方案等。同时，海量数据通过本地化、专业化的数据库技术专家团队提供全方位、立体化的数据库全生命周期技术服务保障，为各局委办的应用系统上云工作提供更强的信心。所以，用户的认可，是海量数据好的品牌宣传方式。多年来，海量数据从未把精力过多地放在市场推广上，但是在数据库领域的实际市场占有率，不仅不输于其他国产数据库品牌，还凸显出很多后发优势。打造国产数据库品牌之路道阻且长，而海量数据立足技术，坚持以用户利益至上，稳扎稳打地做“好用”的数据库产品，终于万丈高楼平地起。通过技术、人才、资本等优势的多力合一，海量数据励兵秣马整装待发，将在数据库领域做出更大贡献，在数据技术角逐中赢得未来。