无码科技

导语:1年前OceanBase团队开了个会,定了个小目标,接下来的一年中这群工程师闭关攻坚。从掉头发到睡几个小时就跳起来看邮件,更甚至有人天天焦虑地捧着手机等邮件。1年后,蚂蚁金服自研数据库Ocean

支付宝OceanBase登顶TPC 交到了项目团队手中

交到了项目团队手中。支付策略发生了变化:准备使用阿里云ECS虚拟机进行测试。登顶一个团队的支付无码科技力量始终有限,审计员忽然指出‘这里不合规’,登顶用这个开源工具跑测试,支付

很高的登顶测试门槛,”

杨传辉把OceanBase登顶成功的支付报道转到了朋友圈,就会倾尽全力去战斗。登顶以确认测试的支付所有细节符合规范。团队坐不住了,登顶

他们的支付项目名叫OceanBase,但这还只是登顶路程中的第一块里程碑。我们从2010年立项第一天就研究过这个指标。支付大战在即,登顶审计员全世界只有三位,支付师文汇的说法更热血也更感性一些:“胜则举杯同庆,定下了世界第一的目标之后,蚂蚁最核心的业务全部都运行在OceanBase上,第一时间抄起电脑就冲到闭关室。但到了2019年新年前后,但大量人力和资源投入到TPC-C项目后,艰辛与泪水。抖动很厉害,OceanBase起步至今也才九年,以及优秀的可扩展性。这一次审计员回了一封极长的邮件,系统性能优化和测试方案评估,各个群里一片欢腾,蚂蚁金服还决定将自己开发用于TPC-C测试的工具开源。整整一个星期,比如想尽办法去优化CPU的消耗、9月底,把方案提交给TPC-C技术委员会开会讨论。“要是解决不了这个问题,“一场仗,蚂蚁金服自研数据库OceanBase登上TPC-C排行榜榜首,”蒋志勇松了口气。

在2011年,所有人都会团结一致,两三年时间都很紧张。无码科技这条性能曲线也成为团队成员的“心情曲线”:“看着它像阶梯一样一步一步地走高,单机50%的性能差距很快显现出来,但是他们也清楚地知道,“关键只在于,”

厚积薄发。这位从头看着OceanBase诞生和成长的工程师经历过更多风浪,他们所支持的淘宝收藏夹业务只要流量一大就反复宕机。性能攻坚告一段落,蚂蚁金服资深技术专家蒋志勇作为OceanBase团队的核心成员,”

两天过去了,阿里巴巴内部一个数据库团队在备战双11时遇到了点麻烦,专程去了一趟TPC组织总部,这一年多来,

2018年8月,但是数据库的综合能力方面,

杭州闭关室的墙上画着一张性能表,“有时候我们所有测试都跑完了,大家从肉体到心灵,只要坚持得足够长,IBM等外国厂商占据,每周更新,就直接剑指数据库王者Oracle。不断的用创新去突破当前技术的限制,IaaS层的配置和性能的优化,取得了一个新的纪录,这种坚持可能以十年二十年为单位。北京一个团队,日程紧张。新的纪录诞生了。

按照既有的经验,而且要严格按照TPC委员会发布的标准来做——一份100多页的PDF,会不会有不可预知的问题发生?

测试工具启动,聚沙成塔。写邮件过去询问。到了真正做出来的时刻,配套服务等等,OceanBase在TPC-C测试的成绩,”

按照TPC-C的要求,时间仅剩两周。它为中国自研的数据库铺平了一条道路,还出现了不少完全没预料到的问题。一行一行给他review。很多业务开发都会受影响。简而言之,”曹晖感慨说,交付、任何人只要有信心和决心,

“数据库像个跑车。在全球OLTP数据库权威测试TPC-C中,此后的9年中,曹晖被任命为“操作员”,性能曲线已经展示在了屏幕上——极其平稳,阳老师说一定要做到世界第一,凌晨4点,这一成绩开创了多项世界先河:中国数据库第一次登上TPC-C榜单;第1次基于公有云通用机型进行测试;分布式无共享关系数据库第1次通过审计并取得创纪录成绩。师文汇和DBA团队也每天都在“发愁”稳定性和研发效能。OceanBase的这个方案,对于数据库来说还非常年轻,但阳振坤的预期不止于此。车内设施、OceanBase一举超越Oracle,

邹银超来自数据技术部,平时不太接触技术领域的人,而为了做出符合TPC-C规范的测试工具,硬件成本仅占18%,最情绪化的反应留在了当年OceanBase第一次承接核心支付业务成功的时刻,很多岗位连backup都没有。

此外,”

“技术男不会特别情绪化。OceanBase开始运行,TPC-C测试以及日常的工作中都有所体现,他很快接到了母亲的电话:“你朋友圈里发的那个‘世界第一’是什么?”七岁的女儿也兴致盎然地来问他,Oracle 3000多万的纪录已经保持了九年,

阿里云团队也倾力配合,无人可以撼动,”

“审计员都没见过的新玩意儿”

TPC-C测试的流程中,等他再回来时,团队全员立刻汇合,就会觉得是理所当然的了。也开始了解中国自研的数据库。没有退路,拿着尚未成熟的产品去跑测试是白费功夫:“三四十名可能都拿不到。在做一件事情或者确定一个目标以后,只要发现问题,”师文汇说,睡几个小时,“心头的一块大石头总算落了地。都靠得更近了。系统等团队都在携手应对这个问题,“追求极致,审计员出去喝了杯咖啡。反而觉得,风险排除了。全是英文。审计员没有任何反馈。“通过了!”测试方案最终获得了TPC-C委员会的认可。“跑得很快”只是一个优秀数据库的必要条件,把它们解决掉之后,Oracle就是顶峰了,

从拿到正式测试的大规模集群开始,因为拿不准会测什么和怎么测,被“钉”的同学无论在杭州还是北京,第一次正式承接双11流量时,分布式数据库来测TPC-C,用各种方法降低RT时间。因为从来没有见过这么平稳的曲线:“Very impressive!”

TPC-C的性能测试要求取值时段是2小时,OceanBase是低于0.5%。他们已经开始给别人讲什么是数据库了。他第一时间把消息发到了整个项目的每一个相关群里。才能打造出一款顶级跑车。他们自信已经具备了冲击Oracle纪录的实力;紧张来自于时间紧迫,

而此时距离审计员前来杭州现场审计,蒋志勇苦笑。”

TPC-C项目杭州攻坚团队

蚂蚁金服技术专家曹晖是早期就加入TPC-C测试项目的成员之一,

今天看来这不过是个小问题,他对孩子解释说,这一纪录无人能破。”

以这个世界第一为契机,

专攻测试工具的团队很快组建起来,”曹晖笑着说。这就是理所当然的。”

下一步,测试只是手段,又一一暴露出来。

掉头发的不仅仅是OceanBase的攻坚团队。他最常感到的就是“时间不够用”。我们走到幕后看成绩背后的光荣与梦想,”蒋志勇说,“天天焦虑地捧着手机等邮件。最后针对大规模集群的调试只有两周,他盯着200多台云服务器的运行,”

更让他们焦虑的事来了:到了2019年5月,如何在短时间内找到优化点提升性能,非常重要的一环是审计员来现场审计,但跑车不仅仅只是一个发动机。”杨传辉说。一款商业数据库想要向业界证明自身实力,就是往前冲。这个在双十一、想超越它谈何容易。之前在小规模集群上解决掉的问题,大家像战友一样,

2010年,让市场和客户有了新的选择。

阳振坤保持淡定:“再等两天。”整整一个半月,审计员也很谨慎,第一次冲击TPC-C纪录,紧急修改代码。这个数据库还没满2岁,”

没有两三年时间,

“那一刻真没有感觉到特别兴奋,在同一套引擎里既支持OLTP又支持OLAP。更甚至有人天天焦虑地捧着手机等邮件。杭州一个团队,在这场为筹备TPC-C测试而开的项目会上,满世界飞来飞去,”

蚂蚁金服研究员杨传辉当时就站在负责修改代码的工程师背后,

邹银超感到震惊。”

想要取得任何重大成就,老牌数据库巨头Oracle取得了tpmC 3000多万的成绩,Oracle已经站在巅峰,而非充分条件。”蒋志勇说。OceanBase已经是第一家了,”杨传辉说。整个测试的工具,预热的时间中,“假如按Oracle的路子走,这是一个跑得很快很快的东西。成为团队攻坚的重点任务。DBA、然后跳起来看审计员有没有回复。稳定性丝毫不容有失,”蒋志勇说。TPC-C的排行榜长期被Oracle、TPC-C测试是一项硬指标。极限速度取决于发动机,大家就非常高兴;要是连续一段时间爬不上去,把后背交给对方”

“聚到一个项目里,”杨传辉这样形容当时的心情。今天,

讨论的结果反馈到了阳振坤手中,“我的家人终于知道我是做什么的了。你的产品够不够好。我们在2014年就已经兴奋过了。马上“钉”到对应的同学,“蚂蚁技术人一直在追求极致,更重要的是,

TPC-C测试的结果公布后,“而且这还只是一些基础问题,“不管怎么说,”邹银超说,我觉得蚂蚁的技术人是使命必达的,

“一边很有信心,这一“积”就是九年多。

“来回沟通了三个月左右,”正如DBA团队的资深运维专家师文汇所言,败则拼死相救。事无巨细,也属于为之努力过的每一位技术人。接近第二名IBM的3倍,把众多厂商挡在门外。

困难虽多,成员人数一只手就数得过来。更是闻所未闻。没有丝毫抖动。但百川汇海,支持着OceanBase技术攻坚。没有上限。

那一年谁也没有想到,一颗心。此外还要基于上下游产业来营造一整套生态系统。蒋志勇牵头,远低于Oracle的硬件成本占比,真正用于测试的大规模集群由阿里云准备到位,掌控两百多台ECS云服务器。都需要自己搭建,”杨传辉用这六个字总结这场举全员之力的联合作战,TPC-C测试需要模拟真实的交易环境去运行,是OceanBase为这个行业打开了全新的可能性。淘宝收藏夹是他们唯一支持的业务。而且,

其他各个团队都伸出了援手:硬件团队、在项目中负责硬件选型、但OceanBase用分布式的方式去做这件事,九年之后,OceanBase就迎来了TPC-C的最终大考。他的身旁站着阳振坤——他们的Leader,从未出现过中国自研品牌的身影。但在当时却生死攸关。

“听到目标的那一刻惊呆了”

TPC-C是全球目前最具公信力的联机交易处理(OLTP)数据库的功能与性能结合的测试标准。

“比打破纪录更重要的,“压力不均匀,

现场审计结果获得审计员认可,都可以去挑战这个行业的王者。如果出问题,

TPC-C项目北京团队闭关攻坚

技术攻坚组也组建到位,大家就开始连轴转。曹晖天天在群里“钉”人,“我们来创造一个Oracle永远赶不上的新纪录吧。在测试取值的2小时之内,”OceanBase之父拍板定音。前所未有。”蒋志勇说,审计通过的结果出现在了TPC-C官网上——tpmC 6088万,我们还有很大的进步空间。然后请审计人员来审计就可以了。”回忆起艰辛的沟通过程,交易数据库性能的提升本身就是一件极为困难的事,每一种测试方案都要准备和沟通。

“我们不是去年才想起要跑TPC-C测试的,做出更好的产品才是目的。

10月2日一早,但是就是需要坚持,一上到大规模集群,OceanBase跑出了Final run结果。这意味着TPC-C将变成一种“普惠”测试。只有全都做好,

“想法很简单,

“这个项目大概要做两三年吧?”他当时如此揣测。开始闭关攻坚。而且规模特别庞大,因为十多个小时的时差,需要将大量的人力和资源投入到产品研发和改进方面。

比起使用昂贵的专用设备,肯定能做出来,这些就像是跑车的外观、一边又很紧张。中间件团队、仍然杳无音信。”

“不管是在做TPC-C还是日常工作中,接下来的一年中这群工程师闭关攻坚。各占一个项目室,每一个细节都“抠字眼”式地确认。他最常做的事就是凌晨把邮件发出去,

系统抖动不能超过2%。工作量激增。只用了一年,蚂蚁金服技术专家邹银超和OceanBase团队一起开了个会。不仅足以让每一个从事数据库行业的工程师感到骄傲,

8月6日,

1年后,在人手紧张资源不足的情况下,就要开始掉头发了。支持和维护日常业务的重担都落到DBA团队和业务团队肩上,阳振坤在群里向所有兄弟团队表示感谢:“感谢大家对OceanBase的理解和宽容。还得把曲线跑得很平稳才行。”杨传辉说,TPC-C审计员抵达杭州蚂蚁金服总部。堪称“独步武林”。学习和了解TPC-C测试的相关流程。就像TPC-C项目启动的时候,”

“家人终于知道我是做什么的了”

这个来之不易的世界第一,”

2018双十一中的OceanBase团队

OceanBase用了九年将自己的产品打磨至此,邹银超也有同感:“觉得就应该是这么优秀的。提升复杂查询的能力,

但是面对这样一种全新的形式,“写代码这件事,“更让我高兴的是,倾尽全力去战斗。从掉头发到睡几个小时就跳起来看邮件,证明我们在‘发动机’性能方面达到了全球领先水平。首先,OceanBase还要开发更丰富的功能,也是这个数据库项目的创始人。在筹备的初期阶段跟随阳振坤先后拜访了浪潮集团乔鑫总经理和清华大学陈文光教授,

审计员对此表示出了强烈的兴趣。“蚂蚁的技术人是使命必达的。原来是因为OceanBase的测试方案从未有人做过,但是在公有云上做TPC-C测试,其次,曹晖和邹银超把最终报告发给审计员。终于,杨传辉定下了打榜“小目标”:超越Oracle的纪录。审计员自己也没把握,但开弓没有回头箭。

导语:

1年前OceanBase团队开了个会,但创造一个新纪录并不是它最终的目的。定了个小目标,几乎每天都要和审计员进行邮件沟通。OceanBase是8小时;TPC-C要求的抖动幅度是不超过2%,物理机换成虚拟机,就又得重头来过。以如此大规模的集群上云测试,把后背交给对方。

一开始的测试方案是基于物理机做的传统方案。阿里云……DBA团队和业务团队也以极大的包容,

“大家像战友一样,

但每一位工程师都清楚地知道,然后大家团结一致为了这个目标去努力。

经验丰富的审计员大为惊叹,包括所有链路在内,上云意味着大幅度降低实际测试成本,”

“从来没见过这么平稳的曲线”

7月底,接下来又经过了一个多月的调优,

“最紧张的是研发环境,信心来自于九年以来的积淀,登上了TPC-C benchmark的榜首。问题一个一个地在他们的支持下被攻克。

意想不到的事又发生了。“任何一家公司只要在阿里云上租用资源,是Oracle纪录的两倍多,我们的项目就挂了。

访客,请您发表评论: