【名人堂】专访去哪儿网数据库总监:数据库运维经验谈
嘉宾介绍
周彦伟,在去哪儿网负责数据库平台的管理和维护工作。工作范围包括MySQL,Redis,HBase平台的架构设计,性能调优,日常运维以及自动化运维平台设计。曾经担任人人网(校内网)MySQL技术主管,负责数千规模的MySQL数据库实例的运维管理。目前还担任中国MySQL用户组(ACMUG)主席,领导和组织中国MySQL社区活动。2016年初,被Oracle官方授予Oracle ACE Director。
IT168(Q1):周老师,您好!很高兴有机会采访到您,首先,请您简单的介绍下自己。
周彦伟(A1):我是周彦伟,目前在去哪儿网担任数据库总监。 在去哪儿网负责数据库平台的管理和维护工作。工作范围包括MySQL,Redis,HBase平台的架构设计,性能调优,日常运维以及自动化运维平台设计。曾经担任人人网(校内网)MySQL技术主管,负责数千规模的MySQL数据库实例的运维管理。在这个领域内有近10年的工作经历。
出于对于MySQL的兴趣,在业余时间作为创始人之一组建了中国MySQL用户组(ACMUG),并长期任ACMUG主席,领导和组织中国MySQL社区活动。在过去的几年间,把中国MySQL用户组社区从一个不起眼的小沙龙,做成了分会遍及,会员不计其数的大型社区,陆续在中国大陆的北京、上海、深圳、福州、厦门、成都、武汉、济南以及台北和香港等地开展了MySQL相关技术沙龙活动,影响了很多中国MySQL从业者。
跟王竹峰、强昌金一起合著有《MySQL运维内参------ MySQL、Galera、Inception核心原理与佳实践》一书,目前正在出版社校对和排版,计划2017年5月面世。
2016年初,基于我对中国MySQL技术和社区所做贡献,Oracle授予了Oracle MySQL ACE Director 的荣誉。
IT168(Q2):您所在企业目前都在使用哪些数据库?分别对应哪些业务场景,为什么会是这样选择?(可答多条产品线,也可以只答自己了解的某一业务线)
周彦伟(A2):我们使用MySQL支撑公司大部分OLTP业务。同时针对热点数据以及对访问延时特别敏感的业务,我们大规模的使用Redis做缓存。对于数据量非常大,又不不利于分库分表的数据,我们选择性的使用HBase。
IT168(Q3):此次DTCC大会,您的演讲主题是?为什么会选择这个主题?您认为这个演讲的亮点是?
周彦伟(A3):我今年会关注MySQL集群方向,主题是:MySQL集群化的三种武器——MNC,MGC与MIC
在多年运维MySQL的过程中,我一直固执地认为MySQL终的发展路线一定是集群化。所以在很多年前,就开始关注MySQL集群。MySQL NDB Cluster(MNC),MySQL Galera Cluster(MGC),MySQL InnoDB Cluster(MIC),这三者是MySQL历史上三种不同的集群实现方式。在我的前东家人人网的时候,我实践过MNC,在目前的去哪儿网,我们正在维护者中国乃至全球都算较大规模的MGC,同时我们也在密切关注MIC的发展,我相信MySQL会在集群化的道路上不断前行。
IT168(Q4):大数据时代,数据库技术出现了以OldSQL、NoSQL和NewSQL为代表的三大阵营。由过去OldSQL一种架构支持多类应用,向OldSQL+NoSQL+NewSQL三种架构支持多类应用进行转变。如果让您每一类(OldSQL、NoSQL、NewSQL)数据库都推荐1个,您会推荐什么?原因是什么?
周彦伟(A4):数据库是软件,是工具,是支撑业务发展的手段。所以没用必要拘泥于一种或者几种数据库,也没没用必要非得分清楚谁是Old,谁是New,只要能支撑业务的正常服务,就是好工具,就可以用。我们在去哪儿网是采用MySQL+Redis+HBase的组合来支撑业务的。
其实,MySQL作为一个发展了近30年的老牌开源数据库,它也随着行业的发展迎来了新生,你不能把他归类为Old。同时,它现在也支持了JSON,有自己的Document Store,很多存储引擎都可以用在MySQL上,它既是NoSQL,又是NewSQL。功能很多,就看使用者的需求在何处了。
IT168(Q5):现在很多服务都在迁移上云,数据库亦不例外,很多公有云也推出了数据库服务,您认为云数据库的安全性怎么样?对于云数据库的发展你持什么样的看法?
周彦伟(A5):云数据库方兴未艾,终会有燎原之势的一天。除了公有云,私有云会有更广阔的前景,使用云,不在于云的这种形势,更多的价值云服务所带来的便利和节能。相信在不久的将来,会有更多的用户享受到云服务的便利,特别是私有云服务,越来越多的大型企业、机构、组织会在自己的机房搭建自己的服务,并通过搭建这样的服务,提高生产效率,节约人力和物力成本,终实现完全透明的“傻瓜式”工作。
IT168(Q6):今年年初,MongoDB的黑客赎金事件、GitLab 数据库被误删事件引起了圈内广泛讨论,也让人们再次重视了“数据安全”的问题,您能否谈谈如何把控企业级的数据安全?遇到用户数据库泄漏这种突发紧急事件,正确的做法应该是怎样的?
周彦伟(A6):关于网络的安全问题,DBA不是专业人士,先不去谈它。就数据库本身来说,在数据安全层面还是可以做一些工作的。
、 在数据库设置和架构设计上,要考虑到数据安全的因素,能保证在某台服务器突然宕机的情况下,不会丢失数据。
第二、 重视数据库的备份,要有完备的数据库备份,并保证所有数据库备份是随时可用的,并能恢复到指定的时间点。从之前几次事故来看,数据库备份到目前为止并未引起很多人的重视,或者虽然很重视,但没有做好。
第三、 在数据库操作上,谨防误操作,特别是误删除。我们用Inception系统隔离了操作者和数据库主机,并且每次人工的DML和DDL操作都需要经过Inception的审核,大大降低了数据库误操作的风险。
第四、 在数据库的数据层面,需要对某些敏感数据,例如手机号码,身份证,银行卡号等等做加密操作,这些数据,即便是被拖库了,黑客拿到的也是密文,不解密是无法阅读的,这降低了数据泄露的风险。
我们在即将出版的新书《MySQL运维内参------ MySQL、Galera、Inception核心原理与佳实践》里面,有专门的一章介绍MySQL的数据安全问题,如果有兴趣,可以关注我们这本新书。目前正在我的公众号:MySQL运维内参(ID:formysql)做签名预售的活动。
IT168(Q7):监控很重要,在一些事前预防上,您觉得较好的方法有哪些?
周彦伟(A7):事前预防,我理解就是监控,而监控的方法、工具、方案其实都已经很成熟了,这里就不多说了。而随着大数据的发展和广泛应用,监控大数据也是非常值得研究的。简单的理解,就是通过各种传统的监控途途径,收集各种系统的状态监控数据和日志数据,跟传统监控不同的是,除了可以直接通过监控数据设置阈值告警之外,通过大数据系统的数据分析,可以智能地预测系统发展的趋势,提前预报即将出现的问题。同时,通过综合系统中其他组件的各种信息,联动预报相关组件的潜在风险,智能监控,提前预警。
IT168(Q8):开源数据库份额越来越高,而商业数据库市场在不断萎缩,有评论说商业数据库已死,您怎么看待这种变化?
周彦伟(A8):开源数据库的发展和繁荣是时代发展的必然结果。准确地说,商业数据库并没有死,而且到目前为止,商业数据库在功能和技术上还是要领先开源数据库一个时代的。但是随着互联网的普及,以及互联网赚取收入模式的转变,传统的软件式销售策略已经慢慢的背离时代了。同时,人民对数据库的需求也多种多样了,定制化和个性化是开源数据库致胜的法宝之一,因此MySQL才有各种各样的分支,也因此,MySQL才会越来越流行。
开源的优势在于源码公开,逻辑透明,在数据库这种安全敏感的组件上,使用开源会更让使用者觉得放心,特别是需要存储机密数据的时候,开源数据库显得更安全。
开源的优势还在于社区活跃,资源众多,反馈及时,特别是像MySQL这样流行的数据库,可以很轻松地找到任何问题的解决方案和修复方式。我们组织的中国MySQL用户组(ACMUG)每年在范围内组织很多场技术交流,也长期在公众号上征集有关MySQL的技术文章并分享给大家,这样的环境无疑促进了开源数据库的发展,也增强了使用者的信心。
另外一个不可忽视的事实是,云服务越来越流行了,不管是基于商业数据的,还是基于开源数据库的,在云服务商那里,都成了商业数据库,这也许会是开源数据库赚钱的重要途径,同时也是商业数据库起死回生的一剂良药。不管是商业数据库,还是开源数据库,都期待它们蓬勃发展,不断进步。
DTCC 2017 来啦!
随着云计算和大数据时代的来临,数据正在以前所未有的速度成为各个领域价值创造的核心驱动力。
在此背景下,国内受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日如约而至。本届大会以“数据驱动•价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场,将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
官网链接:http://dtcc.it168.com/
购票链接:http://dtcc.it168.com/goupiao.html
欢迎扫码关注DTCC官方微信,获取新信息!
相关文章