2020 DTCC专场4：数据库智能运维（上） PPT

阿里巴巴电商数据库原先是在自己独立的IDC维护的，伴随着阿里巴巴上云项目，数据库轻松实现上云。介绍利用阿里云的技术体系，如何帮助客户大规模上云，打造自己的运维管控平台。

主导参与了阿里巴巴数据库体系演进，经历了数据库去IOE，规模化MySQL运维，阿里数据库异地多活，数据库上云等多个核心项目。目前为阿里云RDS管控负责人，为大家提供安全、稳定、经济、智能的数据库服务。

本次分享将介绍贝壳找房数据库服务综合治理的架构及策略。从主动防御、SQL封禁、智能诊断、故障自愈等多个维度入手，全方面保障数据库高效稳定运行。
主题会涉及如下技术方案的实现细节：
1、基于长SQL执行时间的数据库端主动防御策略；
2、基于Query Rewrite的SQL重写技术实现SQL封禁；
3、综合利用启发式算法与机器学习算法实现数据库故障高效诊断及自愈。

现贝壳找房 DBA 负责人，多年数据库运维与管理经验，先后就职于百度、豌豆荚、小米等互联网公司。熟悉大规模数据库场景下的运维及优化。

目前数据库已经成为社会信息化发展的载体，国产数据库蓬勃发展，数据库商业化日益成熟，在这繁荣盛世的背景下，人们对数据库的安全愈加重视，数据库安全加固方案被各家公司重视并完善，不但要保证数据库各个维度的数据安全又要满足监管部门的严格审查还要具备应对突发安全事件的能力。本次分享议题《数据库安全与审计》介绍数据库安全加固的解决方案与实践经验。重点介绍京东数科如何预防删库跑路，以及在数据脱敏、数据加密以及数据库审计相关方面的实践经验。
分享提纲：
1、数据库安全的背景介绍；
2、数据库安全的防控内容；
3、数据库的安全实践
预防删库跑路
1）数据脱敏
数据加密
2）数据审计。
分享要点：
1.首先通过数据库安全案例说明数据库安全必要性，梳理数据库安全隐患点；
2.然后围绕数据库安全介绍相关防控内容，介绍如何通过安全合规检测；
3.在安全实践方面，主要介绍一下如何有效预防删库跑路。同时介绍数据库脱敏和加密的实现原理、技术架构以及分享加密脱敏在实际使用过程中的经验。
4.后介绍数据库审计平台的实现原理，产品特性。

负责京东数科数据库平台的管理维护工作，带领团队平稳护航多次6.18、11.11的大促活动；对数据库多业务场景架构设计，高并发解决方案，数据生态管控有着丰富的实践经验；对数据库中间件、分布式事务数据库和自动化智能化运维平台设计开发有着深入的实践和探索；长期专注于数据库产品化输出和国产数据库的探索研究。

本次演讲将详细介绍腾讯云在数据库“自治”方面进行的探索过程，结合腾讯云推出的数据库自治服务DBbrain的技术架构和应用场景，介绍其在数据库”自诊断”、自优化”、”自安全”等领域的探索，并且重点聚焦于AI能力在数据库运维领域的落地和技术突破。揭秘数据库自治服务在混合云浪潮中的实践。
1、数据库自治服务的机遇与挑战
2、7*24小时“无人值守”数据库自治核心架构解读
3、人工智能工程化在数据库自治领域的实践
4、数据库自治在混合云浪潮中的探索
5、数据库自治经典行业案例分享

腾讯云产品经理，网名迪B哥，中国计算机行业协会开源数据库专业委员会副会长、北京航空航天大学特聘讲师，腾讯云关系型数据库及智能运维SaaS产品线负责人。拥有视频、游戏、金融、电商等行业的多年数据库架构设计和优化分析经验，曾担任腾讯视频、腾讯网、腾讯新闻、腾讯体育等业务的数据库管理和运维负责人，对外推出了《迪B课堂》、《我说》等一系列数据库实战课程。

MySQL特殊恢复主要是指在MySQL没有备份下或者备份不可用的恢复场景。那没有备份怎么恢复呢？其实在MySQL内部是有相关日志记录操作记录的，并且其数据文件也会保存历史版本的数据。所以我们只需要解析这些日志生成逆向记录，或者解析数据文件保存的历史版本数据就可以恢复相应的数据。
那主要内容根据恢复方式不同分为以下三个方面：
1、从Binlog恢复，这个是业内比较成熟的方案，这里只会介绍其实现的核心原理及难点；
2、从数据文件中恢复，这里几乎没有成熟的方案，相关原理也比较少，所以这里会重点介绍数据文件构成及恢复原理，并且结合自研工具进行恢复讲解；
3、从Redo文件中恢复，这个也是基本上没有成熟的方案，所以也会重点介绍Redo文件的构成及恢复原理，并且结合自研工具进行恢复讲解。
后会分享一些心得，以及后续工具发展的方向。
本主题主要围绕如何解析MySQL底层文件进行数据恢复进行讲解，终希望参会者能了解到MySQL底层文件的组织原理以及具备特殊恢复的思路或者能力。
1、特殊恢复的背景；
2、基于Binlog的数据闪回恢复原理，会重点介绍如何解析Binlog，特别是解析Row Event的细节；
3、基于数据文件恢复，会重点介绍数据文件的构成，数据在数据文件中是如何组织的，并且结合自研恢复工具进行讲解；
4、基于Redo文件恢复，会重点介绍Redo文件的构成，操作日志在Redo文件中是怎样存储的，我们从里面怎么拿到有用的数据，并且结合自研恢复工具讲解；
5、总结及分享心得，介绍恢复工具后续发展。
分享要点：
分享其实主要分两个层面：
个是日志文件、数据文件的内部组成原理；
第二个是怎样从这些文件中拿到有用的数据并且进行恢复；
通过以上两点，参会者可以学习到MySQL底层文件组织原理，并且在后续的工作中如果遇到需要特殊恢复的场景，可以借鉴该主题思路，或者采用作者自研的恢复工具。

拥有5年 数据库从业经验，曾任职新浪NoSQL团队负责人，目前任金山云数据库架构师。第八届DTCC讲师，Redis中国用户组核心成员，专注于数据库架构和内核。