2021 DTCC 专场1-数据库内核技术(PPT)

2021-10-23 00:00:00 数据 数据库 腾讯 系统 内核

数据异常的本质和价值

演讲简介:

数据异常是打开并发访问控制技术大门的金钥匙 ,尤其是在认知了所有数据异常(己有的技术是case by case的方式提出了有限个数的异常)后(TDSQL团队系统地提出了所有的数据异常并进行分类),可探究到数据异常的本质和内在规律,并揭示出隔离级别和并发算法的本质,进而可对ACID的C进行定义。


李海翔 腾讯云 金融云T14专家,CCF数据库专委会委员

嘉宾介绍:

李海翔,网名“那海蓝蓝”,腾讯金融云数据库技术专家,腾讯TDSQL分布式数据库首席架构师。中国人民大学信息学院工程硕士企业导师,CCF数据库专委会委员,DTCC(中国数据库技术大会)专家委员会委员。出版有《数据库查询优化器的艺术:原理解析与SQL性能优化》、《数据库事务处理的艺术:事务管理和并发访问控制》、《大数据管理》,即将出版《分布式数据库 原理、架构和案例》。申请与授权专利60+,VLDB等数据库顶会论文若干篇。参与包括国家863重大专项、核高基、工信部、科技部等多项目。获北京市科技进步一等奖。


HTAP系统的问题与主义之争

演讲简介:

学术界与工业界对HTAP系统的研究已经开展了十多年之久,争论的焦点在于:是否采用一个大而全的系统,同时响应OLTP与OLAP查询请求。本主题将HTAP的系统实现分为两种方向,一种是one size fits all模型;另外一种是loosely couple系统。分别讨论两种实现方案的优缺点,以及现有产品的对应的技术实现细节。期待听众能够一览HTAP技术发展脉络与新趋势,洞察云计算时代赋予HTAP系统不同的机遇!

内容提纲:

1、HTAP的问题和挑战

1.1HTAP的定义与场景需求

1.2实现HTAP系统的挑战

2、HTAP的系统架构实践

2.1 One Size fits all策略

2.1.1单系统单数据拷贝

2.1.2单系统多数据拷贝

2.2松耦合模型

2.2.1共享存储的松耦合系统

2.2.2 独立存储的松耦合系统

3、云原生数据库对HTAP系统的启示

4、总结


朱阅岸 腾讯云 腾讯专家工程师

嘉宾介绍:

朱博士,毕业于中国人民大学数据库技术专业,DTCC数据库内核场技术分享嘉宾,先后在蚂蚁金服Oceanbase、腾讯云数据库、华为云数据库等部门从事数据库前沿技术的研究和内核技术的开发工作。现任HW云数据库研究员,研究方向为HTAP、新硬件与数据库、高性能数据库系统、云数据库架构与设计等。


PG内核源码增进二三事

演讲简介:

本次演讲部分内容仍然承接上届DTCC中话题,“如何参照Oracle,增进PG/MySQL内核”。本次分享主要针对PG,Full Page Writes是PG中对标MySQL双写的功能,专为“块裂”问题而设。比双写的安全性更好,性能损耗也更大,对PG整体性能影响可达20%左右。安全与性能,这又是一个典型的鱼和熊掌的故事,“To be or not to be, that IS THE question”,如何取舍?我们有一个的参照对象,Oracle。

Oracle很少会为块裂问题而烦恼,又没有引入对性能有影响的类似双写、Full Page Writes这样的特性,可谓性能与安全兼顾的典范。本次演讲的Full Page Writes部分,将从内核层面,分享Oracle的I/O模式、解决I/O错误的思路,以及如何参照Oracle,鱼和熊掌兼得,使PG安全与性能兼顾。

另外,PG代码学院风浓厚,标准而漂亮,源自图灵奖得主斯通伯格在上世纪70年代开发的Ingres数据库。几十年的发展,历史悠久,积累深厚,PG社区氛围活跃,在全球技术人员的共同努力下,代码可谓千垂百炼。但我们公司的研究团队,仍然在PG内核中很基础的内存分配模块:内存上下文(Memory Context),找到重要的BUG,并提供了Patch。本次DTCC,将为大家解读PG内存上下文模块、绕过BUG,以及打Patch的方式。

分享提纲:

a. Full Page Writes特性、相关源码结构简介。

b. Oracle针对块裂问题的处理,以及如何参照Oracle,增强PG性能。

c. PG内存上下文源码结构简介。

d. PG内存上下文BUG和Patch。

分享要点:

本次分享,将首先为大家梳理PG中Full Page Writes相关的代码结构,秉承演讲分享一贯的宗旨,对过于细节的、过于具体的代码,并不逐行解读,而是从架构与结构层面,分享Full Page Writes特性的工作方式。然后MySQL的双写作为转折,之后再进一步,讲解Oracle针对块裂的处理,以及可以从中学到什么,以级如何取舍。

内存上下文部分,也将首先从“源码解读”开始,从结构层面梳理内存分配、回收的流程。然后是BUG介绍,以及如何绕过BUG、如何Patch的方法。


吕海波 美创科技 数据库专家

嘉宾介绍:

IT老兵,25年IT软件领域从业经历,十数年数据库经验,惯看IT江湖风起云涌。曾在多家巨头型互联网公司(阿里巴巴、京东、ebay)从事数据库管理与研究工作。

曾多次在DTCC数据库大会、系统架构师大会以个人、独立身份发表演讲,演讲内容涉及分布式数据库、云数据库与内核研究等方面内容。

在2019 DTCC 达梦8数据库发布会中,作为国内企业级杰出数据库专家代表,与中国工程院院士倪光南、方滨兴共话中国数据库技术的自主可控话题。

出版技术书籍《Oracle内核技术揭密》,被誉为国内深度解密Oracle算法原理的技术书籍。

现就职于美创科技,从事国产数据库、数据库内核与云数据库、数据安全方面的研究工作。


时序数据库,从无”关”到有”关”

演讲简介:

随着万物互联时代的来临,以智能设备为代表的”万物”所产生的时序数据迎来爆发式增长。然而,无论是传统的关系数据库还是专用的时序数据库,在应对海量设备规模、高频数据写入、实时聚合查询及复杂分析能力等方面都面临巨大挑战。本次分享主要介绍时序数据库数据模型从当前主流的非关系模型向关系模型演进的趋势,同时分享基于关系型数据库,如何设计存储引擎、查询引擎、数据加载等系统来更好的满足大规模时序数据所提出的新需求。


翁岩青 四维纵横 CTO

嘉宾介绍:

翁岩青,yMatrix联合创始人,CTO,Greenplum Database Committer,Apache HAWQ Committer,PMC Member。创立yMatrix之前,曾先后在百度和Pivotal从事云计算和大数据相关研发和管理工作,长期专注于分布式数据库内核、云数据库、数据库容器化等领域,拥有多项国内外技术专利。


相关文章