2021 DTCC 专场15-人工智能与大数据应用(上)(PPT)

2021-10-23 00:00:00 数据 技术 场景 实践 离线

国产全内存MPP数据库的应用实践

演讲简介:

剖析不同数据库技术架构方向,结合行业应用需求,分析企业级客户选择数据库时的关键考虑因素和技术选型:

1.企业客户需要什么样的数据库,关键能力要求?

2.基于内存MPP架构数据库的应用场景?解决的问题?

3.柏睿数据库在政企客户的应用案例分享


陈林生 柏睿数据 行业咨询部总经理

嘉宾介绍:

柏睿数据咨询部总经理,曾经服务于Oracle、Teradata、惠普(HP)、德勤咨询等多家跨国企业,具有超过20年的IT经验,为国内金融、电信、政府、制造等行业客户提供过IT系统的咨询和项目实施服务,专注于企业信息架构和行业解决方案的规划与设计,以及云计算、大数据、数据挖掘与AI等技术在行业解决方案中的落地实施。 2016年,合作出版《工业4.0实践精要》(机械工业出版社)。


YARN与K8S的容器化资源混部在陌陌的实践

演讲简介:

如何更有效利用服务器算力是各家互联网公司不断探索的技术优化目标之一,而这些公司往往都存在「业务在线服务」与「大数据离线计算」2部分资源峰谷错位的现象,因此打通这两个场景的资源复用来提升整体计算资源利用率是目前业界的普遍课题,但同时该方向也存在不同程度的技术挑战需要解决,主要难点包括调度策略的合理设计、各场景的资源与作业的优雅入场/离场、丰富全面的集群负载信息采集等。本次分享针对在离线混部的场景分析出发,重点分享陌陌在选型设计、部署落地、实践收益、以及规划未来等总结与思考,希望能够给到面临类似课题的团队有所参考帮助。

分享提纲:

a. 背景介绍:「在离线混部」技术的问题场景分析;

b. 业界方案:介绍目前比较成熟的主要方案,并分析相关场景特点;

c. 陌陌实践:详细探讨陌陌在该技术下如何解决调度策略设计、资源与作业优雅入场/离场、以及负责衡量指标采集等各环节的问题与实践,并给出相关收益与测算方法;

d. 未来规划:介绍陌陌下一阶段在这个技术方向的规划。

分享要点:

首先,分析产生在离线混部收益的技术场景与终收益衡量的相关影响因素;并分析陌陌作为中型互联网公司在该场景下面临的挑战与收益;

其次,介绍目前行业内场景的几种方案路径,并分析其特点;

后,落地方案介绍,包括调度策略设计、资源与作业优雅入场/离场、以及负责衡量指标采集等各环节的问题与实践,并给出可参考的终收益。


康凯 陌陌 大数据平台组负责人

嘉宾介绍:

7年大数据分布式存储与计算组件开发经验,2014年北航硕士毕业加入陌陌,一直从事数据平台开发工作,现为陌陌大数据部数据平台组负责人,主要负责YARN/HDFS/HBase等Hadoop 生态体系组件在陌陌场景适配性与特定需求的设计与开发、以及服务的落地与运维;专注于分布式高性能系统开发,持续为公司技术团队提供标准的算力与存储能力支持。


相关文章