2022SACC专场2-DevOps 企业实践案例(PPT下载)

2022-11-10 00:00:00 数据 微服 代码 自动化 落地

B站运维数仓建设和数据治理实践

演讲简介:

随着B站业务的高速发展,公司内部业务、基础架构和运维对于通用运维性数据的多样性、实时性和集成性需求越来越多,对数据质量的要求越来越高。而伴随着大数据技术的不断发展和成熟,B站也对公司内部基础数据的治理和管控进行了大量尝试和实践,终建设了一体化运维数仓,来支撑满足内部业务/基础架构/工程效率/SRE团队对于数据的强烈需求。本次分享将围绕运维数仓的建设,分别从引擎侧、平台侧和业务侧展开介绍,分享在落地实践中面临的挑战和问题。


嘉宾介绍:

袁帅 哔哩哔哩 SRE 研发工程师

2020年加入B站,先后从事过大数据运维平台,B站Tidb平台化建设,运维作业平台及SRE CMDB资产管理平台的研发工作。目前专注于SRE体系平台化建设,致力于通过平台化,自动化的产品让SRE工作更高效更简单。


网易严选DevOps落地实践

演讲简介:

过去⼏年,随着严选业务的发展和服务化架构的演进,我们的微服务数量和研发⼈员数量都出现了量 级增⻓,项⽬价值交付和⼈员协作⽅⾯所⾯临的挑战和瓶颈也越来越⼤。为了应对这些问题,提升研 发效能,我们引⼊了DevOps并结合严选组织⽂化进⾏了落地实践。 在落地过程中,我们通过⼯具链固化了协作的规范和流程,通过流⽔线⾃动化了我们业务价值交付的 过程,在业务上云的进程中我们⼜演进和发展了我们的DevOps使其拥抱云原⽣。 通过DevOps的落地,承载着业务价值的⼩⽽美的微服务能独⽴、⾃主、⾃动化的流动,研发⼈员 Code的能⼒和活⼒得到了极⼤的提⾼,我们从需求提出到触达⽤⼾的研发效能也得到了极⼤提升。

分享⼤纲

1、严选落地DevOps的背景和动⼒

2、统⼀DevOps的认知和组织⽂化适配

3、传统虚拟机架构下的DevOps落地实践

4、云原⽣架构下DevOps的演进

总结与展望

分享要点:主要分享严选DevOps的理念⽂化,价值流,⼯具链建设以及实践特⾊。


嘉宾介绍:

王育松,⽹易⾼级技术专家,架构师,⽹易严选中间件负责⼈,「严选技术产品团队」公众号运 营负责⼈,从0到1建设了⽹易严选中间件体系。在⼤型分布式架构、⾼可⽤架构、DevOps、微服务、 ServiceMesh、云原⽣等领域有丰富的实践经验。曾就职于蚂蚁、⽤友等公司,负责了⽀付宝某核⼼收 单平台的去O、异地多活架构改造⼯作,主导了蚂蚁集团第⼀个基于OceanBase的异地⽆损容灾系统 的建设。


大型Python项目开发中的代码自动化分析、测试与调整:功能设计与基本原理

演讲简介:

代码帮助我们实现了各种工作的自动化,但写代码这项工作本身的自动化水平依然堪忧。尽管Python社区已经出现了一些进行代码自动化分析、测试与调整的开源库,而Pycharm、Spyder等集成开发环境也实现了许多类似的功能,但这些工具依然存在各种各样的问题,而这极大影响了需要团队协作的大型项目的开发效率。

有感于此,我们团队正在编写一个用于自动化分析、调整、测试的代码库,以提高基于Python和关系型数据库的大型项目的开发、迭代和重构效率。我们希望该代码库可实现:(1)代码结构、风格和依赖关系的自动化分析;(2)代码对象的自动化标记,代码风格和依赖代码的自动化调整;(3)功能、逻辑、性能的自动化测试。

经过近一年的开发,目前已实现部分功能,具体包括:代码结构、风格的自动化分析;代码对象的自动化标记;类似于Black包但更为完备的代码格式自动化调整。该代码库开发完毕后,将进行开源。

在本次分享中,本人将从功能设计与基本原理两方面与大家交流该代码库的情况,希望听取大家的意见以助于该代码库的后续开发和进一步完善。或许,也能给大家提供灵感和借鉴,从而促成大家在别的语言当中实现相似的目标。


嘉宾介绍:

汪建雄,北京第二外国语学院经济学院金融系副教授,中央财经大学中国经济与管理研究院(CEMA)金融学博士。研究方向为资产定价、经济史、国家演化等,目前与清华大学五道口金融学院、中国人民大学财政金融学院、山东大学经济学院、厦门大学经济学院、澳门城市大学的多位合作者基于裁判文书、工商数据、股票论坛数据等100G以上的超大规模数据集展开合作研究。已有论文发表在《Technological Forecasting and Social Change》、《Frontiers in Psychology》、《制度经济学研究》、《投资研究》等期刊,主持完成国家自然科学基金项目、教育部人文社科青年项目各一项,译有《金融经济学原理》、《已经发生的未来》、《谁绑架了上市公司》、《蜘蛛战略》等。

正在撰写一本介绍用Python和PostgreSQL实现并行大数据处理的图书,书名暂定为《并行大数据处理:基于Python、PostgreSQL及其他》,预计2023年出版,配套视频课程已经于2022年6月在网易云课堂(组织名称:山人一枚也)和腾讯课堂(机构名称:汪建雄)同步上线,并每周在B站(账号:山人一枚也)在线答疑六天。

此外,也正与团队成员一起,基于Python、PostgreSQL、Docker等工具,编写一个适用于分钟级数据回测、三秒级数据实盘的高频量化交易系统。而为加速项目开发,我们正在编写一个用于加速Python大型项目开发的代码库,该代码库预计实现Python代码的自动化分析、测试、调整等功能,目前已实现部分功能,包括类似于Black包但更为完备的代码格式自动化调整。


字节码增强技术在监控埋点场景的大规模实践落地及其他领域探索

演讲简介:

随便互联网技术的高速发展,业务复杂度及规模也在快速增长,微服务成为主流,微服务可观测性建设的重要性和价值日益凸显,而可观测的前提是服务指标数据的采集和上报,如何在短时间内实现大规模微服务快速接入监控实现自动埋点上报是个棘手的问题。本次分享首先介绍下字节码增强技术的原理,然后围绕如何基于字节码增强技术实现大规模服务的“零成本”接入监控?这一问题展开分析,后再一起探讨下字节码增强技术的一些其他应用场景,例如应用于微服务治理领域的可信性与价值等。

分享大纲:

1、监控埋点演进史

2、什么是字节码增强技术?

3、字节码增强技术应用于监控埋点的经验与总结

4、其他应用领域的探讨

分享要点:

分享字节码增强技术的原理、落地实践经验,探讨在其他领域的应用,例如应用于微服务治理领域的可行性与收益。


嘉宾介绍:

曹伟 货拉拉 架构师

16年硕士毕业于上海大学,工作6年主要从事于微服务框架研发、分布式定时调度和全链路监控等领域的工作,成功主导过百万级TPS的全链路监控服务建设、微服务框架的设计与落地。目前主要专注于微服务框架研发工作,对微服务框架的设计思想和推广落地有较丰富的经验。

相关文章