2021SACC贝壳专场：产业互联网·大数据应用实践（ppt下载）

贝壳找房作为产业互联网的排头兵，一直将数据驱动作为驱动业务的抓手，数据也被视为核心资产。作为承载整个数据业务的基石-贝壳Hadoop集群也由小变大，架构逐步演化，生态逐步丰富完整。我们将近几年在产业互联网这一大背景hadoop集群建设经验教训以及收获进行分享。作为产业互联网且房产交易又是低频业务，在早期对于集群的规模以及负载预期是比较低的，随着公司快速发展，线上化程度逐步提高，痛点逐步就暴露出来。本次由两个痛点展开进行。贝壳Hadoop集群由大数据平台部-大数据架构团队负责管理以及优化， 我们正在对以上痛点逐一解决，但不是用那种头痛医头，脚痛医脚，而是用一种面向未来，为了支撑公司b1112战略去思考落地的。
大纲如下：
1、贝壳Hadoop集群简介
2、贝壳Hadoop集群痛点之一 —— 如何降低存储成本？
3、贝壳Hadoop集群痛点之二 —— 机房不够放怎么办？
4、贝壳Hadoop 集群其工作以及未来规划
5、总结与提问

毕业于中国科学技术大学，获工学硕士学位。十年以上软件开发与架构经验，长期从事大数据领域开发及架构工作，前后在阿里巴巴，豆瓣，新浪，京东以及商汤工作，对于对象存储，中间件，以及机器学习平台建设也有一定的经验与积累。目前为贝壳找房-基础平台中心-大数据平台部-大数据架构团队负责人，负责推进底层架构的扩展性和可用性，以建设可以支撑万台规模大数据集群作为目标。

主要介绍贝壳实时计算平台的构建、实时数仓的落地，以及面向事件驱动场景的通用平台建设。贝壳实时计算紧跟业界发展，为公司各业务线的实时计算相关各种场景提供了有力的支持。实时计算平台建设：为满足公司各种业务方实时计算的需求， 我们构建了功能完善的实时计算平台Hermes。平台支持模板任务、SQL任务以及自定义任务的开发，提供了完善的管理和监控，保障了任务的稳定、高效运行。实时数仓落地：随着实时计算平台功能的不断完善，使得实时数仓建设成为了可能。我们构建了完善的开发规范，提供了丰富的实时数据模型及构建能力，目前已经应用公司的各种实时指标、实时大屏等业务场景。实时事件处理平台建设：为了满足业务方对线上用户行为的实时响应的需求，基于流计算的Pandora事件处理平台应运而生。平台将用户行为标准化，提供了平台级通用能力支持，简化了业务开发流程，对用户线上行为更加实时的进行响应。未来发展规划：贝壳的未来实时计算会紧跟社区发展潮流，继续做好实时计算相关基础能力的建设，在流批一体化、业务实时化等方向继续努力。

目前任职于贝壳找房大数据平台部，实时计算负责人。曾任职于滴滴、IBM。工作领域涉及实时计算、大数据平台、推荐系统、文本分析、知识图谱等。目前负责贝壳找房实时计算相关设计开发，承载了公司的实时ETL、数据分析等任务；支持实时数仓、实时指标的建设；支持实时事件处理相关的业务需求。

对于互联网产品而言，不仅是推荐系统，整个app系统的更新迭代必然需要建立一套度量衡，来把控整个流程优化的方向。而 AB实验就是一个很好的进行变量控制和优化方向选取的工具，循环：衡量-发现-迭代-验证。所谓精细化迭代是一种建立在数据基础上的思维方式——用较少的成本获得较好的效果。无数据，不优化，线上分流实验是进行推荐算法优化的必由之路。并且AB实验不仅是推荐迭代的利器，它还可服务于所有需要逐步完善的产品迭代。
1、贝壳AB实验现状介绍
2、AB实验平台架构设计
3、埋点平台介绍
4、贝壳AB实验平台未来规划

王建乐，贝壳找房研发工程师，目前负责公司级AB实验平台和埋点平台建设，先后在新浪、搜狗、网易等公司从事大数据开发、数据平台开发工作，在离线计算、实时计算方向有一定的实践积累，有数据平台0-1建设完整经验。

主要介绍贝壳数据治理的演变历程，以及现在数据治理的整体情况，包括指标治理、质量治理、存储治理、算力治理、安全治理等，会分享各个治理模块的治理思路，技术架构，主要功能，遇到的难点问题等。质量治理方面通过监控大盘来呈现出业务视角和数据全链路视角的质量情况，为质量治理提供有利的抓手，通过质量产品为数据相关方解决方案，比如DQC、智能分析服务、数据小帮手等，通过覆盖到全链路的流程规范及运营方式来辅助质量的治理工作，提高用户的质量意识，解决用户在及时性和准确性方面的痛点。指标治理方面通过与业务紧密结合，多角色配合建立起指标的认证体系，通过产品、运营、规范、流程等方式对认证指标进行全方面的保障，树立起权威性，同时进行生命周期管控，提高有效指标的占比，解决指标过多，口径不一致等问题。

贝壳数据治理负责人，超过10年的数据领域相关经验，曾任职蘑菇街，负责海淘业务的数据相关工作。工作领域涉及数据平台开发，数仓建设，数据分析，数据应用等。目前负责贝壳数据治理的工作，包括指标治理、质量治理、存储治理、算力治理、安全治理等，从数据全链路视角去解决问题，搭建起贝壳的数据治理体系。

本次分享的内容包括如何通过产品帮助具有20年历史的传统企业如何在行业互联网数字化转型，帮助业务更高效的应用数据、数据平台产品在公司数字化转型的过程中是如何演进的，会遇到什么样的困难，以及产品建设过程中的思考。

贝壳找房大数据产品负责人，18年加入贝壳，负责贝壳数据中台的产品建设，帮助公司在大数据建设上转型。曾就职于滴滴、京东，一直从事于数据领域工作，具有丰富的数据产品经验。