【名人堂】专访中兴首席架构师：聊聊大数据架构那些事儿

王德政，现任中兴通讯中心研究院大数据首席架构师，负责中兴通讯大数据平台的系统架构设计。在18年的电信行业从业经历中，王德政先生曾先后从事GSM、WCDMA、IMS、统一网管、专业服务工具、大数据平台等产品的系统架构工作，曾先后两次获得深圳市科技进步奖。

王楠w_n（Q1）：王老师，您好！很高兴有机会采访到您，能否简单介绍下自己？

王德政（A1）：你好，很高兴接受你的采访。我是王德政，1998年毕业于浙江大学，获硕士学位。曾先后从事GSM（CN）、WCDMA（CN）、IMS、3G平台、统一网管、专业服务工具、大数据平台等产品的系统架构工作，2007年与2012年，我参与研发的“多功能媒体网关”、“新一代集中网络管理调度平台技术创新及产业化”曾先后两次获得深圳市科技成果登记。现任中兴通讯中心研究院大数据首席架构师，负责中兴通讯大数据平台的系统架构设计。

王楠w_n（Q2）：了解到您是1998年加入中兴，具有近18年的电信行业从业经验，作为一名行业前辈，能否将您的从业经验分享一二？在您职业生涯履历中，有没有对您影响深远的转变和决定？

王德政（A2）：记得2000年时离开GSM核心网项目，加入WCDMA核心网。这期间大概有两个月较为轻松的过渡期，但这两个月里我没有浪费，系统性地学习了TCP/IP相关的知识。在后来的WCDMA核心网与3G平台的系统设计中，如果没有这些提前学习的知识，将很难胜任这些工作。所以，我的经验就是：当你觉得轻松或无聊的时候，就是你应该系统性学习，为未来远航做准备的时候。

要说深远的决定，就是通过对自身的评估，清晰地了解自己，知道自己能够做什么以及不能够做什么。应该说，决定心无旁骛地走技术道路，就是对自己影响深远的决定。

王楠w_n（Q3）：纵观业界，有不少关于大数据方面的书籍，均偏重于理念和基础知识的介绍，关于您的新书《大数据架构师指南》您是如何定位的？相较其他业界图书，您认为本书的优势在于哪里？

王德政（A3）：在大数据项目建设过程中，往往需要三个层次的知识。个层次是关于大数据是什么，能做什么等理念方面的知识；第二个层次是端到端的大数据方案设计与系统架构；第三个层次是大数据相关的基础技术知识，例如，对HDFS、MR、SPARK等技术点的掌握。
当前业界个层次与第三个的书籍比较多，读者不难获得相关的学习材料。但第二个层次的书籍非常少，大数据相关的从业者，往往只能通过各类交流活动才能获取这方面的零碎知识。

基于如上原因，我们感觉迫切需要将我们在大型项目中积累的经验总结出来，厘清大数据方案所需的关注重点，并结合具体的实践案例进行说明，帮助从业者在短的时间内将这些知识系统化。

王楠w_n（Q4）：大数据项目一般是按照其应用场景来区别部署的，请您结合中兴的大数据系统框架，谈下实际架构中遇到的一些难点是如何攻克的？构建一个大数据系统时应该从哪些方面考虑？

王德政（A4）：构建大数据系统时需要考虑的关键因素，在本书的第三章做了较为详细的描述。应该说，书中的描述只是通用的描述，但不同的场景与系统，其关注的关键因素也是不同的。系统架构的任务之一，就是要识别出这些场景下重要的关键因素（当然，这些工作也是体现大数据架构师价值的地方）。

例如，如果你的系统需要实时采集存储巨大的数据流量，则入库的性能将成为整个系统设计的关键；如果你的系统需要满足类似于12306铁路售票系统这样大量的并发访问，则访问效率将是整个系统架构的重心。

王楠w_n（Q5）：近，有坛友讨论关于Spark 替代Hadoop 的问题，有人强烈推崇Spark技术，宣称Spark是大数据的未来，同时宣布了Hadoop的死刑。那么与Hadoop相比，Spark技术如何？现工业界大数据技术都在使用何种技术？

王德政（A5）：当前大数据已经是一个庞大的生态系统，很难用一种技术（或组件）将所有的场景通吃。作为计算框架，Spark是一种较为通用且高效的计算框架，是大多数场景下的较好折中。例如，如果要实现秒级的实时流处理，则Spark Streaming可以胜任，但如果需要实现亚秒级的实时流处理，则需要使用Storm。就如同瑞士jun刀，可以做很多事情，但是在特定严苛的场景下，还是需要使用更为专业的工具才能胜任。

王楠w_n（Q6）：之前有网友宣称架构已死，源于行业里对架构师错误的定位。如果架构师这种职业已经死亡或消失，您会如何定位自己的职业？您本人对架构师这个职业又是如何理解的？

王德政（A6）：我个人认为架构师这个行业在很长的时间内不会消亡。大数据系统的构建，是为了实现各行业的应用与业务。行业专家具备相应领域的业务知识，但是缺乏构建系统的技术能力；而IT工程师具备相应的技术能力，但又缺乏相关领域的业务知识。这两者之间的鸿沟很深，很难逾越。而架构师就是连接这道鸿沟的桥梁，通过理解两端的知识，构建相应的系统架构，实现业务知识与IT知识的连接。

王楠w_n（Q7）：人们常说，解决问题不在于结果而在于过程。后，请您聊下实际运用设计框架的思想路径。

王德政（A7）：相比于编码，架构的设计更加复杂和困难，但是一些方法和实践可以分享给大家，抛砖引玉：

1)高屋建瓴，有所舍，有所得。聚焦在矛盾的主要方面，不要性能、功能、可靠性等都想做到优，要能够平衡好这些架构要素。

2)切勿脱离业务的实际需求，架构本质上要为商业服务，脱离业务实际的架构是没有商业价值的。

3)不要闭门造车，多参考业界标杆产品的设计理念和实践，吸收消化，为我所用。

4)不要试图做一个完美的理想主义者，架构设计亦如此。架构是为商业服务的，它会随着业务的发展由初的不完美向完美逐步演进。顺其自然，而不是在设计之初就试图打造完美的架构。