分布式日志中心竞品分析(国外篇)

纵观国内外做日志分析产品不能说数不胜数，但也绝不会是屈指可数，今天就从业界挑选几家开源和商业化的产品，分别从技术先进性和产品设计上鉴赏一下，不喜勿喷。

首先这些竞品分别为:

1、splunk、sumologic

2、日志易

3、七牛云日志

4、阿里云日志服务(sls)

5、袋鼠云日志

6、ELK/graylog

先就这些吧，其实国外做日志产品，远远不止splunk/sumoligic，但论市场影响力，top玩家非splunk和sumologic不可了，而且但从日志形态来看，splunk和sumologic这两家公司在很多表现上很一致，作为大数据上市公司股，目前市值已经高达186亿美金，而sumologic后一轮F

轮融资，估值2.5亿美金，当然splunk作为国外玩家，产品覆盖范畴也绝非只有日志，包括安全，物联网等，而日志仅仅只是一个重要的载体而已，可能正是这种多元化的产品矩阵(收购的行业解决方案产品，加快完善现有的产品矩阵)加深厚的行业积累(截止目前已经成立了16年之久)，领先的技术壁垒(不同与hadoop体系)，所以从完整意义上来讲，splunk是一家机器大数据公司。

接下来主要来聊聊splunk/sumologic在日志产品这块的一些产品理念和技术，splunk目前主要的战场在线下独立部署版，而sumologic主要是saas模式，splunk从产品表达形式上来看，主要从应用app的视角出发，splunk提供了一整套扩展点，允许用户通过splunk开放的技术框架来开发应用插件，这个其实在复杂的企业环境里其实非常重要，保持了产品的灵活性和扩展性，除了这点，其实在splunk核心产品功能上，比如仪表盘，产品UI上，splunk都提供了足够的用户自定义功能，来满足企业客户各种定制化功能，除此之外的第二个核心功能，就是splunk作为日志分析管理领域鼻祖，也开发了一套专用日志搜索处理语言(SPL)，目前应该来说也成为了行业的一种标准，作为一种日志分析处理的DSL，相较于RDBMS结构化数据查询语言SQL而言，有很多独到的好处，语言表达能力更丰富，也更简单，特别是针对一些复杂场景处理分析，sql子查询和嵌套处理非常不直观，也更复杂，如果用sql来处理，往往很冗长，但SPL这种类似*uix的管道符的方式，支持数据的反复迭代处理，强调对数据流的操作，编写起来更直观，同时在产品的一些处理细节，比如数据接入，数据搜索，schema on read，还有数据仪表盘等都有不错的表现，后在性能上，笔者因为尝试的时单机版，不妄加揣测，但有一个比较有意思的点，还是比较值得拿出来和大家分享，其实做过日志产品的同行应该都了解，日志数据作为一种价值粒度比较低的数据，往往是海量的，不同于业务数据，日增量往往是十G/百G，乃至T级别，日志记录数也是十亿/百亿/千亿级别的，如果在考虑存量历史数据，特别是结合复杂的分析场景，想要多快是不可能的，毕竟物理规律，机器资源是有限的，所以很多时候是需要产品设计结合一起来解决的，作为技术的同学不要想当然，技术真的不是的，那如何结合产品设计来解决呢? 首先想到的就是尽量从源头分散查询数据的粒度，对于splunk有数据索引或者数据源，避免查询所有数据，*这种匹配，其实在很多场景下也证明这种分析查询也是的，如果规避不了数据源头，可以考虑数据缓存+数据分片，比如使用splunk的时候，会发现一些曲线统计图，返回给前端UI时，不是全部返回，而是多次分别加载才完成的。这个点为什么单独拿出来讲呢？这其实就是技术与产品设计如何更好平衡的一个点，也透漏了这一类问题解决的思考。

尽管如此，说了很多splunk这么多优点，那也只能说明splunk在国外产品卖座，但转移到国内(听过在上海分公司有百来人的周边工具研发交付团队),未必就能玩转，毕竟目前国内2B市场，不仅仅是一个saas市场，也不是一个专有云线下独立部署的产品市场，而更多时候更是一个服务市场，说白了在当前的2b生意，是一个服务+产品的双轴模式，有服务无产品，卖的是人头的辛苦钱，有产品无服务，客户又不买单，除了客户被惯出来的傲娇，也和当前市场大环境有关，短期之内未必有所改善，但长期我还是看好saas市场+产品解决方案的爆发力，扯的有点远了，其实结合日志这种比较技术化的产品来说，客户的使用门槛确实还是比较高的，即时产品设计再怎么用力，总还有一些小白用户用不明白，所以splunk在一些产品和技术上再如何高冷，但在面向一部分国内客户的时候，恐怕也有些有些无力吧。

再回到sumologic，在整个产品上，基本是以产品功能模块作为组织视角，同时应用层面也提供了以仪表盘来作为载体，但不支持用户开发自定义应用，从这个层面上看，除了splunk，大家基本一致。同时sumologic也提供了比较完善的spl，这个和splunk基本持平，同时sumologic也提供了一些比较的功能，比如logreduce/logcompare等，其实某种意义上来看，这些功能有点名不副实，尽管背后涉及到技术点比较复杂，但付出的成本和实际效果价值却鲜有，当然也许是一家之言，sumologic在其它一些功能细节涉及上的沉淀也是比较有限，尽管走的是saas市场，但对于这种非云厂商玩日志saas的行业前景，我持保留意见。

所以总结来看，splunk日志产品，主要由以下几个特点:

1、在产品使用上把应用作为客户使用的视角，强调了应用和解决方案的重要性，更贴近业务。

2、提供了一个比较开放式的开发者架构和扩展点，让开发者能快速基于底座开发应用插件。

3、专属的spl搜索处理语言，为客户在数据处理上提供了无限可能性，能快速灵活解决企业需求。

4、产品设计细节上沉淀出了佳解决方案和客户使用体验。

5、本地化和服务上的欠缺，无法为客户打造符合的业务解决方案，不足以让客户买单。

对于splunk日志产品和技术分析，今天先说到这里，只捡了一些我认为的重点，而且有很多自己对于这个行业的思考，包括一些产品设计的东西，后面会讲一下国内一些日志产品，也会继续按照这种风格来阐述，纯技术干货的东西后面会慢慢讲。

参考资料:

简体中文版手册 - Splunk Documentation