图数据库 TigerGraph 使用全攻略

与关系型数据库或其他类型的NoSQL数据库相比，图数据库提供了更有效的关系和网络建模方法。在1999年左右，图数据库领域还是Neo4j一家独大，但是发展至今，该领域也出现了很多新玩家和新产品。

TigerGraph是一款“实时原生并行图数据库”，既可以部署在云端也可以部署在本地，支持垂直扩展和水平扩展，可以对集群中的图数据自动分区，遵循ACID标准，并且提供了内置的数据压缩功能。它使用了一种消息传递架构，这种架构具备了可随数据增长而伸缩的并行性。

TigerGraph被设计用来执行深层链接分析以及实时在线事务处理（OLTP）和大容量数据加载。深度链接分析是指从一个顶点开始遍历图，找到三个或更多的跳转关系，并分析出结果。目前大多数图数据库都是为OLTP设计的，用于分析少量的关系跳数，其他的分析功能基本是后续添加的。

目前，有一些开源的图查询语言已经得到了广泛的采用，如Cypher、Gremlin和SPARQL，不过，TigerGraph使用了一种新的查询语言GSQL。GSQL将SQL风格的查询语法与Cypher风格的图导航语法结合在一起，并加入了过程编程和用户自定义函数。

我对TigerGraph的GSQL查询语言一直有一种说不清的感觉，不可否认的是，它是一种很好的设计，支持并行化，且可以将Cypher转换为GSQL，便于从Neo4j数据库转到TigerGraph的开发者使用。但是，面对一门全新的编程语言，我总会问自己，它是否值得我花时间和精力来学习呢？

TigerGraph的架构
从下图中可以看出，TigerGraph包含了一个ETL加载器、图数据存储和处理引擎、查询语言和可视化客户端以及REST API，并集成了很多企业数据基础设施服务。再往下的系统流程图清楚地表明，TigerGraph使用Apache Kafka与图形处理和存储引擎进行通信，使用Nginx Web服务器处理GraphStudio和来自用户的GSQL请求，并将它们传给后端服务器。

TigerGraph Analytics Platform包含了图数据存储引擎、图数据处理引擎和三种类型的API。它可以在本地、云端或混合环境中运行。
传给TigerGraph的消息可以在顶点或边级别进行并行处理。RESTPP是一种增强的REST API服务器，主要用于任务管理。

TigerGraph每小时可以加载多达150 GB的数据，每台机器每秒可以遍历数亿个顶点或边，将20亿个日常事件以流的方式实时地传输到包含1千亿个顶点和6千亿条边的图中（这些图数据处于包含20台商用机器的集群上），并将实时分析与大规模离线数据处理统一起来。

TigerGraph使用了几种流行的开源组件：用于处理Web流量的Nginx、消息队列Apache Kafka、用于管理Kafka集群的Apache Zookeeper。平台的其余部分则使用了专有代码。
在Docker中安装TigerGraph
你可以在各种流行的Linux（加上Docker和VirtualBox）上安装TigerGraph。我选择在iMac上使用Docker来安装。在开始安装之前，我更新了Docker，并将Docker可用的RAM和处理器分别增加到4 GB和4个内核。后，我将TigerGraph镜像下载到本地。

Martins-iMac:Downloads mheller$ docker load \u0026lt; ./tigergraph-developer-2.2.3-docker-image.tar.gz8823818c4748: Loading layer 119MB/119MB19d043c86cbc: Loading layer 15.87kB/15.87kB883eafdbe580: Loading layer 14.85kB/14.85kB4775b2f378bb: Loading layer 5.632kB/5.632kB75b79e19929c: Loading layer 3.072kB/3.072kB2106b49716cb: Loading layer 7.168kB/7.168kBda572f4e0c2f: Loading layer 4.034GB/4.034GB6cd767fef659: Loading layer 338.4kB/338.4kBLoaded image: tigergraph:2.2.3Martins-iMac:Downloads mheller$ docker image lsREPOSITORY TAG IMAGE ID CREATED SIZEtigergraph 2.2.3 e1911655f9a7 3 weeks ago 4.11GBhello-world latest 4ab4c602aa5e 2 months ago 1.84kB
安装过程中没有出现任何警报，启动过程也很顺利。

Martins-iMac:Downloads mheller$ docker run -i -t --name tigergraph -p 4142:14240 tigergraph:2.2.3Welcome to TigerGraph Developer Edition, for non-commercial use only.[RUN ] rm -rf /home/tigergraph/tigergraph/logs/ALL*.pid[FAB ][2018-11-30 21:56:06] check_port_of_admin_servers[RUN ] /home/tigergraph/tigergraph/.gium/GSQL_LIB/service/../scripts/admin_service.sh start/home/tigergraph/tigergraph/bin/admin_server/config.sh=== zk ===[SUMMARY][ZK] process is down[SUMMARY][ZK] /home/tigergraph/tigergraph/zk is ready=== dict ===[SUMMARY][DICT] process is down[SUMMARY][DICT] dict server has NOT been initialized=== kafka ===[SUMMARY][KAFKA] process is down[SUMMARY][KAFKA] queue has NOT been initialized=== gse ===[SUMMARY][GSE] process is down[SUMMARY][GSE] id service has NOT been initialized=== gpe ===[SUMMARY][GPE] process is down[SUMMARY][GPE] graph has NOT been initialized=== nginx ===[SUMMARY][NGINX] process is down[SUMMARY][NGINX] nginx has NOT been initialized=== restpp ===[SUMMARY][RESTPP] process is down[SUMMARY][RESTPP] restpp has NOT been initialized[FAB ][2018-11-30 21:56:47] launch_zookeepers[FAB ][2018-11-30 21:57:00] launch_gsql_subsystems:DICT[FAB ][2018-11-30 21:57:04] launch_kafkas[FAB ][2018-11-30 21:57:22] launch_ts3s[FAB ][2018-11-30 21:57:25] launch_gsql_subsystems:GSE[FAB ][2018-11-30 21:57:28] launch_gsql_subsystems:GPE[FAB ][2018-11-30 21:57:31] launch_gsql_subsystems:NGINX[FAB ][2018-11-30 21:57:34] launch_gsql_subsystems:RESTPP[FAB ][2018-11-30 21:57:38] check_port_of_vis_services[RUN ] LD_LIBRARY_PATH=\u0026quot;/home/tigergraph/tigergraph/bin\u0026quot; home/tigergraph/tigergraph/visualization/utils/start.sh[FAB ][2018-11-30 21:57:39] check_port_of_admin_servers[RUN ] home/tigergraph/tigergraph/.gium/GSQL_LIB/service/../scripts/admin_service.sh start home/tigergraph/tigergraph/bin/admin_server/config.sh[RUN ] /home/tigergraph/tigergraph/dev/gdk/gsql/gsql_server_util START || :=== zk ===[SUMMARY][ZK] process is up[SUMMARY][ZK] /home/tigergraph/tigergraph/zk is ready=== kafka ===[SUMMARY][KAFKA] process is up[SUMMARY][KAFKA] queue is ready=== gse ===[SUMMARY][GSE] process is up[SUMMARY][GSE] id service has NOT been initialized (not_ready)=== dict ===[SUMMARY][DICT] process is up[SUMMARY][DICT] dict server is ready=== ts3 ===[SUMMARY][TS3] process is up[SUMMARY][TS3] ts3 is ready=== graph ===[SUMMARY][GRAPH] graph has NOT been initialized=== nginx ===[SUMMARY][NGINX] process is up[SUMMARY][NGINX] nginx is ready=== restpp ===[SUMMARY][RESTPP] process is up[SUMMARY][RESTPP] restpp is ready=== gpe ===[SUMMARY][GPE] process is up[SUMMARY][GPE] graph has NOT been initialized (not_ready)=== gsql ===[SUMMARY][GSQL] process is up[SUMMARY][GSQL] gsql is ready=== Visualization ===[SUMMARY][VIS] process is up (VIS server PID: 1242)[SUMMARY][VIS] gui server is up[RUN ] rm -rf ~/.gsql/gstore_gs*_autostart_flagDone.tigergraph@2089c417aa54:~$
执行到这一步，我已经启动了gsql客户端，并完成了一些命令行教程和演示。

tigergraph@2089c417aa54:~$ ls /home/tigergraph/friendship.csv hello2.gsql hello.gsql person.csv tigergraph tigergraph_coredumptigergraph@2089c417aa54:~$ gsqlWelcome to TigerGraph Developer Edition, for non-commercial use only.GSQL-Dev \u0026gt;
GSQL教程和示例
GSQL 101教程（https://docs.tigergraph.com/intro/gsql-101）教你如何创建图模式、加载数据和运行查询。对于完成某些操作（例如安装自定义查询）所花费的时间，我感到有些惊讶，但它们确实与文档所描述的是一致的。

为了让你对GSQL有个直观的感受，以下的自定义查询演示了如何使用累加器、嵌套查询和自定义查询。

USE GRAPH socialCREATE QUERY hello2 (VERTEX\u0026lt;person\u0026gt; p) FOR GRAPH social{ OrAccum @visited = false; AvgAccum @@avgAge; Start = {p}; FirstNeighbors = SELECT tgt FROM Start:s -(friendship:e)-\u0026gt; person:tgt ACCUM tgt.@visited += true, s.@visited += true; SecondNeighbors = SELECT tgt FROM FirstNeighbors -(:e)-\u0026gt; :tgt WHERE tgt.@visited == false POST_ACCUM @@avgAge += tgt.age; PRINT SecondNeighbors; PRINT @@avgAge;}INSTALL QUERY hello2RUN QUERY hello2(\u0026quot;Tom\u0026quot;)
GSQL的演示示例（https://docs.tigergraph.com/dev/gsql-examples）涵盖了其他内容，包括协作过滤、PageRank、产品推荐和短路径算法，这些也值得研究一下。由于开发者许可只允许每个数据库使用一个图，所以你需要通过DROP ALL来删除在练习中创建的社交图数据。

GSQL图算法库（https://docs.tigergraph.com/graph-algorithm-library）实现了标准图算法，并经过测试。你可以从GitHub下载这个库（https://github.com/tigergraph/ecosys/tree/master/graph_algorithms）。除了基本算法，这个库还提供了安装脚本，可用于生成自定义算法。这些算法包括紧密度中心性、连通分量检测、社区检测、PageRank、短路径和三角计数。

GraphStudio和TigerGraph测试驱动
除了GSQL的命令行界面外，TigerGraph还提供了一个叫作GraphStudio的GUI。你可以通过浏览localhost:4142在本地实例上访问它，如下所示。

TigerGraph的GraphStudio GUI可以用于设计图模式、加载数据和探索图。查询使用GSQL编写。
出于学习的目的，你可能需要了解下TigerGraph测试驱动演示（https://testdrive.tigergraph.com/main/dashboard）。它们是只读的图数据库，包括一些预定义的参数化查询。当然，你也可以编写自己的查询。

包含了较大数据集（包含了数十亿条边）的三个测试驱动用例使用了Amazon EC2 r4.4xlarge（16个vCPU和122 GB RAM）实例，而包含小数据集的两个测试驱动用例使用了更经济的Amazon EC2 t2.xlarge（4个vCPU和16 GB RAM）实例。根据我的经验，即使对于具有44亿边缘的反欺诈演示（如下所示），它的性能也相当不错。

使用GraphStudio对包含用户、设备和交易数据的大型（44亿条边）图执行欺诈检测查询。GraphStudio和TigerGraph都运行在Amazon EC2 r4.4xlarge实例上。
TigerGraph基准测试
TigerGraph提供了一些基准测试（https://www.tigergraph.com/benchmark/），与其他几个图数据库（Neo4j、Amazon Neptune、JanusGraph和ArangoDB）进行了比较，测试了数据加载时间和图分析查询时间，所有这些任务在TigerGraph中都可以进行并行化操作。毫不奇怪的是，因为基准测试的设置方式偏向于TigerGraph的长处，所以TigerGraph在所有测试中均胜出，有些还胜出了一大截。其中令我印象深刻的基准测试是TigerGraph集群可扩展性测试，当使用8台机器时，它的速度提升了6.7倍。

在这种情况下，你需要问自己的问题是：“图数据库可以帮我解决哪些问题”？如果你要进行在线事务处理（OLTP），那你可能就不会关心批量加载和多跳分析查询性能。毕竟，真正重要的衡量标准是数据库能为应用程序做些什么，这也是为什么在采用新技术时需要花些时间进行概念验证。

TigerGraph集群可扩展性测试，使用8台机器时速度提升6.7倍。如果可扩展性可以达到完美，那么这条线应该是直的，而且速度提升将达到8倍。

云端的TigerGraph
在我进行这次调研时，TigerGraph发布了一款云产品，将于2019年在AWS上开始试用。这是对TigerGraph目前授权版AWS和Azure镜像的一个补充。