图数据库 TigerGraph 使用全攻略

2022-04-15 00:00:00 查询 数据 数据库 测试 自定义

与关系型数据库或其他类型的NoSQL数据库相比,图数据库提供了更有效的关系和网络建模方法。在1999年左右,图数据库领域还是Neo4j一家独大,但是发展至今,该领域也出现了很多新玩家和新产品。

TigerGraph是一款“实时原生并行图数据库”,既可以部署在云端也可以部署在本地,支持垂直扩展和水平扩展,可以对集群中的图数据自动分区,遵循ACID标准,并且提供了内置的数据压缩功能。它使用了一种消息传递架构,这种架构具备了可随数据增长而伸缩的并行性。

TigerGraph被设计用来执行深层链接分析以及实时在线事务处理(OLTP)和大容量数据加载。深度链接分析是指从一个顶点开始遍历图,找到三个或更多的跳转关系,并分析出结果。目前大多数图数据库都是为OLTP设计的,用于分析少量的关系跳数,其他的分析功能基本是后续添加的。

目前,有一些开源的图查询语言已经得到了广泛的采用,如Cypher、Gremlin和SPARQL,不过,TigerGraph使用了一种新的查询语言GSQL。GSQL将SQL风格的查询语法与Cypher风格的图导航语法结合在一起,并加入了过程编程和用户自定义函数。

我对TigerGraph的GSQL查询语言一直有一种说不清的感觉,不可否认的是,它是一种很好的设计,支持并行化,且可以将Cypher转换为GSQL,便于从Neo4j数据库转到TigerGraph的开发者使用。但是,面对一门全新的编程语言,我总会问自己,它是否值得我花时间和精力来学习呢?

TigerGraph的架构
从下图中可以看出,TigerGraph包含了一个ETL加载器、图数据存储和处理引擎、查询语言和可视化客户端以及REST API,并集成了很多企业数据基础设施服务。再往下的系统流程图清楚地表明,TigerGraph使用Apache Kafka与图形处理和存储引擎进行通信,使用Nginx Web服务器处理GraphStudio和来自用户的GSQL请求,并将它们传给后端服务器。


TigerGraph Analytics Platform包含了图数据存储引擎、图数据处理引擎和三种类型的API。它可以在本地、云端或混合环境中运行。
传给TigerGraph的消息可以在顶点或边级别进行并行处理。RESTPP是一种增强的REST API服务器,主要用于任务管理。

TigerGraph每小时可以加载多达150 GB的数据,每台机器每秒可以遍历数亿个顶点或边,将20亿个日常事件以流的方式实时地传输到包含1千亿个顶点和6千亿条边的图中(这些图数据处于包含20台商用机器的集群上),并将实时分析与大规模离线数据处理统一起来。


TigerGraph使用了几种流行的开源组件:用于处理Web流量的Nginx、消息队列Apache Kafka、用于管理Kafka集群的Apache Zookeeper。平台的其余部分则使用了专有代码。
在Docker中安装TigerGraph
你可以在各种流行的Linux(加上Docker和VirtualBox)上安装TigerGraph。我选择在iMac上使用Docker来安装。在开始安装之前,我更新了Docker,并将Docker可用的RAM和处理器分别增加到4 GB和4个内核。后,我将TigerGraph镜像下载到本地。

Martins-iMac:Downloads mheller$ docker load \u0026lt; ./tigergraph-developer-2.2.3-docker-image.tar.gz8823818c4748: Loading layer 119MB/119MB19d043c86cbc: Loading layer 15.87kB/15.87kB883eafdbe580: Loading layer 14.85kB/14.85kB4775b2f378bb: Loading layer 5.632kB/5.632kB75b79e19929c: Loading layer 3.072kB/3.072kB2106b49716cb: Loading layer 7.168kB/7.168kBda572f4e0c2f: Loading layer 4.034GB/4.034GB6cd767fef659: Loading layer 338.4kB/338.4kBLoaded image: tigergraph:2.2.3Martins-iMac:Downloads mheller$ docker image lsREPOSITORY TAG IMAGE ID CREATED SIZEtigergraph 2.2.3 e1911655f9a7 3 weeks ago 4.11GBhello-world latest 4ab4c602aa5e 2 months ago 1.84kB
安装过程中没有出现任何警报,启动过程也很顺利。

Martins-iMac:Downloads mheller$ docker run -i -t --name tigergraph -p 4142:14240 tigergraph:2.2.3Welcome to TigerGraph Developer Edition, for non-commercial use only.[RUN ] rm -rf /home/tigergraph/tigergraph/logs/ALL*.pid[FAB ][2018-11-30 21:56:06] check_port_of_admin_servers[RUN ] /home/tigergraph/tigergraph/.gium/GSQL_LIB/service/../scripts/admin_service.sh start/home/tigergraph/tigergraph/bin/admin_server/config.sh=== zk ===[SUMMARY][ZK] process is down[SUMMARY][ZK] /home/tigergraph/tigergraph/zk is ready=== dict ===[SUMMARY][DICT] process is down[SUMMARY][DICT] dict server has NOT been initialized=== kafka ===[SUMMARY][KAFKA] process is down[SUMMARY][KAFKA] queue has NOT been initialized=== gse ===[SUMMARY][GSE] process is down[SUMMARY][GSE] id service has NOT been initialized=== gpe ===[SUMMARY][GPE] process is down[SUMMARY][GPE] graph has NOT been initialized=== nginx ===[SUMMARY][NGINX] process is down[SUMMARY][NGINX] nginx has NOT been initialized=== restpp ===[SUMMARY][RESTPP] process is down[SUMMARY][RESTPP] restpp has NOT been initialized[FAB ][2018-11-30 21:56:47] launch_zookeepers[FAB ][2018-11-30 21:57:00] launch_gsql_subsystems:DICT[FAB ][2018-11-30 21:57:04] launch_kafkas[FAB ][2018-11-30 21:57:22] launch_ts3s[FAB ][2018-11-30 21:57:25] launch_gsql_subsystems:GSE[FAB ][2018-11-30 21:57:28] launch_gsql_subsystems:GPE[FAB ][2018-11-30 21:57:31] launch_gsql_subsystems:NGINX[FAB ][2018-11-30 21:57:34] launch_gsql_subsystems:RESTPP[FAB ][2018-11-30 21:57:38] check_port_of_vis_services[RUN ] LD_LIBRARY_PATH=\u0026quot;/home/tigergraph/tigergraph/bin\u0026quot; home/tigergraph/tigergraph/visualization/utils/start.sh[FAB ][2018-11-30 21:57:39] check_port_of_admin_servers[RUN ] home/tigergraph/tigergraph/.gium/GSQL_LIB/service/../scripts/admin_service.sh start home/tigergraph/tigergraph/bin/admin_server/config.sh[RUN ] /home/tigergraph/tigergraph/dev/gdk/gsql/gsql_server_util START || :=== zk ===[SUMMARY][ZK] process is up[SUMMARY][ZK] /home/tigergraph/tigergraph/zk is ready=== kafka ===[SUMMARY][KAFKA] process is up[SUMMARY][KAFKA] queue is ready=== gse ===[SUMMARY][GSE] process is up[SUMMARY][GSE] id service has NOT been initialized (not_ready)=== dict ===[SUMMARY][DICT] process is up[SUMMARY][DICT] dict server is ready=== ts3 ===[SUMMARY][TS3] process is up[SUMMARY][TS3] ts3 is ready=== graph ===[SUMMARY][GRAPH] graph has NOT been initialized=== nginx ===[SUMMARY][NGINX] process is up[SUMMARY][NGINX] nginx is ready=== restpp ===[SUMMARY][RESTPP] process is up[SUMMARY][RESTPP] restpp is ready=== gpe ===[SUMMARY][GPE] process is up[SUMMARY][GPE] graph has NOT been initialized (not_ready)=== gsql ===[SUMMARY][GSQL] process is up[SUMMARY][GSQL] gsql is ready=== Visualization ===[SUMMARY][VIS] process is up (VIS server PID: 1242)[SUMMARY][VIS] gui server is up[RUN ] rm -rf ~/.gsql/gstore_gs*_autostart_flagDone.tigergraph@2089c417aa54:~$
执行到这一步,我已经启动了gsql客户端,并完成了一些命令行教程和演示。

tigergraph@2089c417aa54:~$ ls /home/tigergraph/friendship.csv hello2.gsql hello.gsql person.csv tigergraph tigergraph_coredumptigergraph@2089c417aa54:~$ gsqlWelcome to TigerGraph Developer Edition, for non-commercial use only.GSQL-Dev \u0026gt;
GSQL教程和示例
GSQL 101教程(https://docs.tigergraph.com/intro/gsql-101)教你如何创建图模式、加载数据和运行查询。对于完成某些操作(例如安装自定义查询)所花费的时间,我感到有些惊讶,但它们确实与文档所描述的是一致的。

为了让你对GSQL有个直观的感受,以下的自定义查询演示了如何使用累加器、嵌套查询和自定义查询。

USE GRAPH socialCREATE QUERY hello2 (VERTEX\u0026lt;person\u0026gt; p) FOR GRAPH social{ OrAccum @visited = false; AvgAccum @@avgAge; Start = {p}; FirstNeighbors = SELECT tgt FROM Start:s -(friendship:e)-\u0026gt; person:tgt ACCUM tgt.@visited += true, s.@visited += true; SecondNeighbors = SELECT tgt FROM FirstNeighbors -(:e)-\u0026gt; :tgt WHERE tgt.@visited == false POST_ACCUM @@avgAge += tgt.age; PRINT SecondNeighbors; PRINT @@avgAge;}INSTALL QUERY hello2RUN QUERY hello2(\u0026quot;Tom\u0026quot;)
GSQL的演示示例(https://docs.tigergraph.com/dev/gsql-examples)涵盖了其他内容,包括协作过滤、PageRank、产品推荐和短路径算法,这些也值得研究一下。由于开发者许可只允许每个数据库使用一个图,所以你需要通过DROP ALL来删除在练习中创建的社交图数据。

GSQL图算法库(https://docs.tigergraph.com/graph-algorithm-library)实现了标准图算法,并经过测试。你可以从GitHub下载这个库(https://github.com/tigergraph/ecosys/tree/master/graph_algorithms)。除了基本算法,这个库还提供了安装脚本,可用于生成自定义算法。这些算法包括紧密度中心性、连通分量检测、社区检测、PageRank、短路径和三角计数。

GraphStudio和TigerGraph测试驱动
除了GSQL的命令行界面外,TigerGraph还提供了一个叫作GraphStudio的GUI。你可以通过浏览localhost:4142在本地实例上访问它,如下所示。


TigerGraph的GraphStudio GUI可以用于设计图模式、加载数据和探索图。查询使用GSQL编写。
出于学习的目的,你可能需要了解下TigerGraph测试驱动演示(https://testdrive.tigergraph.com/main/dashboard)。它们是只读的图数据库,包括一些预定义的参数化查询。当然,你也可以编写自己的查询。

包含了较大数据集(包含了数十亿条边)的三个测试驱动用例使用了Amazon EC2 r4.4xlarge(16个vCPU和122 GB RAM)实例,而包含小数据集的两个测试驱动用例使用了更经济的Amazon EC2 t2.xlarge(4个vCPU和16 GB RAM)实例。根据我的经验,即使对于具有44亿边缘的反欺诈演示(如下所示),它的性能也相当不错。


使用GraphStudio对包含用户、设备和交易数据的大型(44亿条边)图执行欺诈检测查询。GraphStudio和TigerGraph都运行在Amazon EC2 r4.4xlarge实例上。
TigerGraph基准测试
TigerGraph提供了一些基准测试(https://www.tigergraph.com/benchmark/),与其他几个图数据库(Neo4j、Amazon Neptune、JanusGraph和ArangoDB)进行了比较,测试了数据加载时间和图分析查询时间,所有这些任务在TigerGraph中都可以进行并行化操作。毫不奇怪的是,因为基准测试的设置方式偏向于TigerGraph的长处,所以TigerGraph在所有测试中均胜出,有些还胜出了一大截。其中令我印象深刻的基准测试是TigerGraph集群可扩展性测试,当使用8台机器时,它的速度提升了6.7倍。

在这种情况下,你需要问自己的问题是:“图数据库可以帮我解决哪些问题”?如果你要进行在线事务处理(OLTP),那你可能就不会关心批量加载和多跳分析查询性能。毕竟,真正重要的衡量标准是数据库能为应用程序做些什么,这也是为什么在采用新技术时需要花些时间进行概念验证。


TigerGraph集群可扩展性测试,使用8台机器时速度提升6.7倍。如果可扩展性可以达到完美,那么这条线应该是直的,而且速度提升将达到8倍。

云端的TigerGraph
在我进行这次调研时,TigerGraph发布了一款云产品,将于2019年在AWS上开始试用。这是对TigerGraph目前授权版AWS和Azure镜像的一个补充。

相关文章