运维监控场景下，如何从 OpenTSDB 迁移到 TDengine

OpenTSDB是一个经典的时序数据库系统，它没有开发自己的存储引擎，而是基于HBase，对于已经有 HBase 基础服务的企业而言，降低了门槛。而且得益于其先发优势，OpenTSDB 在运维监控领域有不少应用。不过也因为要依赖 HBase，系统的性能、压缩效率逐渐成为瓶颈。随着业务系统规模的扩大，部署成本、运行效率等方面的问题日益严重。此外，OpenTSDB 的功能升级也比较缓慢。 与之相比，TDengine有着明显的优势：

• 数据写入和查询的性能远超 OpenTSDB；
• 针对时序数据的高效压缩机制，压缩后在磁盘上的存储空间不到 OpenTSDB 的 1/5；
• 安装部署非常简单，单一安装包完成安装部署，除了 taosAdapter 需要依赖 Go 运行环境外，不依赖其他第三方软件，整个安装部署非常迅速;
• 提供的内建函数覆盖 OpenTSDB 支持的全部查询函数，还支持更多的时序数据查询函数、标量函数及聚合函数，支持多种时间窗口聚合、连接查询、表达式运算、多种分组聚合、用户定义排序、以及用户定义函数等查询功能。采用类 SQL 的语法规则，更加简单易学，基本上没有学习成本。
• 支持多达 128 个标签，标签总长度可达到 16KB；
• 除 HTTP 之外，还提供 Java、Python、C、Rust、Go 等多种语言的接口。

如果我们将原本运行在 OpenTSDB 上的应用迁移到 TDengine 上，不仅可以有效降低计算和存储资源的占用、减少部署服务器的规模，还能够极大减少运行维护成本，让运维管理工作更简单、更轻松，大幅降低总拥有成本。

本文将以“使用典型并广泛应用的运维监控场景”来说明，不用编写一行代码，如何将基于 OpenTSDB 的应用快速、安全、可靠地迁移到 TDengine 之上。

1、典型运维监控应用场景

一个典型的运维监控应用场景的系统整体的架构如下图（图 1） 所示。

在该应用场景中，包含了部署在应用环境中负责收集机器度量（Metrics）、网络度量（Metrics）以及应用度量（Metrics）的 Agent 工具，汇聚 Agent 所收集信息的数据收集器，负责数据持久化存储和管理的系统以及监控数据可视化工具（例如：Grafana 等）。

其中，部署在应用节点的 Agent 负责向 collectd/Statsd 提供不同来源的运行指标，collectd/StatsD 则负责将汇聚的数据推送到 OpenTSDB 集群系统，然后使用 Grafana 将数据以可视化的方式呈现出来。

2、迁移服务

• TDengine 安装部署

首先是 TDengine 的安装，从官网上下载 TDengine 新稳定版，解压缩后运行 install.sh 进行安装。各种安装包的使用帮助可参考《TDengine多种安装包的安装和卸载》。 注意，安装完成以后，不要立即启动 taosd 服务，在正确配置完成参数以后再启动。

• 调整数据收集器配置

在 TDengine 2.3 版本中，在后台服务 taosd 启动后，一个叫 taosAdapter 的 HTTP 的服务也会自动启用。利用 taosAdapter，能够兼容 Influxdb 的 Line Protocol 和 OpenTSDB 的 telnet/Json 写入协议，所以我们可以将 collectd 和 StatsD 收集的数据直接推送到 TDengine。

如果使用 collectd，修改其默认位置在/etc/collectd/collectd.conf的配置文件，使其指向 taosAdapter 部署的节点 IP 地址和端口。假设 taosAdapter 的 IP 地址为 192.168.1.130，端口为 6046，配置如下：

LoadPlugin write_tsdb
<Plugin write_tsdb>
    <Node>
        Host "192.168.1.130"
        Port "6046"
        HostTags "status=production"
        StoreRates false
        AlwaysAppendDS false
    </Node>
</Plugin>