业务系统的Prometheus实践示例详解
什么是 Prometheus
Prometheus（普罗米修斯）是古希腊的一个神明，名字的意思是「先见之明」。从它的名字可以看出，Prometheus 是做「先见之明」的监控告警用途。
官网描述为From metrics to insight，用指标洞察系统。
Prometheus 其实就是一个数据监控解决方案，它能帮你简单快速地搭建起一套可视化的监控系统。
例如研发比较关注机器的 CPU、内存、硬盘，产品和运营比较关注运营层面的指标，例如新增用户数，日活等，都可以通过 Prometheus 和 grafana 简单，直观化展示。
例如下图 JVM 的监控。
业务实践背景
公司某个业务需要 n 个评审专家对同一批 n 张业务报表批量签字。3 方签字接口只有支持单个报表签字，所以需要 n*n 次，单次签字逻辑复杂，流程较长，所有后台用线程池做了异步化。
签字作为业务的核心节点，不能有故障。所以怎么监控线程池的关键指标，实现动态调整参数，当任务数量过多告警，是一个需要解决的痛点。
我们通过 Prometheus 自定义线程池的指标，grafana 展示，apollo 动态调整线程池的变量，实现弹性扩展。
实践
线程池参数动态更新
通过接入 apollo 配置，当检测到线程池的配置变化时，重新设置：
- 核心线程数
- 最大线程数
- 修改线程空闲时间
@Component
public class ApolloRefreshConfig {
@Resource
private RefreshScope refreshScope;
@Resource
private ApplicationContext applicationContext;
@Resource
private ThreadPoolExecutor executorService;
@ApolloConfiGChangeListener
public void onChange(ConfigChangeEvent changeEvent) {
applicationContext.publishEvent(new EnvironmentChangeEvent(changeEvent.changedKeys()));
refreshScope.refreshAll();
// 刷新变量
asyncRequestTaskConfigChange(changeEvent.changedKeys());
}
private void asyncRequestTaskConfigChange(Set<String> changedKeys) {
//apollo 变更的是线程池变量
if (changedKeys.contains(EvaluationProcessAsyncRequestTaskConfig.ASYNC_REQUEST_TASK_CHANGE_FLAG_KEY)) {
// 核心线程数
Integer corePoolSizeOld = executorService.getCorePoolSize();
if (!corePoolSize.equals(corePoolSizeOld)) {
executorService.setCorePoolSize(corePoolSize);
}
// 最大线程数
Integer maximumPoolSizeOld = executorService.getMaximumPoolSize();
if (!maximumPoolSize.equals(maximumPoolSizeOld)) {
executorService.setMaximumPoolSize(maximumPoolSize);
}
// 修改线程空闲时间
Long keepAliveTimeOld = executorService.geTKEepAliveTime(TimeUnit.MINUTES);
if (!keepAliveTime.equals(keepAliveTimeOld)) {
executorService.setKeepAliveTime(keepAliveTime, TimeUnit.MINUTES);
}
}
}
}
线程池指标上报
在 SpringBoot 版本 2.X 版本以后，使用 Prometheus 进行监控，只需引入 Spring Boot Actuator 相关的 jar，就可以简单集成，然后我们就可以自定义业务指标，上报 Prometheus 了
<dependency>
<groupId>cn.Gov.zcy.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency
Prometheus 中的核心类 io.micrometer.core.instrument.MeterReGIStry 中可以定制各种业务指标，也有封装的例如计数类 Counter，这里引用一个 Gauge 只定义的指标
@Component
public class MonitorFactory {
@Resource
private MeterRegistry meterRegistry;
@Resource
private ThreadPoolExecutor threadPoolExecutor;
private ThreadPoolSizeMonitor threadPoolSizeMonitor = new ThreadPoolSizeMonitor(threadPoolExecutor);
class ThreadPoolSizeMonitor implements ToDoubleFunction {
private ThreadPoolExecutor executor;
//计数
private AtomicDouble monitor = new AtomicDouble(0);
public Object getMonitor() {
return monitor;
}
public ThreadPoolSizeMonitor(ThreadPoolExecutor executor) {
this.executor = executor;
}
@Override
public double applyAsDouble(Object o) {
monitor.set(executor.getPoolSize());
return monitor.get();
}
}
//上报指标，初始化时注册指标
@PostConstruct
public void monitorThreadPool() {
// 当前存活线程数
Gauge.builder("ReportBatchSignPool_poolSizeMonitor", threadPoolSizeMonitor.getMonitor(), threadPoolSizeMonitor).register(meterRegistry);
// 当前活跃（忙碌）线程数
// 核心存活线程数
// 提交的任务数
// 执行完毕的任务数
// 任务队列积压监控
}
//1 分钟更新一次指标数据
@Scheduled(cron = "0 0/1 * * * ?")
public void publishWatcher() {
threadPoolSizeMonitor.applyAsDouble(null);
}
}
Prometheus 指标展示
用 Prometheus quering 语句查询出具体数值 最后一列展示向量结果 16，查询语法如下
prometheus.io/docs/promet…
grafana 可视化展示
告警配置
grafana 配置告警，配置具体的通知信息，触发规则，告警的通知渠道 参考官方文档
grafana.com/docs/grafan…
通知到叮叮告警群
总结
本文介绍了研发人员通过配置 Prometheus 自定义的业务指标，实现监控告警完整链路的大致的流程。大家也可以定制化除了系统指标（例如 CPU、JVM、IO 等）外，梳理出自己系统的核心业务，添加告警，增强系统的稳定性，做到未雨绸缪，防患于未然。
参考文献
Prometheus 官方文档
grafana 告警 文档
以上就是业务系统的Prometheus实践示例详解的详细内容，更多关于Prometheus业务系统的资料请关注其它相关文章！
相关文章