使用AWS Cloudwatch代理和Python记录自定义指标

问题描述

我们使用Python将自定义指标发送到AWS(请参阅下面的现有代码)，并分别使用AWS CloudWatch Agent为我们的EC2计算机发送指标。但是，我们希望停止通过Boto客户端发送自定义指标，转而使用AWS CloudWatch代理发送它们。

我找到了有关如何从StatsD和collectd发送自定义指标的详细信息，但不清楚如何发送您自己的自定义指标。我猜我们将不得不将我们的指标以类似的数据格式输出到其中的一个，但目前还不清楚如何做到这一点。总而言之，我们需要：

• 将Python中的指标导出到正确格式的日志文件
• 更新AWS CloudWatch代理以读取这些日志文件并上载指标

有没有人举个例子说明这一点？

现有代码

import boto3
cloudwatch = boto3.client(
    service_name="cloudwatch",
    region_name=env["AWS_DEPLOYED_REGION"],
    api_version="2010-08-01",
)
cloudwatch.put_metric_data(
    Namespace="myNameSpace",
    MetricData=[
        {
            "MetricName": "someName",
            "Dimensions": [
                {"Name": "Stage", "Value": "..."},
                {"Name": "Purpose", "Value": "..."},
            ],
            "Values": values,
            "StorageResolution": 60,
            "Unit": "someUnit",
        },
    ],
)

---

解决方案

您可以在/etc/amazon/amazon-cloudwatch-agent/amazon-cloudwatch-agent.d/目录中创建云监控代理配置文件。

配置文件应如下所示

{
    "logs": {
        "logs_collected": {
            "files": {
                "collect_list": [
                    {
                        "file_path": "path_to_log_file/app1.log",
                        "log_group_name": "/app/custom.log",
                        "log_stream_name": "{instance_id}"
                    }
                ]
            }
        }
    }
}

重新启动CW代理将自动考虑此配置。

另一种方法是手动使用命令attach config files

/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a append-config -m ec2 -s -c file:/path_to_json/custom_log.json

此日志组将在CloudWatch日志控制台中可用。