Prometheus Aggregation Gateway（PAG）是一个用于聚合 Prometheus 监控数据的中间件。它可以对多个 Prometheus 实例的数据进行聚合、处理和转换，然后将结果发送到其他系统。
以下是 PAG 的使用示例：
- 安装 PAG
你可以从 GitHub 上下载最新版本的 PAG 并解压缩到任意目录中。也可以通过 Go 命令行工具安装：
go get github.com/prometheus-community/prom-aggregation-gateway/cmd/prom-aggregation-gateway
- 配置 PAG
创建一个名为 config.yml 的配置文件，并按照以下格式进行配置：
targets:
- name: prom1
url: http://prom1.example.com:9090/metrics
- name: prom2
url: http://prom2.example.com:9090/metrics
aggregations:
- metric_name: my_metric_sum
target_label: instance
aggregation_type: sum
by_labels:
- job
- type
exporters:
- name: prometheus_pushgateway
config:
url: http://pushgateway.example.com:9091/
job_name: pag
server:
port: 8080
logging:
level: debug
该配置文件包含了以下几个部分：
- targets：需要从哪些 Prometheus 实例获取监控数据。
- aggregations：对获取到的监控数据进行聚合和转换。
- exporters：将聚合后的数据推送到其他系统，例如 Prometheus Pushgateway。
- server：PAG 自身监听端口的配置。
- logging：日志等级的配置。
- 启动 PAG
在命令行中运行以下命令以启动 PAG：
prom-aggregation-gateway -config.path=config.yml
这将会使用上一步创建的 config.yml 文件作为配置，并启动一个 HTTP 服务器，监听在端口号为 8080 的地址上。
- 配置 Prometheus
现在，你需要在 Prometheus 中添加一个新的 scrape config 来从 PAG 中获取聚合后的监控数据。例如，在 prometheus.yml 文件中添加以下内容：
scrape_configs:
- job_name: pag_metrics
static_configs:
- targets: ['pag.example.com:8080']
metric_relabel_configs:
- source_labels: [__name__]
regex: 'my_metric_sum'
target_label: __name__
replacement: 'my_metric'
其中，targets 指定了 PAG 的地址和端口号。注意，此处需要使用与 PAG 监听地址相同的主机名或 IP 地址。
metric_relabel_configs 将聚合后的指标名称更改为自定义名称 my_metric。如果不进行更改，则默认情况下 Prometheus 使用第一个出现的指标名称。
- 查看结果
重启 Prometheus 后，可以在 Grafana 等监控系统中查看已经聚合过的监控数据。也可以通过查询 Prometheus Pushgateway API 来检查是否已成功推送到其他系统中。
以上就是 Prometheu Aggregation Gateway 的简单使用示例。需要注意的是，PAG 是一个强大的工具，可以进行更复杂的数据处理和转换。可以通过查看 PAG 的官方文档来了解更多使用方法和配置选项：https://github.com/prometheus-community/prom-aggregation-gateway
