服务监控与告警体系搭建

最新推荐文章于 2026-04-09 05:43:30 发布
原创 最新推荐文章于 2026-04-09 05:43:30 发布 · 789 阅读 · 19 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#信息可视化

服务监控与告警体系搭建

一、简述

采用 Prometheus + Grafana + Alertmanager 组合方案，构建一套完整的监控、可视化与告警处理流程。

通知渠道

可视化层

告警处理层

数据存储层

数据采集层

Prometheus Server

Push Gateway

Exporters

Client Libraries

Prometheus TSDB

长期存储 - Thanos/Cortex

Alertmanager集群

告警路由

告警分组

告警抑制

Grafana

仪表盘

告警面板

邮件

钉钉/企微

Slack

PagerDuty

Webhook
1. prometheus
  • 作为时序数据库，存储所有监控指标。
  • 作为数据抓取器，支持主动拉取（Pull Model）与被动接收（Push Model）两种数据采集模式。
  • 负责告警规则的定义，并通过 prometheus.yaml配置文件与 Alertmanager 进行对接。
2. grafana
  • 提供强大的数据可视化能力，通过仪表盘直观展示监控指标与趋势。
3. Alertmanager
  • 专用于告警路由与管理，接收 Prometheus 产生的告警，并进行以下处理：

分组（Grouping）：将多个相关告警合并为一个通知，避免通知轰炸。

抑制（Inhibition）：当某些告警已经触发时，抑制其他相关的告警，减少噪声。

静默（Silence）：在一段时间内静默某些告警，例如计划维护期间。

路由（Routing）：根据告警的标签，将告警路由到不同的接收者（例如，不同的团队负责不同的服务）。

去重（Deduplication）：对相同的告警进行去重，避免重复通知。

重试和超时：如果通知发送失败，会尝试重试，并设置超时。

  • 支持企微信、钉钉、自定义webhook
4. Exporters
  • Exporters是需要监测的目标端点，可直接使用现成的Exporters也可以自定义的Exporters，下面会讲到如何自定义Exporters

二、快速部署

下面只是一个示例，你可以Vide Coding一波～～

  • docker-compose.yml
# Prometheus + Grafana 监控栈：系统状态、JVM、请求成功次数、告警
services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./config/prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prometheus_data:/prometheus
      - ./config/alerts/:/etc/prometheus/alerts/:ro
      - ./config/rules/:/etc/prometheus/rules/:ro
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--web.enable-lifecycle'
      - '--web.enable-admin-api'
    restart: unless-stopped

  alertmanager:
    image: prom/alertmanager:latest
    container_name: alertmanager
    ports:
      - "9093:9093"
    volumes:
      - ./config/alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro
    command:
      - '--config.file=/etc/alertmanager/alertmanager.yml'
      - '--storage.path=/alertmanager'
    restart: unless-stopped

  node-exporter:
    image: prom/node-exporter:latest
    container_name: node-exporter
    ports:
      - "9100:9100"
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command:
      - '--path.procfs=/host/proc'
      - '--path.rootfs=/rootfs'
      - '--path.sysfs=/host/sys'
      - '--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)'
    restart: unless-stopped

  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=admin
      - GF_INSTALL_PLUGINS=grafana-piechart-panel,grafana-clock-panel
      - GF_USERS_ALLOW_SIGN_UP=false
      - GF_SERVER_ROOT_URL=%(protocol)s://%(domain)s:%(http_port)s/
      - GF_PATHS_PROVISIONING=/etc/grafana/provisioning
    volumes:
      - grafana_data:/var/lib/grafana
      - ./provisioning/dashboards/:/etc/grafana/provisioning/dashboards/:ro
      - ./provisioning/datasources/:/etc/grafana/provisioning/datasources/:ro
    depends_on:
      - prometheus
    restart: unless-stopped

# 定义命名卷
volumes:
  prometheus_data:
  grafana_data:
    driver: local
    labels:
      - "app=grafana"
      - "env=production"
  • prometheus.yaml
# Prometheus 主配置：系统 + JVM + 请求指标 + 告警
global:
  scrape_interval: 15s
  evaluation_interval: 15s

# 告警：由 Alertmanager 接收并路由
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["alertmanager:9093"]

# 告警规则与记录规则
rule_files:
  - "/etc/prometheus/alerts/*.yml"
  - "/etc/prometheus/rules/*.yml"

scrape_configs:
  # Prometheus 自身
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

  # 系统状态：Node Exporter（CPU、内存、磁盘、网络等）
  - job_name: "node"
    static_configs:
      - targets: ["node-exporter:9100"]
    relabel_configs:
      - source_labels: [__address__]
        target_label: instance
        regex: "([^:]+)(:[0-9]+)?"
        replacement: "${1}"

  # JVM + 请求指标：Spring Boot Actuator /actuator/prometheus
  # 若应用在宿主机运行，使用 host.docker.internal:8080；若在同一 compose 中，改为 app:8080
  - job_name: "talent-touch-mini"
    metrics_path: /actuator/prometheus
    scrape_interval: 10s
    static_configs:
      - targets: ["host.docker.internal:8081"]
        labels:
          app: "talent-touch"
    # 若应用在 Docker 网络内，可改为：
    # - targets: ["app:8080"]
  • alertmanager.yaml
# Alertmanager 配置：告警路由与通知
global:
  resolve_timeout: 5m

# 路由树：按标签匹配后发送到对应 receiver
route:
  receiver: "default"
  group_by: ["alertname", "instance", "job"]
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 12h
  routes:
    # 系统类告警
    - match:
        severity: system
      receiver: default
    # JVM 类告警
    - match:
        severity: jvm
      receiver: default
    # 请求/业务类告警
    - match:
        severity: request
      receiver: default

receivers:
  - name: "default"
    # 默认仅控制台；可改为 webhook / 邮件 / 钉钉 / 企业微信等
    # webhook_configs:
    #   - url: "http://your-webhook:5001/alerts"
    #     send_resolved: true
    # email_configs:
    #   - to: "ops@example.com"
    #     from: "alertmanager@example.com"
    #     smarthost: "smtp.example.com:587"

inhibit_rules:
  - source_match:
      severity: "critical"
    target_match:
      severity: "warning"
    equal: ["alertname", "instance"]

三、常用Exporters

  • 核心理念

将所有 Exporters 部署在 Prometheus 所在的主机（或专属监控主机）上。Exporter 容器只需暴露给本机 Prometheus（如绑定到 127.0.0.1或 Docker 内部网络），绝不对公网甚至内网暴露端口，实现最小化攻击面。

  • 架构优势

安全：所有监控端点（9100, 9104等）仅在监控主机本地可访问，外部无法扫描或攻击。

集中管理：所有采集器的配置、升级、维护在一台主机完成，运维复杂度低。

网络简化：只需确保监控主机能访问所有待监控的业务中间件的端口（如 MySQL 的 3306，Redis 的 6379），无需在业务主机上部署任何代理。

权限清晰：监控主机持有访问各中间件的只读凭证，业务主机无需任何额外配置。

  • 部署总览
中间件镜像默认端口访问控制建议目标中间件连接方式
node-exporterprom/node-exporter9100仅本机，或结合边车模式采集本机指标，部署在每台业务主机上
MySQLprom/mysqld-exporter9104绑定 127.0.0.1mysql -h <业务IP> -u exporter
Elasticsearchquay.io/prometheuscommunity/elasticsearch-exporter9114绑定 127.0.0.1http://<es集群IP>:9200
MongoDBpercona/mongodb_exporter9216绑定 127.0.0.1mongodb://<业务IP>:27017
RocketMQapacherocketmq/rocketmq-exporter5557绑定 127.0.0.1<namesrv-ip>:9876
Redisoliver006/redis_exporter9121绑定 127.0.0.1redis://<业务IP>:6379
MinIO内置/--
Milvus内置/--
1. node-exporter
node-exporter:
  image: prom/node-exporter:latest
  container_name: node-exporter
  ports:
    - "9100:9100"
  volumes:
    - /proc:/host/proc:ro
    - /sys:/host/sys:ro
    - /:/rootfs:ro
  command:
    - '--path.procfs=/host/proc'
    - '--path.rootfs=/rootfs'
    - '--path.sysfs=/host/sys'
    - '--collector.filesystem.mount-points-exclude=^/(sys\|proc\|dev\|host\|etc)($$\|/)'
  restart: unless-stopped
2. MySQL Exporter
mysql-exporter:
  image: prom/mysqld-exporter:latest
  container_name: mysql-exporter
  ports:
    - "9104:9104”
  environment:
    - DATA_SOURCE_NAME=exporter:password@(mysql-host:3306)/
  command:
    - '--collect.auto_increment.columns'
    - '--collect.binlog_size'
  restart: unless-stopped
3. Elasticsearch Exporter
elasticsearch-exporter:
  image: quay.io/prometheuscommunity/elasticsearch-exporter:latest
  container_name: elasticsearch-exporter
  ports:
    - "9114:9114”
  environment:
    - ES_URI=http://elasticsearch:9200
    # - ES_USERNAME=elastic
    # - ES_PASSWORD=password
  command:
    - '--es.uri=http://elasticsearch:9200'
    - '--es.all'
    - '--es.indices'
  restart: unless-stopped
4. MongoDB Exporter
mongodb-exporter:
  image: percona/mongodb_exporter:latest
  container_name: mongodb-exporter
  ports:
    - "9216:9216”
  environment:
    - MONGODB_URI=mongodb://username:password@mongodb:27017
  command:
    - '--mongodb.uri=mongodb://username:password@mongodb:27017'
    - '--collect.collection'
    - '--collect.database'
  restart: unless-stopped
5. RocketMQ Exporter
rocketmq-exporter:
  image: apacherocketmq/rocketmq-exporter:latest
  container_name: rocketmq-exporter
  ports:
    - "5557:5557”
  environment:
    - ROCKETMQ_NAMESRV_ADDR=rocketmq-namesrv:9876
  command:
    - '--rocketmq.config.namesrvAddr=rocketmq-namesrv:9876'
    - '--server.port=5557'
  restart: unless-stopped
6. Redis Exporter
redis-exporter:
  image: oliver006/redis_exporter:latest
  container_name: redis-exporter
  ports:
    - "9121:9121”
  environment:
    - REDIS_ADDR=redis://redis:6379
    # - REDIS_PASSWORD=yourpassword
  command:
    - '--redis.addr=redis://redis:6379'
  restart: unless-stopped
7. MinIO

MinIO 内置 Prometheus 端点，无需单独部署 exporter。

  • 启用方法：设置环境变量 MINIO_PROMETHEUS_AUTH_TYPE=public。

  • Prometheus 可直接抓取路径：/minio/v2/metrics/cluster。

8. Milvus

Milvus 内置指标端点，但需配置启用。

  • 启用方法：设置环境变量 METRIC_ENABLE=true和 METRIC_PORT=9091。

  • Prometheus 可直接抓取路径：:9091/metrics。

四、自定义Exporters

1. 安全如何保障？
  • 额外端口禁止代理至公网
  • 结合linux防火墙对指定IP开放
2. 集成示例
  • pom.xml
		<micrometer.version>1.5.5</micrometer.version>        

				<!-- Actuator -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

        <!-- Prometheus 支持 -->
        <dependency>
            <groupId>io.micrometer</groupId>
            <artifactId>micrometer-registry-prometheus</artifactId>
            <version>${micrometer.version}</version>
        </dependency>
  • application.yaml
management:
  endpoints:
    web:
      exposure:
        include: health,info,metrics,prometheus,env,beans,loggers
      base-path: /actuator
    jmx:
      exposure:
        exclude: '*'
  endpoint:
    health:
      show-details: always
      probes:
        enabled: true
    metrics:
      enabled: true
    prometheus:
      enabled: true
  metrics:
    export:
      prometheus:
        enabled: true
    enable:
      jvm: true
      system: true
      logback: true
      tomcat: true
    tags:
      application: ${spring.application.name}
      environment: ${spring.profiles.active:dev}
  info:
    env:
      enabled: true
  server:
    port: 23126  # 可设置不同的管理端口
  health:
    defaults:
      enabled: true
    redis:
      enabled: true
    db:
      enabled: true
3. 自定义指标

Micrometer Prometheus registry 支持多种监控指标类型，以下是主要的指标类型及其代码示例：

Counter（计数器）：用于累计值，通常用于计数（如请求次数、错误次数等）。它只能增加，不会减少（除非重置）。

Gauge（计量器）：用于测量瞬时值，可以上下波动（如当前内存使用量、队列大小等）。

Timer（计时器）：用于测量短时任务的持续时间和频率（如方法执行时间）。它同时记录时间分布和调用次数。

DistributionSummary（分布摘要）：用于记录事件的分布情况（如请求大小、响应大小）。它类似于Timer，但记录的不是时间，而是任意值。

LongTaskTimer（长任务计时器）：用于测量长时间运行的任务的持续时间（如后台任务）。与Timer不同，它会在任务进行中持续记录时间。

另外，Micrometer还支持Function Counter、Function Timer和TimeGauge等，但以上五种是最常用的。

4. 推荐监控场景
  • 使用HikariCPMetrics和druid-metric实现数据库连接池监控与告警
  • 使用Gauge实现AI能力授权使用状态监控与告警
  • 使用Gauge实现线上用户数监控
  • 使用Counter实现接口成功率监控
prometheus 配置服务器监控、服务监控、容器中服务监控与告警
6个日的博客
03-08 5814
Promethues + Grafana + Alertmanager + cAdvisor 监控docker运行的服务并告警。
10--部署Prometheus服务并实现服务监控及告警
Wsjm666的博客
02-23 2020
10--部署Prometheus服务并实现服务监控及告警
MogFace WebUI服务监控告警实战：使用Prometheus与Grafana
weixin_42355400的博客
03-08 194
本文介绍了如何在星图GPU平台上自动化部署MogFace人脸检测模型- WebUI镜像，并为其构建一套完整的服务监控与告警系统。通过集成Prometheus和Grafana，用户可以实时监控该人脸检测服务的运行状态与性能指标，确保其在图片处理、内容审核等实际应用场景中的稳定性和可靠性。
六.逼格拉满-Prometheus+Grafana微服务监控告警
墨家巨子@俏如来
05-23 6255
微服务架构是一个分布式系统，由多个独立的服务组成，每个服务可能运行在不同的容器、虚拟机或物理机上，那么在生产环境中我们需要随时监控服务的状态，以应对各种突发情况，比如：内存爆满，CPU标高等等。Prometheus作为一种开源的监控和告警系统，天生就是为分布式系统设计的。它能够轻松地收集、存储和查询各个微服务的监控数据，为微服务架构提供全面的监控能力。Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区。
Prometheus监控告警
一叶知秋皆欲落(u012194307)的专栏
09-03 4651
监控告警-Prometheus 第一章：概述 本章将介绍监控告警的一些基本概念。 1.1 什么是监控告警？ 监控是什么？ 说白了就是用一种形式去盯着、观察服务器，把服务器的各种行为表现都显示出来，用以发现问题和不足。 告警是什么？ 监控和告警这两个词需要分开来理解，监控是监控，告警是告警。监控是把行为表现展现出来，用来观察的。告警则是当监控获取的数据发生异常并且达到了某个临界点的时候，采用各种途径来通知用户、管理员、运维人员甚至是老板。 告警系统中最重要的一个概念之一就是对告警阈值的理解。阈值(Tr
LumiPixel服务监控与告警体系搭建教程
最新发布
weixin_30476025的博客
04-09 125
本文介绍了如何在星图GPU平台上自动化部署💎 LumiPixel: Canvas Quest纯净人像创作站镜像，并搭建服务监控与告警体系。该镜像专注于AI人像生成，适用于电商、社交媒体等场景的内容创作。通过Prometheus+Grafana组合，可实时监控GPU资源、服务性能等核心指标，确保生成服务稳定运行。
CoPaw模型服务监控与告警体系搭建教程
weixin_42506884的博客
03-24 261
本文介绍了如何在星图GPU平台上自动化部署CoPaw镜像，并搭建模型服务监控与告警体系。通过Prometheus、Grafana和Alertmanager的组合，实现对CoPaw服务的实时性能监控、异常告警及可视化分析，确保AI推理服务的稳定运行与高效管理。
CasRel模型服务监控与告警体系搭建
weixin_36431145的博客
03-17 178
本文介绍了如何在星图GPU平台上自动化部署CasRel关系抽取模型镜像，并构建其生产服务的监控告警体系。通过集成Prometheus、Grafana等工具，可实时监控GPU资源、API性能及模型置信度等关键指标，确保模型在自动化处理新闻、文档等非结构化文本中的实体关系时，能够稳定、高效地运行。
LumiPixel Canvas Quest服务监控与告警体系搭建
weixin_33622085的博客
03-21 165
本文介绍了如何在星图GPU平台上自动化部署💎 LumiPixel: Canvas Quest纯净人像创作站镜像，实现高效AI人像生成服务。该镜像专为图像创作优化，可广泛应用于电商模特图生成、社交媒体头像设计等场景，结合内置监控告警体系保障服务稳定性。
【Java服务监控告警系统搭建全攻略】：从0到1构建高可用监控体系
FastProceed的博客
10-12 1012
掌握Java服务监控告警系统搭建全流程，解决生产环境服务不可见难题。涵盖Prometheus+Grafana核心组件部署、JVM指标采集、阈值告警配置，适用于微服务架构监控。高可用设计保障稳定运行，运维开发必看指南，值得收藏。
服务器报系统,服务器监控报警系统
weixin_39888082的博客
08-08 588
服务器监控报警系统 内容精选换一换监控是保持云耀云服务器可靠性、可用性和性能的重要部分，通过监控，用户可以观察云耀云服务器资源。为使用户更好地掌握自己的云耀云服务器运行状态，公有云平台提供了云监控。您可以使用该服务监控您的云耀云服务器，执行自动实时监控、告警和通知操作，帮助您更好地了解云耀云服务器的各项性能指标。主机监控分为基础监控和操作系统监控。基础监控为云服务器自动上ECS是电商平台的基础支撑...
#yyds干货盘点# Kubernetes 怎样实现自动化服务监控告警？(15)
wangzan18的博客
02-21 397
我们已经对 Kubernetes 有了一定的理解，也知道如何在 Kubernetes 中部署自己的业务系统。 Kubernetes 强大的能力让我们非常方便地使用容器部署业务。Kubernetes 自带的副本保持能力，可以避免部署的业务系统出现单点故障，提高可用性。各种探针也可以帮助我们对运行中的容器进行一些...
后端线上服务监控与报警方案
wang_quan_li的专栏
07-28 3114
一、背景 1、上线期间服务稳定性观察较困难 一个功能上线后，其实研发心里根本没底儿，不知道这个功能上线以后是不是真的没问题；有经验一些老同学还知道直接登录线上机器去tail -f php.error.log，但是对于新同学来说，基本就只能等着被通知服务故障。 退一步说，即便是能去线上去tail -f查看错误日志，但是线上是多集群部署的，服务器都特别多，研发不可能在每一台机器上都能看到日志；即
微服务监控告警：Prometheus
11-07 2417
来源： 《微服务架构实战160讲》 微服务监控告警 prometheus是多维度（标签）的，使用拉模式，黑盒白盒都支持，对DevOps友好，适用中小规模 支持的Metric种类：计数器、测量仪、直方图、汇总图 prometheus的Metrics案例： influxDB不仅可以做监控，还可以对业务进行一些分析 1 四种主要监控方式 prometheus主要是Metrics方式（可以对离散数据进...
微服务架构 — 服务治理 — 服务监控与告警、服务日志与审计
烟云的计算
09-06 5775
目录 文章目录目录微服务架构的问题如何拆分服务服务间如何通信微服务框架API 网关配置中心服务中心通信中间件熔断、服务降级、限流Service Mesh文档微服务治理监控链路跟踪日志分析 微服务架构的问题 微服务架构中，服务之间会有错综复杂的依赖关系，例如：一个前端请求一般会依赖于多个后端服务，称为 “1=>N 扇出”。在实际生产环境中，服务往往不是百分百可靠，服务可能会出错或者产生延迟，如果一个应用不能对其依赖的故障进行容错和隔离，那么该应用本身就处在被拖垮的风险中。在一个高流量的网站中，某个单一后
服务监控报警
btoejcltkgq230821的博客
08-01 394
#!/bin/sh#auto service monitor#by zkg 2019-07-15 echo -e "\033[32m \033[1m"EMAIL=email.txtDATE=dateM_IPADDR=ifconfig eth0|grep "Bcast"|awk '{print $2}'|awk -F: '{print $2}'br/>MYEMAIL=allen.zhang@d...
如何配置服务器自动监控并报警
精神食粮每天需要的博客
06-17 9636
作者：一个懂技术的运营 链接：https://www.zhihu.com/question/21073555/answer/106131463 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 如果是初创型公司，机器规模和工作流转没有那么复杂的情况下。运维监控和报警，都利用 Zabbix 和一些报警聚合服务。 先来说说，我们公司如何利用 Zabbi
MySQL常用排序规则utf8mb4_general_ci、utf8mb4_unicode_ci、utf8mb4_bin
热门推荐
搬山境KL攻城狮的修炼手册
02-23 2万+
文章目录一、MySQL常用排序规则简介二、修改字符集及排序规则1.修改表字符集及排序规则2.修改字段字符集及排序规则 一、MySQL常用排序规则简介 UTF-8是使用1~4个字节，一种变长的编码格式，字符编码。mb4即 most bytes 4，使用4个字节来表示完整的UTF-8。 mysql的 utf8 编码最大字符长度为 3 字节，如果遇到 4 字节的宽字符就会插入异常了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xffff，也就是 Unicode 中的基本多文种平面(BMP
InterruptedException异常处理方式
搬山境KL攻城狮的修炼手册
05-08 8738
InterruptedException异常处理方式 一、上抛 二、响应中断或恢复中断 1. 响应中断 2. 恢复中断 3. 最佳实践
vsftpd并发参数调优
搬山境KL攻城狮的修炼手册
08-27 7640
vsftpd并发参数调优 测试机器：centos7 2G 1核CPU2线程 软件版本：vsftpd 3.0.2 vsftpd官方文档写到standalone(常用)模式下， 单机性能可达4000以上，左右性能好的话，甚至可达到20000。 max_clients=0 （默认无限制） 解释：如果 vsftpd 是以 stand alone 方式启动的，那么这个设定项目可以设定同一时间，最多有多少 client 可以同时连上 vsftpd ！限制使用 FTP 的用量！ max_per_ip=0 （默认无限制）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

搬山境KL攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值