超级会员免费看
云原生可观测性：SLO 与信号关联的深度解析
在云原生系统的复杂环境中，服务水平目标（SLO）和信号关联是保障系统可靠性和可观测性的关键要素。本文将深入探讨 SLO 的相关概念、实现方法以及信号关联的重要性和实施策略。
1. SLO、SLA 和 SLI 的基础概念
- SLO（Service Level Objective） ：组织定义的目标，用于衡量服务的可靠性和性能。例如，承诺 API 在一个季度内 99% 的时间可用。
- SLA（Service Level Agreement） ：服务提供商与客户之间的合同约定，基于 SLO 制定。如果未达到 SLO 规定的目标，可能会导致退款或支付罚款等后果。
- SLI（Service Level Indicator） ：用于衡量 SLO 达成程度的实际指标，如 API 的可用性、请求失败率等。
2. 实施 SLO 的示例
以一个名为 Chat2Much 的对话式聊天机器人 API 为例，销售、产品和工程团队之间的沟通流程如下：
1.
销售向产品询问
：了解 API 的可用性和请求失败率，以便制定 SLA。
2.
产品向工程咨询
：提出 99% 的 API 月度可用性 SLO 目标，并询问是否可行。
3.
工程评估并回复
：认为当前人员和技术栈可以实现 99.9% 的可用性，并将实施服务指标 A、B、C 作为 SLI 来跟踪 SLO。
4.
产品与销售沟通
：确认可以承诺 99% 的月度可用性，并告知使用 SLI A、B、C 进行跟踪。
5.
销售确定 SLA
：将财务影响（如未达到 SLO 时客户获得的信用）附加到 SLA 中。
在 API 投入生产后，工程团队使用仪表盘和警报来跟踪 SLI，并每月报告 SLO 的达成情况。客户可以通过自己的仪表盘查看 API 与合同约定目标的对比情况。
3. 计算可用性百分比的提示
为了确定可用性百分比，可以从可容忍的最大错误数量反向计算。例如，在负载测试中，服务在一段时间内收到 1,000,000 个请求，其中有 6,942 个失败请求。为了预留一定的空间，可以将失败请求数向上取整为 7,000，从而可以实际承诺 99% 的可用性。
4. Prometheus 生态系统中实现 SLO 的工具
-
Pyrra
：一个开源工具，旨在使 Prometheus 中的 SLO 易于使用。它具有以下组件：
- 操作员 ：使用 YAML 文档定义 SLO 和 SLI。
- 后端 ：监视 ServiceLevelObjective 资源，并根据输入创建 Prometheus 记录规则。
- Pyrra API ：从后端收集 SLI。
- Pyrra UI ：使用 Pyrra API 显示 SLO、SLI、错误预算等信息。
以下是使用 Docker Compose 启动 Pyrra 栈的步骤：
1. 在
ch10/pyrra/
目录下执行以下命令：
docker-compose -f docker-compose.yaml up
- 配置 Prometheus 和 Pyrra 的 Docker Compose 文件示例：
prometheus:
image: prom/prometheus:v2.40.0
restart: always
ports:
- "9090:9090"
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=33d
volumes:
- ./prometheus/prometheus.yaml:/etc/prometheus/prometheus.yml:ro
- ./prometheus_pyrra:/etc/prometheus/pyrra
pyrra-api:
image: ghcr.io/pyrra-dev/pyrra:v0.5.5
restart: always
command:
- api
- --prometheus-url=http://prometheus:9090
- --prometheus-external-url=http://localhost:9090
- --api-url=http://pyrra-filesystem:9444
ports:
- "9099:9099"
pyrra-filesystem:
image: ghcr.io/pyrra-dev/pyrra:v0.5.0
restart: always
command:
- filesystem
- --prometheus-url=http://prometheus:9090
volumes:
- ./pyrra:/etc/pyrra
- ./prometheus_pyrra:/etc/prometheus/pyrra
- Prometheus 配置文件示例：
global:
scrape_interval: 5s
scrape_timeout: 3s
evaluation_interval: 5s
rule_files:
- 'pyrra/*.yaml'
scrape_configs:
- job_name: prometheus
static_configs:
- targets:
- localhost:9090
- job_name: svc
static_configs:
- targets:
- svc:8765
- Pyrra SLO 定义示例：
apiVersion: pyrra.dev/v1alpha1
kind: ServiceLevelObjective
metadata:
name: ho11y-api-query
namespace: monitoring
labels:
prometheus: k8s
role: alert-rules
spec:
target: '75.0'
window: 7d
indicator:
ratio:
errors:
metric: ho11y_total{job="svc",http_status_code=~"4.."}
total:
metric: ho11y_total{job="svc"}
- 对应的 Prometheus 记录规则示例：
groups:
- interval: 1m
name: ho11y-api-query-increase
rules:
- expr: sum by(http_status_code) (increase(ho11y_total{job="svc"}[1w]))
labels:
job: svc
slo: ho11y-api-query
record: ho11y:increase1w
- alert: SLOMetricAbsent
expr: absent(ho11y_total{job="svc"}) == 1
for: 1m
labels:
job: svc
severity: critical
slo: ho11y-api-query
通过访问
http://localhost:9099/
，可以查看 Pyrra 着陆页，获取所有 SLO 的概述。
5. 其他 SLO 工具和商业解决方案
- Sloth ：同样使用 Prometheus 生成 SLO，每个 SLO 生成三个规则组，包含记录和警报规则，支持错误预算和燃烧率。
-
商业解决方案
：
- Nobl9 ：完整的 SLO 解决方案，具有深度集成和广泛的覆盖范围。
- Google ：通过 Stackdriver 支持 SLO。
- Datadog ：提供 Service Level Objectives 状态页面和 SLO 摘要小部件。
- Honeycomb ：提供基于跟踪的 SLO 功能。
- Dynatrace ：允许定义 SLO。
- New Relic ：提供服务级别管理功能。
- Splunk ：支持 SLO/SLI 监控。
6. OpenSLO 规范
OpenSLO 是一个新兴的开放规范，用于定义 SLO，实现供应商无关的跟踪和接口。以下是一个 OpenSLO 示例：
apiVersion: openslo/v1
kind: SLO
metadata:
name: ho11y-api-query
labels:
prometheus: k8s
role: alert-rules
spec:
service: ho11y
indicator:
metadata:
name: ho11y-error
displayName: ho11y error
spec:
ratioMetric:
counter: true
good:
metricSource:
metricSourceRef: prometheus-datasource
type: Prometheus
spec:
query: ho11y_total{job="svc",http_status_code~="2.."}
total:
metricSource:
metricSourceRef: prometheus-datasource
type: Prometheus
spec:
query: ho11y_total{job="svc"}
objectives:
- displayName: ho11y total errors
target: 0.75
7. 信号关联的重要性
在云原生系统中，由于多个服务协同工作，单个可观测性信号类型（日志、指标、跟踪和配置文件）通常无法回答所有问题。因此，需要将多个信号类型结合起来，即信号关联。信号关联在以下场景中非常有用：
-
事件响应
：在处理微服务应用的事件时，通过指标 - 跟踪关联找出导致错误的服务。
-
根因分析
：在事件发生后，利用指标 - 日志关联确定故障的根本原因。
-
服务性能改进
：通过跟踪 - 配置文件关联，找出需要优化的服务版本。
8. 信号关联的实施挑战和策略
手动进行信号关联效率低下，因此需要自动化的方法。信号关联是一个基于元数据的过程，通过将不同的信号类型连接起来，以更快、更准确地获得可操作的见解。以下是信号关联的实施步骤：
1.
概念理解
：明确信号关联的定义和工作原理。
2.
工具应用
：使用熟悉的工具实现信号关联。
3.
考虑因素
：在实施过程中，考虑如何更好地集成各个层，以实现更接近全自动化的关联。
综上所述，SLO 和信号关联是云原生系统中不可或缺的部分。通过合理定义 SLO、选择合适的工具和实施有效的信号关联策略，可以提高系统的可靠性、性能和可观测性，为用户提供更好的服务体验。
9. 总结
-
SLO 相关要点
- SLO 是组织定义的目标，用于指导 SLA 的制定。
- SLA 是服务提供商与客户之间的合同约定，基于 SLO 量化承诺。
- SLI 是衡量 SLO 达成程度的实际指标。
- 有开源工具（Pyrra 和 Sloth）和商业解决方案可供选择，实施 SLO 时应基于开放规范（OpenSLO）。
-
信号关联要点
- 单一可观测性信号类型通常无法满足所有需求，需要结合多个信号类型进行关联。
- 信号关联在事件响应、根因分析和服务性能改进等场景中具有重要作用。
- 应采用自动化方法实施信号关联，提高效率和准确性。
通过深入理解和应用 SLO 和信号关联的概念，可以更好地应对云原生系统中的挑战，提升系统的整体质量和可靠性。
云原生可观测性：SLO 与信号关联的深度解析
10. 信号关联的概念解析
信号关联是将不同类型的可观测性信号（如日志、指标、跟踪和配置文件）连接起来的过程，其核心目标是通过元数据驱动，更快速、准确地获取可操作的见解。元数据在其中起到了关键作用，它使得多信号的可观测性能够实现自动化。
一个完整的信号关联过程存在“关联路径”，也就是从一种信号类型过渡到与之相关的另一种信号类型。例如，从一个指标的异常变化，通过关联找到对应的日志信息，从而进一步定位问题。
为了更直观地理解信号关联的架构，我们可以用一个 mermaid 流程图来表示：
graph LR
A[信号类型1] --> B[元数据]
C[信号类型2] --> B
D[信号类型3] --> B
B --> E[关联分析]
E --> F[可操作见解]
这个流程图展示了不同的信号类型通过元数据进行关联分析，最终得出可操作见解的过程。
11. 信号关联在实际场景中的应用
-
事件响应场景
- 当你负责一个基于微服务的应用时，突然收到告警，告警中包含一个指向 Grafana 仪表盘的链接。从仪表盘上，你发现应用的错误率有所增加。
- 此时，你可以利用指标 - 跟踪关联。具体操作是，在指标数据中找到错误率异常的时间段，然后在跟踪数据中查找同一时间段内涉及的服务跟踪信息。通过这种方式，你可以找出哪些服务正在导致错误。
-
根因分析场景
- 在一次事件发生后，你需要找出导致事件的根本原因。首先，指标遥测数据可以为你提供计算环境的信息，如所在区域等。
- 同时，从日志中你可以收集到版本信息，例如使用的库版本、服务本身的版本等。
- 接下来，进行指标 - 日志关联。你可以根据指标数据中的异常点，在日志中查找同一时间点或时间段内的相关日志信息。通过分析这些信息，你可以判断问题是否与特定的机器类型、服务版本或区域有关。
-
服务性能改进场景
- 假设你是一名开发人员，收到一个工单，指出有一定数量的客户反馈某个端点的执行速度变慢。
- 分布式跟踪提供的服务图可以帮助你确定处理该端点请求路径的相关服务。
- 然后，使用跟踪 - 配置文件关联。你可以获取不同服务版本的配置文件信息，并与跟踪数据进行对比。通过分析不同版本的性能差异，找出可以优化的服务版本。
12. 信号关联的工具与实践
在实际操作中，有许多工具可以帮助我们实现信号关联。以下是一些常见的工具及其使用方法：
| 工具名称 | 特点 | 使用方法 |
| ---- | ---- | ---- |
| Grafana | 支持多种数据源的可视化工具，可以将不同信号类型的数据展示在同一个仪表盘上，方便进行对比分析。 | 1. 配置数据源，如 Prometheus、Elasticsearch 等。
2. 创建仪表盘，添加不同类型的面板，如指标面板、日志面板、跟踪面板等。
3. 根据时间范围和其他条件进行数据筛选和展示。 |
| Jaeger | 开源的分布式跟踪系统，可以与其他工具集成，实现跟踪数据与其他信号类型的关联。 | 1. 在应用中集成 Jaeger 客户端，生成跟踪数据。
2. 将 Jaeger 与其他监控系统（如 Prometheus）集成，通过关联跟踪 ID 等信息，实现指标 - 跟踪关联。 |
| ELK Stack（Elasticsearch、Logstash、Kibana） | 用于日志管理和分析的工具栈，可以与其他系统集成，实现日志与其他信号类型的关联。 | 1. 使用 Logstash 收集和处理日志数据。
2. 将日志数据存储到 Elasticsearch 中。
3. 使用 Kibana 进行日志的可视化和查询，通过时间范围和其他条件与其他信号类型的数据进行关联分析。 |
13. 信号关联的未来发展趋势
随着云原生技术的不断发展，信号关联将朝着更加自动化、智能化的方向发展。未来，可能会出现以下趋势：
-
智能关联引擎
：能够自动识别不同信号类型之间的关联关系，无需人工干预。例如，当一个指标出现异常时，智能关联引擎可以自动从其他信号类型中找到相关信息，并进行分析和预警。
-
跨平台关联
：支持在不同的云平台和基础设施之间进行信号关联。随着企业采用多云和混合云架构的增加，跨平台的信号关联将变得越来越重要。
-
实时关联分析
：能够实时处理和关联大量的信号数据，及时发现潜在的问题。在高并发、实时性要求高的场景中，实时关联分析将发挥重要作用。
14. 结论
在云原生系统的复杂环境中，SLO 和信号关联是保障系统可靠性、性能和可观测性的关键要素。通过合理定义 SLO，我们可以为服务设定明确的目标，并通过 SLA 和 SLI 进行量化和监控。同时，信号关联能够帮助我们在面对复杂的问题时，更快速、准确地找到问题的根源，提高系统的响应能力和性能。
在实际应用中，我们应该根据自身的需求选择合适的工具和方法，不断探索和实践，以适应云原生技术的发展趋势。无论是开源工具还是商业解决方案，都应该基于开放标准（如 OpenSLO），以确保系统的兼容性和可扩展性。
总之，深入理解和应用 SLO 和信号关联的概念和技术，将有助于我们在云原生时代构建更加稳定、高效的系统，为用户提供更好的服务体验。
扫一扫
709
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
