当 Prometheus 触发了一条告警订单服务 P99 延迟超过 2 秒你想立刻看到是哪些慢请求、哪些错误堆栈导致了延迟飙升然后定位到具体是哪一步数据库调用慢——这就是 Metrics、Logs、Traces 三者协同的经典场景。VictoriaMetrics 家族VictoriaMetrics VictoriaLogs VictoriaTraces让这种协同从 理想 变成 开箱即用。读完本篇你应该能回答VictoriaLogs/VictoriaTraces 与 VictoriaMetrics 是什么关系LogQL 和 MetricsQL 如何统一设计MetricsLogsTraces 一体化监控如何落地Grafana 如何实现三数据源联合查询VictoriaMetrics VictoriaLogs VictoriaTraces MetricsQL LogQL 一体化监控 vmui Grafana Promtail 可观测性 OTLP学习重点必须掌握MetricsLogsTraces 三支柱协同架构、LogQL 语法、Grafana 联合查询需要理解VictoriaLogs/VictoriaTraces 数据接入、与 Loki/Jaeger 的差异一、可观测性三支柱Metrics、Logs、Traces思考记忆提示— Metrics 告诉你什么坏了Logs 告诉你为什么坏了关联前面章节#04 整体数据流、#11 CNCF 生态、#70 Prometheus API 兼容关联工具vmagent、Promtail、vmui、Grafana面试/考试高频提问Metrics 和 Logs 各自适用什么场景为什么要协同在云原生监控领域Metrics指标、Logs日志、Traces链路是可观测性的三大支柱每一种都回答不同的问题Metrics指标聚合的、低成本的数值型数据回答什么坏了——比如订单服务 P99 延迟飙升。典型代表Prometheus、VictoriaMetrics。Logs日志详细的、原始的事件记录回答为什么坏了——比如这次慢请求是因为数据库查询超时。典型代表Elasticsearch、Loki、VictoriaLogs。Traces链路跨服务的请求追踪回答哪里坏了——比如延迟发生在第 3 步数据库调用。典型代表Jaeger、Zipkin。三大支柱不是孤立的而是互补协同的。Metrics 发现异常 → 通过 traceID 跳转到 Traces 查看调用链 → 通过 requestID 跳转到 Logs 查看具体错误堆栈——这是现代可观测性平台的金标准工作流。我理解源码的意思是说可观测性三支柱各有优势和局限互补构成完整体系Metrics定期采集聚合数值发现异常触发告警。优点是快、便宜、能看趋势缺点是粒度粗看不到具体病因。Logs记录原始事件详情提供完整上下文。优点是有上下文、能看到细节缺点是量大。Traces跨服务请求追踪定位延迟发生在哪一步。优点是能看到全链路缺点是开销大、采样率受限。VictoriaMetrics 家族VM VictoriaLogs VictoriaTraces覆盖可观测性三支柱VictoriaMetrics处理 metricsPrometheus 兼容VictoriaLogs处理 logsLogQLLoki 兼容VictoriaTraces处理 traces支持 OTLP 协议兼容 Jaeger/Tempo API三者的优势是统一的 label 关联机制——同一个请求的 metric、log、trace 用相同的 label 标识无需额外配置就能在 vmui 里联合查询。1.1 VM 家族的三产品战略MetricsLogs TracesVictoriaMetrics 公司推出了 VictoriaMetrics、VictoriaLogs、VictoriaTraces 三款产品覆盖可观测性三支柱。三者共享相似的架构哲学单二进制部署、MergeSet 存储引擎、本地 SSD 优先。设计精髓VictoriaMetrics 和 VictoriaLogs 共用部分核心库包括 storage、encoding、mergeset、fs 等。VictoriaLogs 在 MergeSet 引擎上构建 LogQL 查询实现与 VictoriaMetrics 的协同。具体复用程度请参考 VictoriaLogs 源码github.com/VictoriaMetrics/VictoriaLogs。对比维度VictoriaMetricsVictoriaLogs数据类型数值型float64/int64文本型任意 UTF-8 字符串查询语言MetricsQLPromQL 扩展LogQLGrafana Loki 兼容 VM 扩展核心库lib/storage, lib/mergesetvlstorage基于 lib/mergeset压缩策略NearestDelta 等 6 种数值算法字典压缩 增量编码索引结构indexDB8 种 nsPrefix类似 indexDB针对 log labels写入协议Prometheus remote_writeJSON / Loki push API / syslog查询协议Prometheus HTTP APILogsQL HTTP API / Grafana Loki API必记闭环逻辑核心考点可观测性三支柱Metrics/Logs/Traces解决不同问题协同工作流是Metrics 发现异常 → Traces 看调用链 → Logs 看错误堆栈。VictoriaMetrics 公司的产品矩阵覆盖全部三支柱VictoriaMetrics 处理 metricsVictoriaLogs 处理 logsVictoriaTraces 处理 traces三者均为独立开源产品。Metrics 和 Logs 在 vmui 中实现联合查询。二、LogQL 与 MetricsQL 的统一设计哲学思考记忆提示— LogQL 是 Loki 兼容 VM 扩展关联前面章节#56 PromQL 执行引擎、#57 MetricsQL vs PromQL关联工具Grafana 数据源配置、vmui 查询构建器面试/考试高频提问VictoriaLogs 的 LogQL 和 Grafana Loki 的 LogQL 有什么区别LogQLLoki 查询语言最初由 Grafana Loki 定义。VictoriaLogs 在保持兼容的基础上做了大幅扩展让 LogQL 拥有接近 PromQL 的表达力。2.1 LogQL 基础语法LogQL 查询由过滤表达式和管道聚合两部分组成LogQL 查询语法 │ ├── 【过滤表达式】筛选日志条目 │ ├── label filter: {apporder-service, levelerror} │ ├── line filter: timeout或database.*error │ └── 组合: {apporder} | error ! healthcheck │ └── 【管道聚合】对结果做统计 ├── 数值函数: | rate(), count_over_time() ├── 聚合函数: | sum by (app) (rate(...)) ├── 解析函数: | unpack, regexp, line_format └── 数学运算: | / 1000, 1, * 0.5一个完整示例sum by (app) (rate({apporder-service, levelerror}[5m]))意思是过去 5 分钟内、订单服务、错误日志、按 app 聚合的速率。2.2 VictoriaLogs 对 LogQL 的扩展VictoriaLogs 在兼容标准 LogQL 基础上新增了多个扩展函数让 LogQL 拥有类似 PromQL 的能力。具体函数列表和数量请参考 VictoriaLogs 官方文档docs.victoriametrics.com/victoria-logs/querying/。扩展函数功能类比 PromQLstats统计函数uniq/count/sum/avg/max/mincount、sumpartition分组聚合by (...)sort排序topk/bottomklimit限制返回数量无直接对应offset分页偏移无直接对应fields提取字段label_replacefield_names列出所有字段无直接对应values提取字段值无直接对应row行操作无直接对应copy复制字段无直接对应rename重命名字段label_replacedelete删除字段无直接对应pack打包字段为 JSON无直接对应unpack解包 JSON无直接对应这些扩展让 VictoriaLogs 摆脱了只能做日志查询的局限可以处理半结构化数据如 JSON 日志完成类似 SQL 的复杂分析。实战技巧从 PromQL 用户过渡到 LogQL如果你熟悉 PromQLLogQL 几乎可以零成本学习PromQL 的 {labelvalue} 选择器 LogQL 的 {labelvalue} 选择器语法完全一致PromQL 的 rate(metric[5m]) LogQL 的 rate({...}[5m])PromQL 的 sum by (app) (...) LogQL 的 sum by (app) (...)唯一的差异是 LogQL必须以 | 管道开头才能做 line filter按日志内容筛选必记闭环逻辑核心考点LogQL 是 VictoriaLogs 的查询语言完全兼容 Grafana Loki 的标准 LogQL并扩展了多个独有函数stats/partition/sort/fields 等。LogQL 的核心是过滤表达式label filter line filter 管道聚合统计函数 解析函数。对熟悉 PromQL 的用户几乎零学习成本。三、数据接入从日志产生到 VictoriaLogs 存储思考记忆提示— 日志接入有两种方式vmagent 复用 Promtail 专用关联前面章节#71 vmagent 架构、#88 streamaggr 实时聚合关联工具vmagent、Promtail、Fluent Bit、Filebeat、syslog面试/考试高频提问如何把 k8s 中的容器日志采集到 VictoriaLogsVictoriaLogs 支持多种数据接入方式覆盖了云原生环境的几乎所有日志源。3.1 5 种主流接入方式VictoriaLogs 数据接入全景 │ ├── 【1. vmagent 推送】推荐 │ └── vmagent 抓取 /var/log/containers/*.log解析为 syslog 格式推送到 VL │ 优势: 复用 vmagent无需额外部署 │ 适用: k8s DaemonSet 部署统一采集 │ ├── 【2. Promtail / Loki 推送】Loki 生态 │ └── Promtail 用 Loki push API 写入VictoriaLogs 兼容该 API │ 优势: Grafana 生态成熟文档多 │ 适用: 已部署 Promtail 的环境 │ ├── 【3. Fluent Bit / Fluentd】CNCF 生态 │ └── 通过 fluent-bit 插件或 HTTP output 推送 │ 优势: 生态最广400 插件 │ 适用: 复杂日志解析需求 │ ├── 【4. Filebeat / Logstash】Elastic 生态 │ └── 配置 http output 推送到 VictoriaLogs │ 优势: ELK 生态成熟 │ 适用: 已有 ELK 栈的环境 │ └── 【5. 直接 HTTP POST】轻量场景 └── curl 推送 JSON 日志 优势: 简单直接无需 agent 适用: 应用直接写入、调试场景3.2 推荐方案vmagent k8s DaemonSet在 Kubernetes 环境中最推荐用vmagent DaemonSet采集容器日志。vmagent 复用 Prometheus 抓取配置天然支持 k8s 服务发现和 relabel# vmagent 配置示例抓取容器日志并推送到 VictoriaLogs scrape_configs: - job_name: k8s-pods-logs kubernetes_sd_configs: - role: pod relabel_configs: # 把 k8s label 提取为 log label - source_labels: [__meta_kubernetes_pod_label_app] target_label: app - source_labels: [__meta_kubernetes_pod_name] target_label: pod - source_labels: [__meta_kubernetes_namespace] target_label: namespace # 推送到 VictoriaLogs remote_write: - url: http://victoria-logs:9428/insert/loki/api/v1/push # VictoriaLogs 兼容 Loki push API # 启动 vmagent 时加上 syslog 监听 # vmagent -syslog.listenAddr:1514vmagent 会监听容器运行时containerd/CRI-O的日志目录 /var/log/containers/*.log解析为 syslog 格式附带 k8s metadata然后推送到 VictoriaLogs。避坑指南syslog 格式 vs Loki 格式vmagent 推送日志时有两种格式可选syslog 格式/insert/syslog标准 RFC5424 格式适合应用直接 syslog 输出Loki push API 格式/insert/loki/api/v1/pushJSON streams 格式适合 Promtail/Fluent Bit 等已有 agent 推送推荐Loki push API 格式因为它支持 JSON 嵌套字段更适合现代结构化日志。必记闭环逻辑核心考点VictoriaLogs 支持 5 种主流数据接入方式vmagent DaemonSet 是 k8s 环境推荐方案。vmagent 复用 Prometheus 抓取配置通过 syslog 监听或 Loki push API 推送到 VictoriaLogs。整个接入链路无需额外学习成本对熟悉 PromQL/Promtail 的用户。四、Grafana 三数据源联合查询实战思考记忆提示— 联合查询通过 Grafana 变量联动 Data Links 实现关联前面章节#11 CNCF 生态、#70 Prometheus API 兼容、#91 Grafana 集成关联工具vmui、Grafana Explore、Grafana Data Links面试/考试高频提问如何从一条 metrics 告警跳转到对应的日志和链路MetricsLogsTraces 协同的最高价值是从异常指标一键跳转到关联日志和链路。在 v1.146.0 版本中vmui 提供独立的 Metrics 页面ExploreMetrics和 Trace 页面TracePage而三数据源联合查询主要通过 Grafana 实现。4.1 vmui 的实际页面结构vmui 包含以下核心页面通过 URL 路径访问/#/exploreExploreMetrics指标发现和快速查询/#/traceTracePageJSON 文件导入查看链路/#/custom-panel自定义面板支持 Metrics Traces 联合展示/#/alert告警规则管理重要澄清vmui 没有独立的 Logs 查询页面vmui 在 v1.146.0 中没有内置的 Logs 查询面板。日志查询需要通过以下方式部署独立的 VictoriaLogs 实例访问其自带 UI在 Grafana 中添加 Loki 类型数据源VictoriaLogs 兼容VictoriaLogs 提供独立的 Web UI可通过 http://victoria-logs:9428/ 直接访问。4.2 Grafana 三数据源联合查询在 Grafana 中可以通过变量联动 Data Links实现 Metrics Logs Traces 三者联合查询# Grafana Dashboard JSON 配置片段 panels: # 1. 指标面板VictoriaMetrics 数据源 - title: P99 延迟 datasource: prometheus # 配置为 VictoriaMetrics targets: - expr: histogram_quantile(0.99, rate(http_request_duration_seconds_bucket{app~$app}[5m])) legendFormat: {{status}} # Data Link点击指标跳转到 Logs links: - url: http://grafana:3000/explore?schemalokiqueries... title: 查看相关日志 params: expr: {app${__field.labels.app}, levelerror} # 2. 日志面板VictoriaLogs 数据源通过 Loki 兼容 - title: 错误日志 datasource: loki # 配置为 VictoriaLogs targets: - expr: {app~$app, levelerror} | timeout refId: B # 3. 变量定义让多个面板联动 templating: variables: - name: app type: query datasource: prometheus query: label_values(http_request_duration_seconds_bucket, app)4.3 Metrics→Traces→Logs 完整工作流三数据源联合的金标准工作流通过 traceID 串联三数据源联合查询工作流 │ ├── 【Step 1】vmui 发现异常 │ └── Metrics 面板显示 P99 延迟突刺 │ ├── 【Step 2】Grafana 跳转 Traces │ └── 通过 Data Link 携带 traceID 跳转到 Jaeger/VictoriaTraces │ └── 查看完整调用链定位到 slow span │ ├── 【Step 3】跳转 Logs 查详情 │ └── 从 trace span 获取 traceID │ └── 查询 VictoriaLogs: {trace_idxxx} │ └── 获取该请求的完整错误堆栈 │ └── 【核心】统一 label 关联 └── 同一请求共享: app, trace_id, request_id └── 三数据源无缝跳转实战技巧vmui Grafana 组合使用vmui快速发现指标异常、查看告警、探索 Metrics 命名Grafana复杂 Dashboard、变量联动、Data Links 跳转VictoriaLogs UI独立日志查询、LogQL 调试三者组合使用覆盖可观测性全场景。必记闭环逻辑核心考点vmui 在 v1.146.0 中没有内置 Logs 查询面板三数据源联合查询主要通过Grafana实现。核心机制是变量联动多个面板共用相同变量筛选和Data Links点击跳转到其他数据源。完整工作流是 Metrics 发现异常 → 跳转 Traces 定位慢调用 → 跳转 Logs 查错误堆栈通过 traceID 串联。五、Grafana 三数据源集成Metrics Logs Traces 联动思考记忆提示— Grafana 是 VM 家族三产品联合查询的最佳入口关联产品VictoriaMetricsPrometheus 数据源、VictoriaLogsLoki 数据源、VictoriaTracesJaeger/Tempo 数据源关联工具Grafana Explore、Grafana Data Links、Grafana Variables核心机制变量联动 Data Links 跨数据源跳转Grafana 是 VM 家族三产品联合查询的最佳入口。通过添加三个数据源、配置变量联动和 Data Links可以实现 Metrics → Traces → Logs 的完整可观测性工作流。5.1 Grafana 数据源配置在 Grafana 中添加三个数据源数据源名称Grafana 类型URL备注VictoriaMetricsPrometheushttp://victoriametrics:8428支持 Prometheus HTTP APIVictoriaLogsLokihttp://victoria-logs:9428VL 兼容 Loki HTTP APIVictoriaTracesJaeger 或 Tempohttp://victoria-traces:9417VT 兼容 Jaeger API数据源配置步骤登录 Grafana → Configuration → Data Sources点击 Add data source搜索 Prometheus填写 VictoriaMetrics URL保存搜索 Loki填写 VictoriaLogs URL保存搜索 Jaeger填写 VictoriaTraces URL保存