OpenTelemetryOTel通过一整套从数据生成到数据收集再到数据导出的标准化流程来解决遥测数据的碎片化问题。其核心思路是在应用层通过标准API生成数据再由一个高度可配置的Collector收集器负责接收、处理和导出。下面我们拆解这个过程。✍️ 第一步标准化生成 (Generation)这是指在你的应用程序中生成遥测数据Traces, Metrics, Logs的过程OTel将其称为插桩Instrumentation。核心组件API 和 SDKAPI定义了一套标准的接口规定了如何创建链路Traces、指标Metrics和日志Logs。SDK是API的具体语言实现。它负责实际的数据生成、处理和导出。OTel为超过12种主流语言提供了官方SDK。两种插桩方式基于代码Code-based开发者在代码中显式调用OTel API可以生成高度定制化的数据。零代码Zero-code通过为流行框架如Spring Boot、Django和基础库如HTTP Client预置的插桩库Instrumentation Libraries自动生成遥测数据对应用代码无侵入。数据标准化语义约定Semantic Conventions为了保证不同服务、不同语言生成的数据在含义上一致OTel定义了语义约定。例如所有HTTP请求都必须使用http.method、http.status_code等标准属性名。这确保了任何OTel兼容的后端都能正确解析和理解这些数据。 第二步标准化收集 (Collection)应用生成数据后需要将它们收集并发送到后端。OpenTelemetry Collector就是负责这项工作的核心组件。Collector的模块化设计Collector是一个独立的代理或服务通过可配置的管道Pipeline来处理数据。一个典型的管道包含三个部分接收器Receivers数据入口定义了Collector如何接收数据。它支持多种协议如OTLP、Jaeger、Prometheus等。处理器Processors数据处理的核心在数据导出前对数据进行一系列处理。常见功能包括数据批处理Batching、过滤Filtering、采样Sampling和数据转换Transforming。导出器Exporters数据出口负责将处理完的数据发送到一个或多个后端系统。OTel支持导出到Jaeger、Prometheus、Datadog等30多种后端。数据流转过程在Collector内部数据按照管道Pipeline的定义流动。一个管道只能处理一种数据类型Traces, Metrics, 或 Logs。数据从接收器进入流经一系列处理器最后到达导出器。每个导出器都会收到一份完整的数据副本Fan-out。下图是一个典型管道的数据流接收器 1处理器 1接收器 2接收器 N处理器 2...处理器 Nfan-out导出器 1导出器 2导出器 N 第三步标准化处理与关联 (Processing Correlation)数据处理不仅发生在Collector的管道里也体现在整个流程的上下文关联上。在Collector中处理如上所述Collector的处理器Processors提供了丰富的数据处理能力如采样、过滤、添加元数据等这是实现数据标准化处理和优化的关键环节。上下文传播与关联Context Propagation这是OTel最具价值的能力之一它能将孤立的信号关联起来。原理当一个服务调用另一个服务时调用方会将一个包含Trace ID和Span ID的上下文Context通过HTTP头等机制传递给被调用方。实现关联基于这个上下文被调用方创建的新Span会成为同一个Trace的一部分。同样SDK也能自动将Trace ID和Span ID注入到日志中从而实现日志与链路追踪的关联。这种机制让开发者能从一个高维度的视角完整地审视一个请求在复杂系统中的完整路径和行为。 总结OpenTelemetry的标准化流程可以概括为应用层通过标准API和SDK生成格式统一的遥测数据。Collector通过可配置的管道接收器 - 处理器 - 导出器灵活、高效地收集和处理这些数据。整个过程通过上下文传播将原本孤立的链路、指标和日志有机地关联起来。下面通过具体的代码示例来演示OpenTelemetryOTel的自动埋点、手动埋点以及Collector的配置。 Python 示例从零开始我们将以一个简单的 Flask 应用为例演示如何通过零代码自动埋点快速接入 OTel。1. 环境准备与安装首先创建项目目录并安装依赖mkdirotel-getting-startedcdotel-getting-started python3-mvenv venvsource./venv/bin/activate# Windows 下为 .\venv\Scripts\Activate.ps1pipinstallflask opentelemetry-distro2. 创建未埋点的应用创建一个app.py文件写入一个简单的“掷骰子”服务fromrandomimportrandintfromflaskimportFlask,requestimportlogging appFlask(__name__)logging.basicConfig(levellogging.INFO)loggerlogging.getLogger(__name__)app.route(/rolldice)defroll_dice():playerrequest.args.get(player,defaultNone,typestr)resultstr(randint(1,6))ifplayer:logger.warning(%s is rolling the dice: %s,player,result)else:logger.warning(Anonymous player is rolling the dice: %s,result)returnresultif__name____main__:app.run(port8080)此时运行python app.py应用还不具备可观测性。3. 通过opentelemetry-instrument自动埋点OTel 提供了一个命令行工具可以自动为 Flask 等流行框架添加埋点无需修改代码。首先运行以下命令它会自动检测并安装当前环境所需的各种插桩库opentelemetry-bootstrap-ainstall接着使用opentelemetry-instrument命令启动你的应用并指定将遥测数据导出到控制台opentelemetry-instrument\--traces_exporterconsole\--metrics_exporterconsole\--logs_exporterconsole\--service_namedice-server\flask run-p8080现在访问http://localhost:8080/rolldice?playerneo你的终端就会打印出详细的 Traces、Metrics 和 Logs 数据。✍️ 手动埋点对比自动 vs 手动自动埋点虽然方便但有时你需要为关键业务逻辑创建自定义的 Span。下面通过对比展示手动埋点如何提供更细粒度的控制。自动埋点 (server_automatic.py)app.route(/server_request)defserver_request():print(request.args.get(param))returnserved手动埋点 (server_manual.py)fromopentelemetryimporttracefromopentelemetry.propagateimportextract tracertrace.get_tracer(__name__)app.route(/server_request)defserver_request():# 手动创建一个 Span并设置其类型和属性withtracer.start_as_current_span(server_request,contextextract(request.headers),kindtrace.SpanKind.SERVER,attributescollect_request_attributes(request.environ),):print(request.args.get(param))returnserved可以看到手动埋点允许你精确控制 Span 的名称、类型SpanKind和属性attributes这在追踪复杂业务逻辑时非常有用。☕️ Java 示例Spring Boot 应用在 Java 生态中OTel 同样提供了强大的支持。1. 添加依赖在你的build.gradle.kts文件中添加 OTel API 依赖dependencies{implementation(io.opentelemetry:opentelemetry-api:1.60.1)}2. 在代码中手动创建 Span你可以在任何 Spring 管理的组件中注入OpenTelemetry实例然后创建自定义 Span。importio.opentelemetry.api.GlobalOpenTelemetry;importio.opentelemetry.api.trace.Span;importio.opentelemetry.api.trace.Tracer;importorg.springframework.web.bind.annotation.GetMapping;importorg.springframework.web.bind.annotation.RestController;RestControllerpublicclassMyController{privatestaticfinalTracertracerGlobalOpenTelemetry.getTracer(my-tracer);GetMapping(/my-api)publicStringmyApi(){// 手动创建一个 Span 来追踪这个方法的执行Spanspantracer.spanBuilder(processing-request).startSpan();try(varscopespan.makeCurrent()){// ... 你的业务逻辑 ...span.setAttribute(custom.key,custom.value);returnHello, OTel!;}finally{span.end();// 记得结束 Span}}}⚙️ OpenTelemetry Collector 配置示例最后来看一个 Collector 的基础配置 (otel-collector-config.yaml)它负责接收、处理和转发遥测数据。receivers:otlp:# 1. 接收器定义如何接收数据protocols:grpc:endpoint:0.0.0.0:4317http:endpoint:0.0.0.0:4318processors:batch:# 2. 处理器对数据进行批处理以提高效率exporters:otlp:endpoint:otelcol:4317# 3. 导出器定义数据发往何处service:pipelines:# 4. 管道将接收器、处理器、导出器串联起来traces:receivers:[otlp]processors:[batch]exporters:[otlp]metrics:receivers:[otlp]processors:[batch]exporters:[otlp]logs:receivers:[otlp]processors:[batch]exporters:[otlp]这个配置启动了一个 OTLP 接收器将收到的 Trace、Metric 和 Log 数据进行批处理后再通过 OTLP 协议导出。 更多资源官方示例库OpenTelemetry 官方提供了涵盖多语言的完整示例项目。Java 代理扩展了解如何通过 Java 代理进行零代码埋点及 API 扩展。简单来说自动埋点让你快速上手手动埋点让你按需定制而Collector则像一个中心枢纽帮你统一管理所有遥测数据。你可以根据自己的需求组合使用这些方式。