href="https://www.cnblogs.com/ljbguanli/p/19623470"

title="发布于

aria-level="2">实用指南：Elasticsearch：监控

LLM

src="https://i-blog.csdnimg.cn/direct/f2ab20c7543a4b419988277a0fb3abbf.webp"

OpenRouter

的文档。

---

每周都会发布新模型，在智能性、速度或成本方面超越之前的模型。

这使供应商锁定变得有风险，并让管理多个连接器、计费账户和

API

消耗、响应延迟，以及与特定工具集的兼容性。

在本文中，我们将构建一个

生成新字段，然后创建一个

src="https://i-blog.csdnimg.cn/direct/6634478b94624cc0a106c529bb1b5078.webp">

在摄取数据时，摄取流水线使用

OpenRouter

Elasticsearch。

类似地，当与使用这些数据的

Agent

key：

• OPENROUTER_API_KEY

  Agent

  交互

• OPENROUTER_INGESTION_KEY

  用于推理流水线

这样可以在监控仪表板中区分不同流量，并将成本归因到具体的工作流。

设置

首先，我们需要创建一个

连接器，用于让

）交互，并为摄取流水线创建一个推理端点，用于从描述中提取字段。

两者都通过同一个

API

os.environ["OPENROUTER_AGENT_KEY"]

os.environ.get("OPENROUTER_INGESTION_KEY",

OPENROUTER_API_KEY)

Connector","connector_type_id":

".gen-ai","config":

"https://openrouter.ai/api/v1/chat/completions","defaultModel":

"openai/gpt-5.2","enableNativeFunctionCalling":

True},"secrets":

requests.post(f"{KIBANA_URL}/api/actions/connector",headers={"kbn-xsrf":

f"ApiKey

{ELASTIC_API_KEY}","Content-Type":

"application/json"},json=connector_payload

connector

{connector['id']}")

我们为

GPT-5.2，因为它需要处理复杂查询和工具编排。

创建推理端点

推理端点允许

Elasticsearch

Elasticsearch(hosts=[ELASTIC_URL],api_key=ELASTIC_API_KEY,request_timeout=60

Higher

"openai/gpt-4.1-mini","api_key":

OPENROUTER_INGESTION_KEY,"url":

"https://openrouter.ai/api/v1/chat/completions"}

response

es.inference.put(inference_id="openrouter-inference-endpoint",task_type="completion",body=inference_config

print(f"Inference

{response['inference_id']}")

GPT-4.1

Mini，因为这些任务不需要高级推理能力。

数据

pipeline（ingest

可用于过滤和聚合的结构化类别。

例如，给定以下产品描述：

“Premium

wireless

use.”

我们可以提取：

• Category/类别：Headphones
• Features/特性：["wireless","noise_cancellation","long_battery"]
• Use

  case/使用场景：Travel

关键在于向

LLM

enum，这样它才能进行一致的分组。

否则，可能会得到诸如“noise

cancellation”“ANC”“noise-canceling”等不同变体，从而更难进行聚合。

Headphones/Earbuds/Speakers/Microphones/Accessories),

""features

wireless/noise_cancellation/long_battery/waterproof/voice_assistant/fast_charging/portable/surround_sound),

""use_case

Travel/Office/Home/Fitness/Gaming/Studio).

""Description:

ctx.description"}},{"inference":

{"model_id":

"openrouter-inference-endpoint","input_output":

{"input_field":

es.ingest.put_pipeline(id="product-enrichment-pipeline",body=pipeline_config

print("Pipeline

product-enrichment-pipeline")

在使用

处理器将它们展开为新的字段。

现在让我们索引一些示例音频产品：

es.indices.create(index="products-enriched",body={"mappings":

{"properties":

enumerate(products):es.index(index="products-enriched",id=i,body=product,pipeline="product-enrichment-pipeline")print(f"Indexed:

{product['name']}")

es.indices.refresh(index="products-enriched")

Agent

agent，使用该索引，并利用我们创建的新字段来回答文本问题和分析型查询：

"audio-product-assistant","name":

"Audio

["platform.core.search","platform.core.list_indices","platform.core.get_index_mapping","platform.core.execute_esql"]}],"instructions":

"""You

requests.post(f"{KIBANA_URL}/api/agent_builder/agents",headers={"kbn-xsrf":

f"ApiKey

{ELASTIC_API_KEY}","Content-Type":

"application/json"},json=agent_payload

agent

travel?/我们有哪些适合旅行的耳机？

”

“Show

products

category?/按类别的平均价格是多少？

”

agent

增强字段来提供更好的过滤和聚合。

实现

OpenRouter

Broadcast

现在我们来设置推理监控。

首先，我们需要

OpenTelemetry

class="hljs">https:///app/observabilityOnboarding/otel-apm/?category=application

从

src="https://i-blog.csdnimg.cn/direct/c0a6962a09774a4dba5b2cbb4160411a.webp">

重要提示：你的

Kibana

src="https://i-blog.csdnimg.cn/direct/036c3c3c3565404ca80304dc46ceb19e.webp">

重要提示：配置端点时使用

/v1/traces

https://xxxxx.ingest.us-east-2.aws.elastic-cloud.com:443/v1/traces

Headers:

YOUR_APM_SECRET_TOKEN"}

点击

connection，你应该会看到成功消息。

在

Elastic

"openrouter"，并包含以下信息：

• Request

  and

  information.

从现在开始，推理流水线和

Agent

src="https://i-blog.csdnimg.cn/direct/c4551884e668449e92e219f3cd2dbcf6.webp">

服务视图显示：

• Latency/延迟：所有调用的平均响应时间
• Throughput/吞吐量：每分钟请求数
• Failed

  transactions/失败事务：错误率

• Transactions/事务：按操作类型的细分

自定义

LLM

监控仪表板

为了更好地控制显示的信息，你可以创建自定义仪表板。

我们创建了一个，可以区分摄取和

agent

src="https://i-blog.csdnimg.cn/direct/f094c910c0c44e70a3a9620dbe942aab.webp">

仪表板显示：

• 按工作流类型的成功率
• 按模型的

  token

  的成本细分

• 随时间变化的延迟趋势
• 模型对比指标

你可以在此下载仪表板，并通过

Saved

实例中。

结论

OpenRouter

API

Broadcast，我们可以轻松监控这些模型在摄取流水线中的表现或通过

Agent

和应用程序。

原文：https://www.elastic.co/search-labs/blog/llm-monitoring-openrouter-agent-builder