为什么要有 Web Agent

LLM 的知识有截止日期。你问它 “LangGraph 当前版本是多少”，它只能告诉你训练数据里的版本。Web Agent 解决这个问题：让 Agent 真正上网查，拿到实时数据再回答。

但 “上网查” 比听起来复杂：

• 网页是 HTML，不是纯文本——直接丢进上下文会带入大量无用标签。
• 一个页面可能有几万 Token——超出 LLM 的处理能力。老实说，
• Agent 可能无限循环——A 页面跳 B。B 页面跳 C，永不停止。
• URL 可以被幻觉——LLM 会编造不存在的链接。不过，

使用者痛点汇总

上述四点是实际使用 LLM 进行网页浏览时最常碰到的阻碍：

1. 上下文噪声导致模型生成错误答案。
2. Token 超限导致调用失败或被截断，信息缺失。
3. 无限递归消耗资源，甚至卡死服务。
4. 幻觉 URL 带来安全风险和错误信息。

这四个问题对应四个工程设计：HTML 清洗、Token Budget、Step Limit、URL 错误处理。这篇文章把这些拼成一个可运行的 Web Agent。

架构设计

整体是标准的 LangGraph 双节点图：

使用者问题 │ ▼
┌─────────────────────────────────────┐
│ agent_node │
│ SystemPrompt + messages → LLM │
│ bound_llm.invoke │
└────────┬────────────────────────────┘
│ 有 tool_calls?┌────┴─────┐ 是 否
│ ▼ ▼
tools_node END
web_search /fetch_page │
└──→ agent_node

State 只有两个字段：

class WState:
messages: Annotated # 累积消息
说到steps。int # 已用步数

steps 是 Web Agent 特有的计数器——普通 Agent 不需要显式计步，但 Web Agent 可能在页面间无限跳转，必须有硬限制。

两个工具

web_search：DuckDuckGo 搜索

@tooldef web_search -> str:
"""
Search web with DuckDuckGo.
Returns up to N results,each with title,snippet,and URL.
Use URLs from results to call fetch_page — never invent URLs.
"""
try的观点是，resp = requests.get(
从"https来看，//html.duckduckgo.com/html/",params={"q": query},headers=HEADERS,timeout=10,)
soup = BeautifulSoup
results =
for i。block in enumerate):
if i>= 5:
break
title = or soup.new_tag).get_text
snippet = or soup.new_tag).get_text
url_raw = or soup.new_tag).get_text
url = f"https://{url_raw}" if url_raw and not url_raw.startswith else url_raw
results.append
return "
".join if results else "No results found."
except Exception as exc:
return f"Search error: {exc}"

用的是 DuckDuckGo HTML 接口，不需要 API Key。解析 .result CSS 类。提取标题、摘要、URL，返回结构化文本给 LLM。

工具描述里加入关键指令：“Use URLs from results to call fetch_page — never invent URLs`”。这是防止 URL 幻觉的第一道防线——在 Prompt 层面明确告诉模型 URL 必须来源于搜索结果。话说回来，

fetch_page：页面抓取 + 清洗

@tooldef fetch_page -> str:
"""
Fetch a web page and return its cleaned text .
Only call with real URLs obtained from web_search results.
"""
再看try。resp = requests.get
resp.raise_for_status
full_text = clean_html
orig_tokens = count_tokens
displayed = truncate_to_budget
shown_tokens = min
return (
f"
"
f"
"
f"{displayed}"
)
except requests.HTTPError as exc:
return f"HTTP {exc.response.status_code} — could not fetch {url}"
except requests.ConnectionError:
return f"Connection error — {url} may not exist or be unreachable"
except Exception as exc:
return f"Error fetching {url}: {type.__name__}: {exc}"

再看分三步，

1. clean_html: 使用 BeautifulSoup 去掉