手把手教你给 Agent 加上联网能力,WebSearch + WebFetch 让 Agent 知道世界发生了什么。
大家好,我是二哥呀。
我们给 PaiCLI 搭好了 ReAct、Plan-and-Execute、Memory、RAG 检索、Multi-Agent。现在这个终端 Agent 已经像模像样了。
但它还没办法进行联网搜索。

要让 PaiCLI 能实时获取外部信息,就得给它接上 web_search(联网搜索)和 web_fetch(网页抓取)两个工具。
这一期我们对照 PaiCLI 的最新源码,把联网搜索、网页抓取和安全防护这一整套机制讲清楚:
- 为什么要把
web_search和web_fetch拆成两个独立的工具; - 怎么适配搜索源;
- 怎么在 DeepSeek 远端抓取和本机
WebFetcher之间自动切换,怎么把 HTML 提取成干净的 Markdown; - 怎么拦截 SSRF 内网探测、未授权的 URL、网页提示词注入和长期记忆污染。
01、联网搜索与抓取的实测效果
先看 PaiCLI 接上联网工具之后的实际效果。我们在终端里输入提示词“搜一下沉默王二是谁”。
PaiCLI 默认配置的是 DeepSeek,就会调用 DeepSeek 的 web_search 工具,从 DeepSeek 的搜索接口获取实时结果。

拿到搜索返回的标题、摘要和来源链接后,模型把这些信息整理成了一段人物介绍。
沉默王二是国内一位知名的 Java 技术博主、自媒体作者。

搜索摘要里的个人座右铭“没有什么可以使我停留,除了目的,纵然岸边有绿荫,有宁静的港湾,我是不系之舟”也被一并提取了出来。

再看网址的抓取场景。我们输入提示词“paicoding.com 今天有没有更新啊”。提示词里已经给出了明确的域名,所以 PaiCLI 会选择调用 web_fetch 工具,从 DeepSeek 的抓取接口获取页面正文。

Agent 从首页出发,依次读取了教程页、文章列表页和站点地图。

这次实测(2026 年 11 月 12 日)中,web_fetch 只返回了部分首页内容,模型又通过浏览器读取首页,列出了 Transformer、MCP、RAG、Agent Skills 等 9 篇文章。结果仅覆盖首页第一页,模型给出了以下观察:
这 9 篇的时间戳完全一致(16:09),作者都是「管理员」,阅读数只有十几、评论和点赞均为 0,更像是一次性批量上架,而不是零散发布。

整个过程不用离开终端去开浏览器,也不用手动复制粘贴网页内容。接下来我们拆解这套机制的源码设计。
02、为什么拆成两个工具

很多同学第一反应是,何必拆成两个?做一个“搜完顺手把前几名网页全抓回来”的工具不是更省事吗?
问题出在 Token 上。
web_search 解决的是“不知道信息在哪个网址”。一次返回 5 到 10 条结果,每条只有标题、网址和摘要,加起来几百个 Token。像“某个库的最新版本号是多少”这类问题,看摘要就够了。
web_fetch 解决的是“知道网址了,要细读全文”。一个页面转成 Markdown 动辄几千字。要是每次搜索都把前 5 个网页全抓回来,上下文里一下子多出三四万字,大部分和问题无关,响应变慢不说,真正重要的信息也被淹没了。
拆开之后,模型可以先看摘要,挑出最相关的一两个链接,真有必要再去读全文。

另外,这两个工具都只读、不改任何东西,所以被加进了并行白名单。模型可以同时查三个库的版本,或者同时抓几个已知网址,PaiCLI 会用最多 4 个线程并发执行,再按原来的顺序把结果交回给模型。
但如果是“先搜出链接,再抓这个链接”,就必须分两轮调用。
03、怎么适配四家搜索源
每个人手里的 API Key 不一样,有的用 DeepSeek,有的用智谱,有的用 SerpAPI,还有的想用 Docker 部署一个免费的 SearXNG。代码里要是写死某一家,没有这家 Key 的用户就只能干瞪眼。
所以 PaiCLI 用策略模式定义了一个 SearchProvider 接口:
// src/main/java/com/paicli/web/SearchProvider.java
public interface SearchProvider {
String name();
boolean isReady();
String unavailableHint();
List search(String query, int topK) throws IOException;
}
search 负责搜索,这个好理解。
值得一提的是 isReady() 和 unavailableHint(),命令行工具跑在每个人自己的电脑上,用户还没配 Key 就让 Agent 去搜,是经常发生的事。这时候与其抛异常把 Agent 打断,不如返回一句“请在 .env 里配置某某 Key”,让模型转告用户。

基于这个接口,PaiCLI 实现了四家搜索源。
- DeepSeek:默认首选,直接复用
DEEPSEEK_API_KEY - 智谱:复用
GLM_API_KEY,可选标准...
未能定位到原文的划线
企业级Agent工作流编排项目PaiFlow
Vibe Coding版本的PaiAgent
派聪明RAG AI知识库Java版本+Go版本
微服务 PmHub、技术派、MYDB
求职派JobClaw(OpenClaw/Hermes架构
PaiCLI(类似Claude Code的Agent
派简历(代码已完成)
等实战项目。
1. 微信扫右侧的优惠券加入知识星球
2. 解锁星球的实战项目教程和源码: 项目源码+教程获取
暂无评论
回复