AI Agent 面试题第四弹：MCP、Chrome DevTools、CDP 会话复用

这段文本描述的是 **MCP 的 `tools/call` 返回结果中，`image` 类型数据的具体处理流程**。我来逐层拆解： --- ## 背景：`tools/call` 的返回结构 MCP Server 调用工具后，返回的是一个 `content` 数组，每个元素都有 `type` 字段。其中 **`image` 类型**表示工具执行结果是图片数据（通常以 base64 编码的字符串形式返回）。 --- ## 处理流程拆解 ### 第一步：解码 base64 图片数据在 MCP 协议中是以 **base64 编码的字符串**传输的。所谓 base64，就是把二进制图片数据转成纯文本的编码方式，方便在 JSON 里传输。所以第一步就是**把 base64 字符串还原成原始的二进制图片数据**。 ### 第二步：成功 → 生成图片附件 解码成功后，PaiCLI 会把这张图片生成一个**附件对象**，塞进下一轮发给 LLM 的消息里。这样 LLM 就能"看到"这张图片——比如截了一张网页的图，LLM 就能基于截图内容分析布局、识别元素、判断下一步操作。 ### 第三步：失败 → 降级为文本提示 如果解码失败了，原因可能是： - **图片太大**，超过了 LLM 的上下文窗口或附件大小限制 - **格式不支持**，比如某些 LLM 只接受 JPEG/PNG，不接受 WebP 或其他格式 遇到这种情况，系统不会直接报错中断流程，而是**降级处理**：给 LLM 返回一段文本提示，告诉它"图片处理失败了，你可以用 `take_snapshot` 工具获取 DOM 文本快照代替"。`take_snapshot` 是浏览器 MCP 的一个工具，能获取当前页面的 DOM 结构文本，虽然不如图片直观，但 LLM 依然能从中理解页面内容。 --- ## 为什么这么设计？ 这套流程背后是**容错 + 渐进式降级**的思想： | 场景 | 处理方式 | 对 LLM 的影响 | |------|---------|--------------| | 图片解码成功 | 直接给 LLM 看图 | 最直观，LLM 能获取视觉信息 | | 图片解码失败 | 提示用 take_snapshot 取 DOM | 牺牲视觉信息，保留结构化文本信息 | **核心原则**：不要因为一个工具的结果格式处理失败就让整个链路断掉，而是换一种 LLM 能理解的信息形式继续推进任务。这也体现了 MCP 客户端设计中对"LLM 能力边界"的充分考量——不是所有 LLM 都支持图片输入，所以必须有一套完整的降级策略。