阿里员工：羡慕隔壁组做 Qoder 的，感觉每天一个新花样，年终奖肯定少不了，算是踩中了 AI 时代的红利啊（附Agent面试题）

说实话，我自己也是Qoder系列产品的重度使用者，感觉确实发展快。

一开始，我看有些小伙伴反馈嫌贵，单由于接的是某海外顶级模型，价格比国内模型肯定贵一些。

但Claude Code和Codex也不是每个人都能用得上，所以Qoder反而在国内成为了不错的替代品。

他们最近新开源的 Better Harness 我看了一下，确实都是Agent时代值得去参考和借鉴的东西。

https://github.com/QoderAI/better-harness

我也第一时间接入到了我自己的Coding产品PaiCLI中。

同样开源：https://github.com/itwanger/PaiCLI-Python

就目前来说，最成功的 AI 产品当属 Claude Code和Codex，其次就是Qoder、WorkBuddy这些国内的 Agent，那“羡慕隔壁组做 Qoder 的”绝对是最真实的心声。

对于传统业务，最好的结果无非就是优化存量，但 AI 工具团队却在创造增量，说不羡慕，那绝对是嫉妒。😄

AI Coding 方向的迭代速度极快，团队每天都有新的、可见的产出。在大厂，可见的产出等于可见的绩效。可见的绩效等于年底的丰厚年终奖。

原因很简单——程序员是大模型落地最直接的用户群体，AI Coding 工具的使用频次和付费意愿远高于其他场景。再加上，Agent 让那些原本不具备开发能力的群体也能产出自己的产品。

这意味着 Agent 方向的岗位未来两三年只会越来越多。

限流、熔断、异步队列、幂等设计、调用追踪、灰度发布——这些在三高时代积累的工程能力，在 Agent 产品化的过程中一个都不能少。

以前管的是 HTTP 请求，现在你管的是 LLM 调用。上下文窗口是新的内存管理，token 预算是新的 QPS 限流，工具调用是新的 RPC 网关。

做 Agent 不需要去训模型、搞推理加速、写 CUDA。它需要的是你能把大模型的能力包装成一个可靠的服务——能扛住流量、能处理异常、能追踪问题、能持续迭代。

如果你是一位愿意在自己的节奏下学一些新东西的人，那接下来这份 Agent 面试题，可以好好读一读。

（全文比较肝，保证大家能学到很多很多，系好安全带，我们粗粗粗粗发～）

场景题

在淘天高并发场景下，将 Agent Demo 改造为能支撑“双十一”级别流量的生产系统，最大的架构挑战是什么？

老王翻了翻简历上的项目经历，开口就是一个很难的场景题：“假设你来我们淘天，要把一个实验性质的 Agent Demo 改造成能扛双十一的生产系统，你觉得最大的架构挑战是什么？”

“最大的挑战是 LLM API 会成为单点瓶颈。”

“传统微服务扛流量的思路是水平扩容——流量大了加实例，实例不够加节点。但 Agent 系统的核心依赖是 LLM API 调用，这东西有三个特性让它没法用传统思路来扩。”

“第一，延迟量级不同。HTTP 接口的响应时间是毫秒级，LLM 接口是秒级。一个 Agent 处理一次用户请求可能需要 3 到 5 次 LLM 调用，每次两三秒，加起来就是十几秒，长程任务甚至需要几个小时。传统的同步请求模型在这种延迟下会把线程池打满。”

“第二，QPS 有上限。不管你扩多少个 Agent 实例，它们都在调同一个 LLM 端点。模型提供商给你的 RPM（Requests Per Minute，每分钟请求数）配额是固定的，假如是 1 万次/分钟，10 个 实例 和 100 个 实例 分到的总额度没变。”

“第三，成本随调用量线性增长。每次 LLM 调用按 token 计费，双十一峰值可能是平时的 50 到 100 倍，成本也跟着翻这么多。”

“针对这三个问题，我的应对方案分四层。”

“第一层，语义缓存（Semantic Cache）。把用户查询做 Embedding，在缓存里找语义相似的历史查询。双十一场景下大量问题是重复的——‘我的快递到哪了’‘怎么申请退款’‘能用几个红包’。这类高频问题命中缓存后直接返回，不走 LLM。”

“第二层，模型分级路由。不是所有请求都需要最强的模型。简单查询（订单状态、物流追踪）走小参数模型甚至走规则引擎，只有复杂的多轮对话才走大模型。路由的依据是意图分类器的输出，分类器本身用轻量模型或者规则匹配就行。”

“第三层，全流程异步化。用户请求进来先入 RocketMQ，Agent Worker 从队列消费。削峰填谷的同时也解决了线程池打满的问题。实时场景设超时兜底，超时就降级到模板回复。”

“第四层，工具调用熔断。Agent 执行过程中会调外部 API——库存服务、物流服务、支付服务。双十一这些下游服务自己也在扛流量，随时可能超时。每个工具调用加 Sentinel 熔断器，错误率超过阈值直接短路。同时所有工具调用都做幂等设计，防止重试导致重复下单或重复退款。”

为什么不能直接水平扩容 Agent 实例？

“因为瓶颈在 LLM API，不在计算资源。”

“假设 LLM 端点的 RPM 上限是 1 万次/分钟，你扩 10 个 实例 还是 100 个 实例，能发出去的请求总量没变。100 个 实例 只是让更多线程同时排队，排队速度不会变快。”

“真正能提升吞吐的是减少 LLM 调用次数——语义缓存、模型分级、规则引擎前置——把有限的额度留给真正需要大模型推理的请求。”

content

01、在构建 Agent 框架时，选择 LangChain/LlamaIndex 还是自研？

老王端起茶杯抿了一口：“框架选型这块，你怎么看 LangChain 这类开源框架和自研？”

“这个问题我有实际经验。PaiCLI 的核心 Agent 循环是自研的，基于 Spring AI 做模型层抽象。另一个项目 PaiAgent 用了 LangGraph4j 做复杂的 DAG 工作流编排。”

“先说 LangChain 的优势。生态是真的强，500 多个集成，向量数据库、模型提供商、工具连接器几乎全覆盖。做 POC 验证想法，差不多两三天就能出一个能跑通的 Demo。社区活跃，遇到问题基本都能搜到解法。”

“但它的问题也是真实存在的。”

“第一，调试成本高。一个简单的工具调用，经过好几层框架内部的包装，报错时堆栈太多。你想知道‘为什么这次工具调用返回了空’，得先理解框架的内部状态。”

“第二，版本是历史包袱。LangChain 早期从 0.1 到 0.2 到 0.3 几乎是三个不同的框架，API 断裂式变更。虽然到了 1.x 稳定了不少，但这段历史说明一件事——你的生产代码依赖别人的迭代节奏，这本身就是风险。”

“第三，抽象。框架的设计是通用的，但你的业务是完全不同的。为了适配，你得写大量代码把自己的逻辑塞进框架的接口里。”

“自研的优势是完全掌控每一步。调试直接看自己的代码，性能瓶颈知道在哪，迭代节奏自己定。况且现在 Agent 的 Coding 能力已经很强了，完全不用担心自研。”

“我的判断——做技术验证和快速原型，用框架。做生产系统，核心自己写，框架当工具库用。”

02、如何控制 Agent 的自主性边界？如何设计安全护栏？

“自主性边界的核心原则——确定性的规则走规则引擎，模糊的地方交给 LLM 判断，高风险动作交给人工审批。”

“...