✅派聪明 RAG 系统的聊天助手模块设计方案
聊天助手模块是派聪明系统的核心组件之一,承载了用户与系统之间的主要交互能力。
模块通过 WebSocket 协议实现双向通信,支持大语言模型(接入了 DeepSeek)输出内容的流式返回;为支持多轮连续对话,该模块集成了 Redis 用于存储和维护用户会话上下文,确保大模型在生成回答时能够“记住”前文内容,维持语义连贯性。
同时,模块深度集成了 Elasticsearch,可以为用户提供结构化文本的全文索引和关键词匹配,通过这套混合检索机制,派聪明能在海量本地知识中快速定位与用户问题相关的信息片段。
为了更好地引导大语言模型生成高质量回答,系统特别强化了 Prompt 构建与模板管理能力:
- 根据检索结果动态生成 Prompt;
- 支持多种 Prompt 模板配置与调优;
- 确保内容组织清晰、有重点,引导模型围绕核心信息生成响应。
这一机制是实现 RAG 的关键保障,确保模型回答既有语义逻辑,又有知识依据。
一、功能需求
二、技术选型
功能模块 | 技术选型 | 备注 |
---|---|---|
实时通信 | WebSocket(基于Spring WebSocket) | 支持STOMP子协议 |
对话上下文存储 | Redis(使用Spring Data Redis) | 高性能缓存,支持TTL |
本地知识库(当前) | Elasticsearch | 支持混合检索 |
本地知识库(规划) | Faiss | 提升向量检
|
回复