自研了一个私有化企业 RAG 知识库，记录下 SSE 流式问答的几个坑

瓦力D · 2026-08-11T02:41:45.867Z

最近独立做了一套轻量化的私有化文档知识库，主要给中小团队做内部文档检索用。技术栈是 Java SpringBoot + LangChain4j + Qdrant 向量库，前端用 React，Docker 一键容器部署。目前核心功能大概是这些： 1. 多格式文档解析支持 PDF、Word、Markdown、TXT 批量上传，自动做文本切片、向量化入库。 2. SSE 流式 AI 问答这里算是我花时间最多的部分。后端依托 LangChain4j 的 StreamingChatLanguageModel 做分段回调，再通过 SseEmitter 实现长连接流式输出。前端 React 持续接收分片文本，逐字渲染对话内容。回答里会带原始文档溯源，用下来对降低大模型幻觉有帮助，比一次性 HTTP 返回的体验也顺很多。 3. 文档分类管理没有做复杂的多租户体系，主要是按业务线自定义分类归档，方便团队整理内部资料。 4. 纯内网私有化部署文档、向量数据、大模型都在本地跑，企业内部敏感资料不需要外发。 5. 开放通用接口后续可以接内部后台，也可以接到官网问答模块里。实际落地时遇到几个问题： 1. 流式方案取舍目前单纯问答场景选了 SSE。相比 WebSocket，开发简单一些，服务器资源开销也低一点。但网络波动时容易断流，重连和续传这里还在继续优化。 2. 文档分片平衡技术手册、长篇业务文档这类内容比较麻烦。Chunk 太小，上下文容易断。Chunk 太大，检索精准度又会下降。现在还在按文档类型分别调整策略。 3. React 接收 SSE 的渲染优化高频分段追加文本时，页面偶尔会轻微卡顿。防抖、虚拟列表都试过，效果有一些，但还没完全满意。 4. 轻量化部署小团队如果单机部署向量库 + 大模型，内存占用会偏高。这里主要在模型选择、并发限制、向量库参数上做了一些低成本调参。这套知识库目前还在按实际使用反馈迭代，也支持根据团队场景做一些功能定制。平时也会接 Flutter 跨端 APP、Java 后端相关的定制开发，需求明确的话可以给出报价和交付周期。