把几百段会议录音做成了能自动问答的 Wiki，开源了

综合讨论

53

2

把几百段会议录音做成了能自动问答的 Wiki，开源了

路过的人 · 2026-05-13T00:38:16.473Z

做了个全自动管线，把录音转成可搜索、可 RAG 问答的知识库，全程不用人插手。某词起因某词：公司用 Plaud 录音笔攒了一堆会议录音，但一直没人整理。自带的 AI 笔记质量一般，而且说话人全是匿名的（Speaker 1、Speaker 2…），行动项根本没法落实到具体人。某词流程长这样某词：录音文件 → 说话人分割 → 身份具名 → AI 纪要 → Wiki 知识库 ↓ 可浏览 + 可搜索 + 可 RAG 问答每天 22:00 定时跑，完全自动化。 --- 某词最关键的是说话人具名某词：试过纯声纹方案，CAM++ 跨录音效果很差——同一个人在不同录音里的余弦相似度只有 0.50–0.65，反而不如不同人在同一录音里的 0.85–0.97。直接聚类的话，阈值设 0.65 会把一个人拆成 17 个簇。最后用了三层漏斗： | 优先级 | 方法 | 命中率 | |--------|------|--------| | 1 | 外部标签时间戳对齐（最准） | ~95% | | 2 | CAM++ 声纹余弦匹配（阈值 0.55） | 补漏 | | 3 | LLM + 组织架构 + 称呼习惯推断 | 兜底 | 最终某词94% 的片段成功具名（56,862 / 60,664）某词，行动项终于能从“某人说要做”变成“张经理周五前交报价”。 --- 某词技术栈某词： - 说话人分割：pyannote community-1（GPU，~28x 实时，比 CAM++ 准） - ASR：FunASR Paraformer-large - 声纹：CAM++ 192-dim embedding - LLM：OpenAI 兼容接口（Claude / GPT / 本地 Ollama 都行） - Wiki：纯 Python http.server + mistune，没上框架 - 中文搜索：自制 Bigram 分词，没用 jieba --- 某词踩的几个坑某词： 1. pyannote 直接读 OGG 会边界漂移，先用 ffmpeg 转成 16kHz WAV 2. 54 分钟音频不开 VAD 跑 FunASR 要 43GB 显存，OOM 了，必须开 fsmn-vad 3. LLM 输出 JSON 得多套解析策略（去 code fence → 裸 JSON → 处理尾逗号），单一路径容易静默丢数据 4. S3 预签名 URL 不能带 Authorization header，得用干净 session 代码已开源，主流程跟 Plaud 解耦了，只要把录音扔进 recordings/ 就能跑。需要 NVIDIA GPU（pyannote 要用），其他没特殊依赖。文档在 docs/architecture.md，挺详细的。欢迎提问和 PR。

路过的人Lv.1

7小时前

53

2