20 个问题,测出你的知识库为什么答非所问
5 分钟自测。每题按实际情况打分:2 = 完全做到,1 = 部分做到,0 = 没做到。满分 40。
A. 数据层(5 题)
文档从哪来、谁维护。这一层不过关,后面全是白费。
- 01你能说清知识库里的文档从哪来、谁负责更新吗?为什么问:没有明确来源和负责人的知识库,3 个月后一定变成垃圾场。
- 02文档有统一的命名和目录规范吗?为什么问:靠人肉的自觉维持不了 200 份以上文档。
- 03过期的文档会被标记或删除吗?为什么问:旧价格、旧制度被检索出来,比检索不到更危险。
- 04表格和扫描件有可读的文本版本吗?为什么问:图片型 PDF 不做 OCR,检索永远为零。
- 05重复和互相冲突的版本处理过吗?为什么问:同一份制度三个版本,模型会随机挑一个回答。
B. 加工层(5 题)
切片、结构化、更新机制。这一层决定 80% 的问答质量。
- 06切片之后,每段还能独立读懂吗?为什么问:切片切断上下文,是答非所问的第一大原因。
- 07标题和章节层级被保留进切片元数据了吗?为什么问:没有来源路径,模型就没法定位'这句话出自哪份文件第几节'。
- 08表格问答能定位到具体行和列吗?为什么问:整表塞进一个切片,等于让模型自己在大海捞针。
- 09长文档和 FAQ 用了不同的处理策略吗?为什么问:用一套切片参数对付所有文档,必然有一类效果很差。
- 10文档更新后,会重新处理受影响的分片吗?为什么问:不重建索引,知识库就停在导入那天的版本。
C. 检索层(5 题)
召回与排序。它决定最后一公里,但救不了前面两层的伤。
- 11你知道系统用的是向量检索、关键词还是混合检索吗?为什么问:不知道实现方式,就没法判断'为什么没搜到'。
- 12有没有负样本测试(问它答不出来的东西)?为什么问:只测能答对的题,等于没测;能承认不知道才是好的知识库。
- 13答案能返回原文出处和引用片段吗?为什么问:不能溯源的答案,在企业场景里不能用。
- 14检索结果有人工抽检过吗?为什么问:不抽检就不知道召回率是 90% 还是 40%。
- 15同义、口语化的提问能召回吗?为什么问:员工不会用文档里的原话提问。
D. 接入层(5 题)
谁在用、怎么用。接入做不好,再准的知识库也没人用。
- 16有明确的'谁在用、用来干什么'吗?为什么问:没有使用场景的知识库,只是另一种网盘。
- 17权限控制到'不该看的人看不到'了吗?为什么问:企业知识库最危险的不是答错,是答对了但越权。
- 18回答会区分'来自知识库'和'模型自己编'吗?为什么问:不区分的话,你没法知道哪句话能信。
- 19有反馈机制(答错能上报、能纠正)吗?为什么问:没有反馈闭环,错误会一直重复。
- 20有人每周花时间维护它吗?为什么问:知识库是运营,不是项目;没人维护就一定会烂。
怎么解读分数
0–15 分
先别买工具
问题在数据和流程。先做文档规范、明确负责人,否则换什么工具都一样。
16–30 分
能用但不可靠
优先改加工层:切片、结构化、更新机制;检索层最后再调。
31–40 分
底子不错
可以开始接入 Agent、做自动化和权限分级,把这些能力用起来。
测完想让人帮你看?
自测只能告诉你"哪一层有病",诊断会告诉你"具体哪几份文档、哪几个问题、先改哪一步"。