大模型不会自动知道你的课程文档和内部 wiki。RAG(检索增强生成)的思路是:先检索相关片段,再让模型基于片段回答,从而降低幻觉、可追溯来源。
流水线五步
- 文档切分(chunk)
- 向量化(embedding)
- 写入向量库
- 用户提问 → 检索 Top-K
- 把片段塞进 Prompt 生成答案
最小逻辑伪代码
chunks = split_docs(docs, size=500, overlap=80)
vectors = embed(chunks)
index.upsert(vectors)
def answer(question: str) -> str:
q_vec = embed([question])[0]
hits = index.search(q_vec, top_k=5)
context = "\n\n".join(h.text for h in hits)
prompt = f"基于以下资料回答,若资料不足请说不知道:\n{context}\n\n问题:{question}"
return chat([{"role": "user", "content": prompt}])
效果关键点
- 切分太大:检索不准;太小:缺上下文
- Top-K 不是越大越好,噪声会干扰回答
- 回答时要求「引用资料编号」,便于人工核对
什么时候上 RAG
- 知识经常更新(课程、公告、文档)
- 需要可追溯,不能纯靠模型记忆
- 垂直领域术语多
先用本地几篇 Markdown 跑通闭环,再上生产向量库。