分类目录归档:大模型

RAG 入门:向量检索 + 大模型问答流水线

大模型不会自动知道你的课程文档和内部 wiki。RAG(检索增强生成)的思路是:先检索相关片段,再让模型基于片段回答,从而降低幻觉、可追溯来源。

流水线五步

  1. 文档切分(chunk)
  2. 向量化(embedding)
  3. 写入向量库
  4. 用户提问 → 检索 Top-K
  5. 把片段塞进 Prompt 生成答案

最小逻辑伪代码

chunks = split_docs(docs, size=500, overlap=80)
vectors = embed(chunks)
index.upsert(vectors)

def answer(question: str) -> str:
    q_vec = embed([question])[0]
    hits = index.search(q_vec, top_k=5)
    context = "\n\n".join(h.text for h in hits)
    prompt = f"基于以下资料回答,若资料不足请说不知道:\n{context}\n\n问题:{question}"
    return chat([{"role": "user", "content": prompt}])

效果关键点

  • 切分太大:检索不准;太小:缺上下文
  • Top-K 不是越大越好,噪声会干扰回答
  • 回答时要求「引用资料编号」,便于人工核对

什么时候上 RAG

  • 知识经常更新(课程、公告、文档)
  • 需要可追溯,不能纯靠模型记忆
  • 垂直领域术语多

先用本地几篇 Markdown 跑通闭环,再上生产向量库。

用 OpenAI 兼容接口调用 DeepSeek / 通义等模型

现在很多国产模型都提供OpenAI 兼容的 Chat Completions 接口。一套代码,换 base_url 和 model 就能切换供应商。

通用调用模板

import os
import requests

API_URL = os.getenv("LLM_API_URL", "https://api.deepseek.com/chat/completions")
API_KEY = os.getenv("LLM_API_KEY")
MODEL = os.getenv("LLM_MODEL", "deepseek-chat")

def chat(messages, temperature=0.2):
    resp = requests.post(
        API_URL,
        headers={
            "Authorization": f"Bearer {API_KEY}",
            "Content-Type": "application/json",
        },
        json={
            "model": MODEL,
            "messages": messages,
            "temperature": temperature,
        },
        timeout=60,
    )
    resp.raise_for_status()
    return resp.json()["choices"][0]["message"]["content"]

answer = chat([
    {"role": "system", "content": "你是简洁的中文技术助教"},
    {"role": "user", "content": "用三句话解释什么是向量数据库"},
])
print(answer)

工程注意点

  • 密钥只放环境变量 / 密钥管理,不进 Git
  • 设置超时、重试、限流
  • 记录 token 消耗,方便成本核算
  • 对用户输入做长度限制,防超上下文

流式输出(SSE)场景

聊天产品常用 stream 模式边生成边展示。先把非流式跑稳,再加流式,排错成本更低。

切换模型时测什么

  1. 同样 Prompt 的格式遵守率
  2. 中文术语准确性
  3. 长上下文是否截断
  4. 价格与延迟

Prompt 工程:让大模型稳定输出结构化结果

同样一个模型,提示词写得好不好,效果能差一个数量级。做产品时,目标往往是:稳定产出可解析的 JSON/Markdown,而不是一次漂亮的散文。

好 Prompt 的骨架

  1. 角色:你是谁
  2. 任务:要干什么
  3. 约束:不能干什么
  4. 格式:输出长什么样
  5. 示例:给 1~2 个正例

示例:抽取简历关键字段

你是信息抽取助手。从用户文本中提取字段,只输出 JSON,不要解释。
字段:name, years, skills(array), summary
若缺失请填 null。

示例输入:张三,5年Python,擅长爬虫与数据分析。
示例输出:{"name":"张三","years":5,"skills":["Python","爬虫","数据分析"],"summary":"5年Python开发"}

现在处理:
"""
{{用户文本}}
"""

提高稳定性的技巧

  • 要求「只输出 JSON」,并在代码里做解析重试
  • 把枚举值写死:状态只能是 A/B/C
  • 复杂任务拆成多步:先分类,再抽取,再校验
  • 关键业务加规则校验(日期格式、金额范围)

Python 侧校验

import json
from jsonschema import validate

schema = {
  "type": "object",
  "required": ["name", "skills"],
  "properties": {
    "name": {"type": ["string", "null"]},
    "skills": {"type": "array", "items": {"type": "string"}},
  },
}

def parse_llm_json(text: str):
    data = json.loads(text)
    validate(data, schema)
    return data

模型负责生成,代码负责验收——这是上线级 Prompt 工程的核心。