现在很多国产模型都提供OpenAI 兼容的 Chat Completions 接口。一套代码,换 base_url 和 model 就能切换供应商。
通用调用模板
import os
import requests
API_URL = os.getenv("LLM_API_URL", "https://api.deepseek.com/chat/completions")
API_KEY = os.getenv("LLM_API_KEY")
MODEL = os.getenv("LLM_MODEL", "deepseek-chat")
def chat(messages, temperature=0.2):
resp = requests.post(
API_URL,
headers={
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
},
json={
"model": MODEL,
"messages": messages,
"temperature": temperature,
},
timeout=60,
)
resp.raise_for_status()
return resp.json()["choices"][0]["message"]["content"]
answer = chat([
{"role": "system", "content": "你是简洁的中文技术助教"},
{"role": "user", "content": "用三句话解释什么是向量数据库"},
])
print(answer)
工程注意点
- 密钥只放环境变量 / 密钥管理,不进 Git
- 设置超时、重试、限流
- 记录 token 消耗,方便成本核算
- 对用户输入做长度限制,防超上下文
流式输出(SSE)场景
聊天产品常用 stream 模式边生成边展示。先把非流式跑稳,再加流式,排错成本更低。
切换模型时测什么
- 同样 Prompt 的格式遵守率
- 中文术语准确性
- 长上下文是否截断
- 价格与延迟