用 OpenAI 兼容接口调用 DeepSeek / 通义等模型

现在很多国产模型都提供OpenAI 兼容的 Chat Completions 接口。一套代码,换 base_url 和 model 就能切换供应商。

通用调用模板

import os
import requests

API_URL = os.getenv("LLM_API_URL", "https://api.deepseek.com/chat/completions")
API_KEY = os.getenv("LLM_API_KEY")
MODEL = os.getenv("LLM_MODEL", "deepseek-chat")

def chat(messages, temperature=0.2):
    resp = requests.post(
        API_URL,
        headers={
            "Authorization": f"Bearer {API_KEY}",
            "Content-Type": "application/json",
        },
        json={
            "model": MODEL,
            "messages": messages,
            "temperature": temperature,
        },
        timeout=60,
    )
    resp.raise_for_status()
    return resp.json()["choices"][0]["message"]["content"]

answer = chat([
    {"role": "system", "content": "你是简洁的中文技术助教"},
    {"role": "user", "content": "用三句话解释什么是向量数据库"},
])
print(answer)

工程注意点

  • 密钥只放环境变量 / 密钥管理,不进 Git
  • 设置超时、重试、限流
  • 记录 token 消耗,方便成本核算
  • 对用户输入做长度限制,防超上下文

流式输出(SSE)场景

聊天产品常用 stream 模式边生成边展示。先把非流式跑稳,再加流式,排错成本更低。

切换模型时测什么

  1. 同样 Prompt 的格式遵守率
  2. 中文术语准确性
  3. 长上下文是否截断
  4. 价格与延迟

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注