OpenAI 兼容接口

OpenAI 大部分模型调用接口都支持,参数与使用方式全部同 OpenAI,文档见OpenAI 官方 API 文档,可以直接使用,无需任何修改。

TIP

注意:平台转发基于负载均衡技术,会在多个账号间随机负载,不支持 file、fine-tune、assistants 等有状态接口,response api 支持,但是不支持传递上一轮回复的 id 这种有状态用法。

curl 请求

curl https://ai-gate.haozcloud.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-xxxxx" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

OpenAI 官方 Python 库

需要注意的 openai 新版库和旧版本库的差异性

from openai import OpenAI

client = OpenAI(
    base_url='https://ai-gate.haozcloud.com/v1',
    api_key='sk-xxxxxxxx',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Say hi",
        }
    ],
    model="gpt-3.5-turbo",
)
WARNING

部分过时的文档会给出带 engine 字段的示例,这个字段已经被废弃了,直接调 openai 可以调通,因为 openai 做了历史包袱兼容,平台是不支持这类被废弃的接口格式的。

LangChain

在环境变量中配置好本站提供的接口 API 地址与 token 即可正常使用包括 gpt-3.5-turbo、text-davinci-003、text-embedding-ada-002 等多个模型。

os.environ["OPENAI_API_BASE"] = "https://ai-gate.haozcloud.com/v1"
os.environ["OPENAI_API_KEY"] = "sk-xxxxxxxx"