调用语言大模型接口
提示
前置条件:
- 三选一:准备好 python 或 nodejs 开发环境 或 创建一个在线应用
- 二选一:创建访问令牌 购买 Serverless API 或 使用免费的临时 token
通过 curl 快速使用大模型能力
一些框架、插件封装度较高,curl 可清晰了解请求路径、参数的原始情况:
- Bash
- Javascript
curl https://ai.gitee.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer 你的 Gitee AI 访问令牌" \
-d '{
"model": "Qwen2.5-72B-Instruct",
"stream": false,
"messages": [
{
"role": "system",
"content": "你是聪明的助手"
},
{
"role": "user",
"content": "老鼠生病了可以吃老鼠药治好吗?"
}
]
}'
async function query(data) {
const response = await fetch(
"https://ai.gitee.com/v1/chat/completions",
{
headers: {
"Authorization": "Bearer xxxxx",
"Content-Type": "application/json"
},
method: "POST",
body: JSON.stringify(data),
}
);
const result = await response.json();
return result;
}
query({
"messages": [
{
"role": "system",
"content": "你是聪明的助手"
},
{
"role": "user",
"content": "老鼠生病了可以吃老鼠药治好吗?"
}
],
"model": "Qwen2.5-72B-Instruct",
"stream": false,
"max_tokens": 512,
"temperature": 0.7,
"top_p": 0.7,
"frequency_penalty": 1
}).then((response) => {
console.log(JSON.stringify(response));
});
AI 模型响应:
{
"id": "chat-476266af435142d2bb7d342ea54694f2",
"object": "chat.completion",
"created": 1731401912,
"model": "Qwen2.5-72B-Instruct",
"choices": [{
"index": 0,
"message": {
"role": "assistant",
"content": "不可以。老鼠药是用于杀死老鼠的毒药,而不是治疗老鼠的疾病。如果老鼠生病了,应该寻求兽医的帮助。",
"tool_calls": []
},
"logprobs": null,
"finish_reason": "stop",
"stop_reason": null
}],
"usage": {
"prompt_tokens": 27,
"total_tokens": 57,
"completion_tokens": 30
},
"prompt_logprobs": null
}
使用 openai 客户端调用 Gitee AI 模型 API
Gitee AI 的 Serverless API 兼容开发者喜爱且社区流行的 OpenAI 风格 API。