跳到主要内容

Serverless API

Serverless API 为开发者提供一个便捷的方式来调用不同种类的模型,无需关心底层的硬件或管理服务器。此 API 支持通过简单的 HTTP 请求在 Gitee AI 的共享基础设施上进行快速推理。

体验 Serverless API

您可以在 Serverless API 体验页面,浏览我们精选的模型,免费体验不同模型的生成效果,也可调用 API。

目前我们支持的模型包括不限于以下几个,排序按照上线时间倒序:

加载 Serverless API 服务列表...

更多的模型 API 服务逐步添加中...

购买 Serverless API

购买流程:

  1. 选择模型: 访问 Serverless API 体验,挑选一个适合你需求的模型。如果您不确定选择,可以体验模型挂件,以了解模型的推理效果。在体验模型挂件时,可以选择该不同的 API 以及在不同算力上的效果。
  2. 购买资源包:体验完模型挂件后,可以直接点击右下方“购买”按钮购买模型对应算力的资源包,选择归属于自己或组织,选择购买的金额。
  3. 创建订单并付款:完成付款后,在工作台界面-Serverless API 可调用已购 API。

输入图片说明

计费说明:

  • 计费规则:按调用次数计费,购买了同一个资源包多次,并且调用时访问令牌未绑定具体资源包时,将按购买先后顺序依次扣费
  • 退订规则:使用中的资源不支持在线退订,如有需要请联系我们

本地调用 API 进行推理

如果您想要通过 Serverless API 进行模型推理,请遵循以下步骤:

  1. 创建访问令牌:您需要登录账号,在工作台-账户设置中,找到“访问令牌”,创建一个授权访问所选资源的令牌;如果您希望为某个“访问令牌”绑定某个资源包,也可以创建一个支持访问“部分资源”的“访问令牌”。
  2. 调用 Serverless API:在工作台 Serverless API 列表中,选择购买的资源包点击“模型调用”,点击某个模型的“调用”,选择刚创建访问令牌,先通过挂件进行测试
  3. 本地调用 API 进行推理:通过挂件测试正常,可以选择 “API” 形式调用,选择对应的编程语言或者工具,例如 Python,勾选 “添加令牌”,即可拷贝对应的代码在本地进行执行。我们暂时只给出了 Python/JavaScript/cURL 的示例,其他语言可以参考这些示例进行编写。

alt text

故障转移机制

API 提供了故障转移机制,确保在模型推理过程中出现故障时,系统能够自动切换至其他可用算力模型,从而保障服务的持续稳定运行。

使用方式: 在调用 API 时,通过添加请求头 X-Failover-Enabled 参数为 true,即可启用故障转移机制。参数为 false 时,则不启用故障转移机制,出现故障时系统会立即返回异常信息。

注意
  1. 启用故障转移机制后,若当前算力模型出现故障,系统会自动切换到可用算力进行处理。扣费将按照最后一次成功调用的算力模型计算,并扣除当前资源包金额。用户可在"使用日志"中查看到调用链路。如果不接受该扣费方式,建议不要开启故障转移机制。
  2. 如果未添加请求头 X-Failover-Enabled 参数,且当前算力模型支持故障转移,则系统会默认启用故障转移机制。