跳到主要内容

模型广场 (Serverless API) 概览

模型广场 (Serverless API) 为开发者提供一个便捷的方式来调用不同种类的模型,无需关心底层的硬件或管理服务器。 此 API 只需通过简单的 HTTP 请求就可以使用模力方舟的各种模型服务。

体验模型服务

您可以在 模型广场,浏览我们精选的模型,免费体验不同模型的生成效果,也可调用 API。

目前已部署了十几个品类的超过 100 个的模型,以下是大语言模型列表:

加载 Serverless API 服务列表...

更多的模型 API 服务逐步添加中...

购买模型资源包

购买流程:

  1. 在线体验模型: 访问 模型广场 浏览已部署的模型列表,您可以免费在线体验这些模型的效果。
  2. 购买资源包:在模型广场中点击 购买全模型资源包 ,选择归属于自己或组织购及购买的金额。
  3. 创建订单并付款:完成付款后,在 模型广场 体验所有的模型或者通过 API 调用这些模型。

购买全模型资源包

计费说明:

  • 计费规则:支持按调用次数和按 tokens 计费两种方式,按需选择,多次购买了同一个资源包并且调用时访问令牌未绑定具体资源包时,将按照购买先后顺序扣费
  • 退订规则:使用中的模型资源包不支持退款。

更完整的模型包购买说明请访问 购买模型资源包

本地调用 API 进行推理

如果您想要通过 Serverless API 进行模型推理,请遵循以下步骤:

  1. 创建访问令牌:您需要登录账号,前往 工作台->设置->访问令牌 ,创建一个授权访问所选资源的令牌;如果您希望为某个“访问令牌”绑定某个资源包,也可以创建一个支持访问“部分资源”的“访问令牌”。

  2. 调用 Serverless API:在 AI 模型广场 中,选择已购的模型资源包

    选择模型资源包

    点击 体验 所需模型

    体验模型

    选择有授权对应资源包的访问令牌

    选择授权该资源包的令牌

    若您购买了全模型资源包,则可以调用 AI 模型广场 的所有模型

    全模型调用

  3. 本地调用 API 进行推理:通过挂件测试正常,可以选择 “API” 形式调用,选择对应的编程语言或者工具,例如 Python,勾选 “添加令牌”,即可拷贝对应的代码在本地进行执行。我们暂时只给出了 Python/JavaScript/cURL 的示例,其他语言可以参考这些示例进行编写。

    本地调用 API

故障转移机制

API 提供了故障转移机制,确保在模型推理过程中出现故障时,系统能够自动切换至其他可用算力模型,从而保障服务的持续稳定运行。

使用方式: 在调用 API 时,通过添加请求头 X-Failover-Enabled 参数为 true,即可启用故障转移机制。参数为 false 时,则不启用故障转移机制,出现故障时系统会立即返回异常信息。

注意
  1. 启用故障转移机制后,若当前算力模型出现故障,系统会自动切换到可用算力进行处理。扣费将按照最后一次成功调用的算力模型计算,并扣除当前资源包金额。用户可在" 使用日志 "中查看到调用链路。如果不接受该扣费方式,建议不要开启故障转移机制。
  2. 如果未添加请求头 X-Failover-Enabled 参数,且当前算力模型支持故障转移,则系统会默认启用故障转移机制。