Skip to main content

模型广场 (Serverless API) 概览

模型广场 (Serverless API) 为开发者提供一个便捷的方式来调用不同种类的模型，无需关心底层的硬件或管理服务器。 此 API 只需通过简单的 HTTP 请求就可以使用模力方舟的各种模型服务。

体验模型服务​

您可以在 模型广场 浏览我们精选的模型，免费体验不同模型的生成效果或者调用 API，您也可以前往 模力方舟示例代码仓库 查看不同模型的实用场景示例代码。

目前已部署了十几个品类的超过 100 个的模型，以下是大语言模型列表：

加载 Serverless API 服务列表...

更多的模型 API 服务逐步添加中...

购买模型资源包​

购买流程：

  1. 在线体验模型： 访问 模型广场 浏览已部署的模型列表，您可以免费在线体验这些模型的效果。
  2. 购买资源包：在模型广场中点击 购买全模型资源包 ，选择归属于自己或组织购及购买的金额。
  3. 创建订单并付款：完成付款后，在 模型广场 体验所有的模型或者通过 API 调用这些模型。

购买全模型资源包

计费说明：

  • 计费规则：支持按调用次数和按 tokens 计费两种方式，按需选择，多次购买了同一个资源包并且调用时访问令牌未绑定具体资源包时，将按照购买先后顺序扣费
  • 退订规则：使用中的模型资源包不支持退款。

更完整的模型包购买说明请访问 购买模型资源包

本地调用 API 进行推理​

如果您想要通过 Serverless API 进行模型推理，请遵循以下步骤：

  1. 创建访问令牌：您需要登录账号，前往 工作台->设置->访问令牌 ，创建一个授权访问所选资源的令牌；如果您希望为某个“访问令牌”绑定某个资源包，也可以创建一个支持访问“部分资源”的“访问令牌”。

  2. 调用 Serverless API：在 AI 模型广场 中，选择已购的模型资源包

    选择模型资源包

    点击 体验 所需模型

    体验模型

    选择有授权对应资源包的访问令牌

    选择授权该资源包的令牌

    若您购买了全模型资源包，则可以调用 AI 模型广场 的所有模型

    全模型调用

  3. 本地调用 API 进行推理：通过挂件测试正常，可以选择 “API” 形式调用，选择对应的编程语言或者工具，例如 Python，勾选 “添加令牌”，即可拷贝对应的代码在本地进行执行。我们暂时只给出了 Python/JavaScript/cURL 的示例，其他语言可以参考这些示例进行编写。

    本地调用 API

示例代码​

前往 https://gitee.com/moark/examples 参考不同模型的示例代码。

故障转移机制​

API 提供了故障转移机制，确保在模型推理过程中出现故障时，系统能够自动切换至其他可用算力模型，从而保障服务的持续稳定运行。

使用方式: 在调用 API 时，通过添加请求头 X-Failover-Enabled 参数为 true，即可启用故障转移机制。参数为 false 时，则不启用故障转移机制，出现故障时系统会立即返回异常信息。

warning
  1. 启用故障转移机制后，若当前算力模型出现故障，系统会自动切换到可用算力进行处理。扣费将按照最后一次成功调用的算力模型计算，并扣除当前资源包金额。用户可在" 使用日志 "中查看到调用链路。如果不接受该扣费方式，建议不要开启故障转移机制。
  2. 如果未添加请求头 X-Failover-Enabled 参数，且当前算力模型支持故障转移，则系统会默认启用故障转移机制。