跳到主要内容

模型上传

在模力方舟平台上，您可以通过两种方式上传模型：在线创建模型仓库并推送模型文件，或使用模力方舟命令行工具 gai 进行上传。

一. 在线创建模型仓库并推送文件​

开始之前请先参考 仓库 文档：

  1. 在线 创建模型仓库 并获取到仓库地址；

  2. 下载并安装 Git LFS，设置 SSH 公钥（如果您选择使用 SSH 方式推送）；

  3. 将仓库克隆到本地，然后将模型文件放入仓库中；

  4. 提交文件并推送到远程仓库；

  5. 前往模型详情页，编辑模型卡片，填写模型的元信息和描述。

二. 使用 gai 命令行工具上传模型​

如果模型仓库中文件较大，Git 推送出现上传缓慢或上传失败的情况，推荐使用 gai 命令行工具上传。

模力方舟命令行工具 gai 是一款专为开发者设计的高效工具，帮助用户轻松地将模型和数据集上传到模力方舟平台。

运行环境说明​

Windows 用户注意事项​

对于 Windows 平台的用户，强烈建议使用 Git Bash 来执行本文档中的命令。原因如下：

  1. 兼容性：Git Bash 提供了类 Unix 的命令行环境，使得 Unix/Linux 风格的命令可以在 Windows 上顺利运行。
  2. 一致性：使用 Git Bash 可以确保命令行体验与其他平台（如 macOS 或 Linux）保持一致。
  3. 功能完整性：Git Bash 包含了许多常用的 Unix 工具和命令，这些在标准的 Windows 命令提示符中可能不可用。
如何获取 Git Bash​

如果您还没有安装 Git Bash，可以按照以下步骤进行安装：

  1. 访问 Git 官方网站：https://git-scm.com/downloads
  2. 下载适用于 Windows 的 Git 安装程序
  3. 运行安装程序，确保在安装选项中选择安装 Git Bash
其他平台用户​

对于 MacOS 和 Linux 用户，可以直接使用系统自带的终端应用程序执行本文档中的命令。

注意：在文档的后续部分，除非特别说明，所有命令均假定在 Git Bash（Windows）或标准终端（macOS/Linux）中执行。

安装和配置​

  1. 安装 Git LFS
# 前往 https://git-lfs.com 下载 git-lfs，然后安装 Git LFS
git lfs install
  1. 安装 gai
# Mac 和 Linux 用户若出现 "md5sum: command not found" 错误,可以通过 `brew install coreutils` 安装 md5sum 工具解决
# Windows 用户安装完 Git Bash 自带了 md5sum 无需处理


# 下载并安装 gai
sudo /bin/bash -c "$(curl -fsSL https://gitee.com/moark/cli/raw/master/install.sh)"

# 检查版本
gai version
  1. 配置 gai
  • 创建 Gitee 私人令牌：https://gitee.com/profile/personal_access_tokens ，创建令牌时请勾选 projects 权限
  • 创建模力方舟访问令牌，请参考 帮助文档 ，创建时「资源授权」请选择「全部资源」
  • 在 gai 中配置令牌 
    # 全局配置 模力方舟 和 Gitee 访问令牌
    gai config gitee-token <Gitee 私人令牌>
    gai config gitee-ai-token <模力方舟访问令牌>

如果希望为不同仓库设置不同令牌，可参考如下命令进行配置：

cd <仓库地址>

# 配置 Gitee 私人令牌
gai config --local gitee-token <Gitee 私人令牌>
# 配置模力方舟访问令牌
gai config --local gitee-ai-token <模力方舟访问令牌>

使用​

将本地的大模型文件推送到模力方舟模型仓库

  1. 在模力方舟 创建模型仓库

  2. 获取仓库地址并克隆到本地

    输入图片说明

    git clone https://ai.gitee.com/<namespace>/<model>
    cd <model>

  3. 初始化仓库配置（使用 gai 作为 Git LFS 的 自定义传输代理） ，每个仓库只需设置一次即可，相关配置将存储在仓库的 .git/config 文件中

    # 为本地仓库初始化 gai 配置
    gai config init

  4. 提交并推送文件到仓库

    # 拷贝大文件到当前目录并提交
    cp ~/<checkpoint_directory>/model.safetensors .
    git add . && git commit -m 'Add model.safetensors file'

    # 将更新推送到模力方舟模型、数据集仓库
    git push origin master