应用 GPU 升级
您可以使用应用顶部导航栏中的设置按钮升级应用的GPU。
当您的应用运行时,您可以直接从小风车上查看它运行在哪个硬件上:
特定的框架要求
注意
国产显卡已内置 torch、tensorflow、 vllm 等定制软件,请勿更换版本,否则算力可能无法正常还使用。
详情参考: 国产算力
PyTorch
Nvidia 显卡您需要安装与内置 CUDA 驱动程序兼容的 PyTorch 版本。将以下两行添加到您的 requirements.txt 文件中:
--extra-index-url https://mirrors.aliyun.com/pytorch-wheels/cu121
torch
您就可以通过在 app.py 中运行以下代码,从而检查空间日志中的输出来验证安装是否成功:
import torch
print(f"CUDA 可用: {torch.cuda.is_available()}")
# True
print(f"设备名称: {torch.cuda.get_device_name(torch.cuda.current_device())}")
# Tesla T4
大部分框架在检测到 GPU 可用的情况下会自动切换至 GPU 进行运算。这一点在 transformers、fastai 等众多框架的 Pipelines 相关功能中都能看到。然而,在某些情况下,当您直接使用 PyTorch 时,您可能需要手动将模型和数据转移到 GPU 上,以确保计算过程是在 GPU 而非 CPU 上执行的。这时,您需要利用 PyTorch 的 “.to()” 语法来实现,比如:
model = load_pytorch_model()
model = model.to("cuda")