跳到主要内容

选择模板

模板是你的实例启动时所依据的配方:镜像和标签、启动模式、环境变量、端口、可选的启动脚本,以及该配方所需的机器约束。你在部署页面上选择模板,就在选好硬件之后。

系统模板与你自己的模板​

精选(系统)私有公开
由谁维护Superheat你的组织所属组织
谁可以看到所有人仅你的组织所有人
谁可以编辑没有人 —— 通过 API 也不可修改所属组织所属组织
卡片上的标记精选一个锁形图标公开

从精选模板开始。它们是部署选择器默认提供的模板,其中大多数带有 [Automatic] 标签 —— 显示为自动标记 —— 它会在启动时解析为与你所选机器的 CUDA 版本相匹配的镜像标签。

当你需要特定的镜像、自己的环境变量、额外的端口或启动脚本时,就自己构建一个。任意模板上的创建副本会把它复制到你的组织中,成为一个你可以编辑的私有模板 —— 密钥值和私有镜像仓库凭据不会跨组织复制,因此你要重新输入自己的。参见创建模板。

各个标签页​

模板页面把模板库分成五个标签页。

标签页列出的内容排序
推荐Superheat 精选模板先按精选顺序,再按名称
我的模板你的组织拥有的模板,包括私有和公开最近编辑的在前
最近使用你的组织已经部署过的模板最近启动的在前
热门精选模板和公开模板按启动次数,从高到低
无服务器暂无内容 —— 为自动伸缩、按请求计费的端点预留的占位—

标签页下方是一个搜索框,可按名称、描述和镜像匹配,以及一行分面标签:启动模式的 SSH、Jupyter、参数 和 VM,以及从当前列出的模板中得出的 CUDA 下限,例如 CUDA 12.4。这些标签可以切换;点击已激活的标签即可清除它。无服务器标签页会把它们隐藏,因为那里没有可筛选的内容。

每张卡片都带有模板名称、镜像引用、启动模式标记、诸如 CUDA 12.4、自动或 ARM 这样的派生标记,以及启动次数。打开一张卡片会显示完整的配方 —— 镜像、Jupyter 设置、环境、端口、参数、启动脚本、机器约束和说明文档。标记为密钥的环境值会保持遮蔽,除非该模板归你的组织所有。一个标签页起初最多显示 100 个模板;底部的加载更多会取回下一页。

在 Superheat CN 上,精选模板的镜像引用都指向阿里云 ACR,例如 superheat-cn-registry.cn-shanghai.cr.aliyuncs.com/superheat/pytorch,卡片和详情显示的就是这个引用。复制出来的副本沿用同一个引用。参见Superheat CN 上的镜像。

让模板出现在部署页面上​

部署页面的选择器列出的是精选模板,因此你自己的私有模板不会自动出现在那里。改为从模板库启动它:在卡片上或其详情对话框中按启动,在市场中挑选硬件,模板就会一路跟着你。只要它适配你所选的机器,就会被固定在选择器最前面并预先选中。

兼容性检查如何工作​

选定报价后,选择器中的每个模板都会针对那台机器进行检查。不兼容的模板会变暗且无法点击;把鼠标悬停在上面会显示原因。如果你从模板库启动的那个模板通过了检查,页面就会预先选中它,否则选中第一个通过检查的模板。

如果选择器中没有任何模板适配这台机器,部署按钮旁会出现一个错误面板,标题为 “模板无法在此机器上运行”,下面是原因和一句 *“请选择兼容的模板或换一块 GPU。”*在你照做之前,部署按钮会一直保持禁用。

检查按以下顺序执行,你看到的原因就是第一个失败的那项。

检查项失败条件提示内容
可用性模板被标记为即将推出此模板尚不可启动。
架构模板声明了 amd64/x86_64 之外的架构需要 ARM (arm64) 硬件;Superheat 主机为 x86_64。
虚拟化启动模式为 vm,或模板要求支持虚拟机的主机,而该报价并非如此此机器不支持 VM。
CUDA(过旧)模板的 cuda_min 高于机器的最高 CUDA需要 CUDA ≥ 12.4;此机器为 12.1。
CUDA(过新)模板的 cuda_max 低于机器的最高 CUDA固定使用较旧的 CUDA 栈(最高支持 12.4);此机器为 12.8。
显存模板的最小显存高于报价的每卡显存需要 ≥ 48 GB VRAM;此机器为 24 GB。

有两点细节值得了解:

  • 显存检查针对的是每卡显存,而不是切片总量。由 24 GB 显卡组成的 4× 切片不满足 48 GB 的要求。
  • 模板推荐的磁盘容量是建议,不是约束。它出现在模板的机器约束中,写作:“建议 N GB 磁盘”;兼容性检查会忽略它,部署页面的磁盘滑块也不会采用它 —— 滑块从自己的默认值开始。

这项检查只是为了方便,并不是强制执行点。表中有四项 API 也会在服务端检查,无论请求来自控制台还是你自己的代码,都以 422 拒绝:即将推出是 TEMPLATE_COMING_SOON,架构是 TEMPLATE_ARCH_UNSUPPORTED,虚拟化(vm 启动模式)是 OFFER_NOT_VM_CAPABLE,CUDA 过新是 TEMPLATE_CUDA_TOO_NEW。CUDA 过旧和显存两项 API 在部署时不检查,而是交给调度在放置时检查:机器不满足时,部署会返回 201,但实例启动不了,最终落到 error(不计费)。参见错误代码。

ssh 和 jupyter 启动模式还有一项不属于本检查的额外要求:镜像必须派生自 Superheat 基础镜像,因为原始镜像既没有 SSH 服务器,也没有可启动的 JupyterLab。在 Superheat CN 上,这意味着镜像要写 ACR 上 superheat/ 命名空间里的引用,精选模板已经是这样。args 和 vm 可以运行任何镜像。参见启动模式和基础镜像。

“即将推出”是什么意思​

有些模板在其执行路径尚未存在时就已发布。另一些则要等到能在公开端口上要求实例访问令牌才会上架:Ollama、InvokeAI、LLaMA-Factory 和 vLLM,它们的服务目前还无法拒绝不带令牌的请求。这两类模板在卡片上都带有即将推出标记,兼容性检查会在每台机器上拒绝它们,因此它们永远无法走到部署那一步。在卡片上,启动按钮被禁用,工具提示为:“执行功能将在后续版本推出。”;在详情对话框中,同一个按钮被禁用,并显示为即将推出。

在 Superheat CN 上,来自 NVIDIA NGC(nvcr.io)的精选模板也被标记为即将推出,例如 Triton Inference Server 和 RAPIDS:NGC 镜像没有同步到阿里云 ACR。参见Superheat CN 上的镜像。

无服务器标签页是同样的想法在模板库这个层面上的体现:它是一个仍在开发中的功能的占位,返回的结果始终为空。目前它既不可筛选,也不可启动。

即将推出的模板仍然可读 —— 打开一个就能查看它的镜像、环境和端口 —— 你也可以把它复制到自己的组织中。副本会保留该标记,所以复制出来的模板同样无法启动。

相关内容​