選擇範本
範本是你的執行個體開機時依循的配方:映像檔與標籤、啟動模式、環境變數、連接埠、選用的啟動指令碼,以及這份配方所需的機器條件。你在部署頁面上選一個範本,就在挑完硬體之後。
系統範本與你自己的範本
| 精選(系統) | 私人 | 公開 | |
|---|---|---|---|
| 由誰維護 | Superheat | 你的組織 | 擁有它的組織 |
| 誰看得到 | 所有人 | 僅限你的組織 | 所有人 |
| 誰能編輯 | 沒有人 —— 透過 API 也不可變更 | 擁有它的組織 | 擁有它的組織 |
| 卡片上的徽章 | 精選 | 鎖頭圖示 | 公開 |
先從精選範本開始。部署頁面的選擇器預設提供的就是這些,而且大多帶有 [Automatic] 標籤 —— 顯示為 自動 徽章 —— 它會在啟動時解析成與你所選機器 CUDA 版本相符的映像檔標籤。
當你需要特定映像檔、自己的環境變數、額外的連接埠或啟動指令碼時,就自己建一個。在任何範本上按 建立副本 都會把它複製成你組織裡一個可編輯的私人範本 —— 機密值與私有 registry 憑證不會跨組織複製,所以你要自己重新輸入。請參閱建立範本。
各個分頁
範本 頁面把範本庫分成五個分頁。
| 分頁 | 列出什麼 | 排序 |
|---|---|---|
| 推薦 | Superheat 精選範本 | 精選順序,再依名稱 |
| 我的範本 | 你的組織擁有的範本,包含私人與公開 | 最近編輯的排前面 |
| 最近使用 | 你的組織已經部署過的範本 | 最近啟動的排前面 |
| 熱門 | 精選與公開範本 | 啟動次數,最高的排前面 |
| 無伺服器 | 目前還沒有內容 —— 這是為自動擴縮、按請求計費的端點預留的位置 | — |
分頁下方有一個搜尋框,會比對名稱、描述與映像檔,還有一排分面篩選標籤:啟動模式的 SSH、Jupyter、args 與 VM,以及從目前列出的範本得出的 CUDA 下限,例如 CUDA 12.4。這些標籤是切換式的;點一下已啟用的標籤就會清除它。無伺服器分頁會把它們隱藏起來,因為沒有東西可以篩選。
每張卡片會帶有範本名稱、映像檔參照、啟動模式徽章、CUDA 12.4、自動 或 ARM 這類推導出來的徽章,以及啟動次數。開啟卡片會顯示完整配方 —— 映像檔、Jupyter 設定、環境、連接埠、引數、啟動指令碼、機器條件與讀我說明。標記為機密的環境值會保持遮蔽,除非該範本屬於你的組織。一個分頁一開始最多顯示 100 個範本;底部的 載入更多 會取回下一頁。
在 Superheat CN 上,精選範本的映像檔參照都指向阿里雲 ACR,例如 superheat-cn-registry.cn-shanghai.cr.aliyuncs.com/superheat/pytorch,卡片與詳細資料顯示的就是這個參照。建立的副本會沿用同一個參照。請參閱Superheat CN 上的映像檔。
把範本帶到部署頁面
部署頁面的選擇器列出的是精選範本,所以你自己的私人範本不會自動出現在那裡。改成從範本庫啟動它:在卡片上或它的詳細資料對話框中按 啟動,在市集裡挑硬體,範本就會跟著你走。只要它適用於你選的機器,它就會被釘在選擇器最前面並預先選取。
相容性檢查怎麼運作
一旦選定報價,選擇器裡的每個範本都會拿去對照那台機器檢查。不相容的會變暗且無法點選;把游標移上去會顯示原因。如果你從範本庫啟動的範本通過檢查,頁面會預先選取它,否則就選第一個通過的。
如果選擇器裡沒有任何範本適用於這台機器,部署按鈕旁會出現一個錯誤面板,標題為 「此範本無法在這台機器上執行」,下面是原因和一句 *「請選擇相容的範本或其他 GPU。」*在你照做之前,部署按鈕會維持停用。
檢查依下列順序執行,你看到的原因就是第一個失敗的項目。
| 檢查 | 何時失敗 | 你會看到什麼訊息 |
|---|---|---|
| 可用性 | 範本被標記為即將推出 | 此範本尚未開放啟動。 |
| 架構 | 範本宣告的架構不是 amd64/x86_64 | 需要 ARM (arm64) 硬體;Superheat 的機器皆為 x86_64。 |
| 虛擬化 | 啟動模式是 vm,或範本需要具備 VM 能力的主機,而該報價不是 | 這台機器不支援 VM。 |
| CUDA(過舊) | 範本的 cuda_min 高於機器的 Max CUDA | 需要 CUDA ≥ 12.4;這台機器是 12.1。 |
| CUDA(過新) | 範本的 cuda_max 低於機器的 Max CUDA | 鎖定較舊的 CUDA 堆疊(最高支援 12.4);這台機器是 12.8。 |
| VRAM | 範本的最低 VRAM 高於報價的每張卡 VRAM | 需要 ≥ 48 GB VRAM;這台機器是 24 GB。 |
有兩個細節值得知道:
- VRAM 檢查比對的是每張卡的 VRAM,不是切片總量。24 GB 卡的 4× 切片並不滿足 48 GB 的需求。
- 範本的建議硬碟容量是建議,不是限制條件。它會出現在範本的機器條件中,寫成 「建議 N GB 磁碟」,相容性檢查會忽略它,部署頁面的硬碟滑桿也不會採用它 —— 滑桿是從自己的預設值開始。
這項檢查是為了方便,不是強制執行的關卡。表中有四項 API 也會在伺服器端檢查,不論請求來自主控台或你自己的程式碼,都以 422 拒絕:即將推出是 TEMPLATE_COMING_SOON,架構是 TEMPLATE_ARCH_UNSUPPORTED,虛擬化(vm 啟動模式)是 OFFER_NOT_VM_CAPABLE,CUDA 過新是 TEMPLATE_CUDA_TOO_NEW。CUDA 過舊與 VRAM 兩項,API 在部署時不檢查,改由排程器在放置時檢查:機器不符合時,部署會回傳 201,但執行個體啟動不了,最後停在 error(不計費)。請參閱錯誤代碼。
ssh 與 jupyter 啟動模式還有一項不屬於這項檢查的額外要求:映像檔必須衍生自 Superheat 基礎映像檔,因為原廠映像檔沒有 SSH 伺服器,也沒有可以啟動的 JupyterLab。在 Superheat CN 上,這表示映像檔要寫 ACR 上 superheat/ 命名空間裡的參照,精選範本已經是這樣。args 與 vm 則可以執行任何映像檔。請參閱啟動模式與基礎映像檔。
「即將推出」是什麼意思
有些範本在執行路徑存在之前就先發布了。另一些則要等到能在公開連接埠上要求執行個體存取權杖才會上架:Ollama、InvokeAI、LLaMA-Factory 和 vLLM,它們的服務目前還無法拒絕不帶權杖的請求。這兩類範本在卡片上都會帶有 即將推出 徽章,而且相容性檢查會在每一台機器上拒絕它們,所以它們永遠到不了部署那一步。在卡片上,啟動 按鈕會停用並顯示工具提示 「執行功能將於後續版本推出。」;在詳細資料對話框中,同一個按鈕會停用並寫著 即將推出。
在 Superheat CN 上,來自 NVIDIA NGC(nvcr.io)的精選範本也被標記為即將推出,例如 Triton Inference Server 與 RAPIDS:NGC 映像檔沒有同步到阿里雲 ACR。請參閱Superheat CN 上的映像檔。
無伺服器 分頁是同一個概念放大到整個範本庫的版本:它是為一項仍在開發中的功能預留的位置,而且永遠回傳空的。目前它沒有任何東西可以篩選或啟動。
即將推出的範本仍然可以讀取 —— 開啟一個來檢視它的映像檔、環境與連接埠 —— 而且你可以把它複製到你的組織。複製品會保留這個標記,所以副本一樣無法啟動。