跳至主要內容

部署執行個體

部署頁面是兩步驟中的第 2 步：你帶著已經選好的機器來到這裡，決定要在上面跑什麼。頁首寫著 設定與部署，而 返回 GPU 清單 會把你帶回市集，不會遺失任何設定。

逐欄看表單​

報價​

報價不是表單欄位 —— 它是從市集帶進來的，並以摘要卡片的形式顯示在最上方：GPU 型號、切片大小、每張卡 VRAM、位置與每小時價格。這次部署它是固定的。要換機器，就回上一步挑另一張卡片。

有兩種狀態會取代表單，而不是把表單顯示出來：

你會看到什麼原因
「未選擇 GPU」你沒有經過市集就直接開啟這個頁面
「該報價已消失」這項報價在你選取之後、到現在之間被下架了

範本​

一格一格的範本卡片，每一個都會拿去對照你選的機器檢查。不相容的範本會變暗且無法點選，第一個相容的會被預先選取。選擇器列出精選範本；如果你是按範本庫裡的 啟動 進來的，那個範本會被釘在最前面。請參閱選擇範本。

硬碟​

一個滑桿，目前的值以 GB 或 TB 顯示在它上方。

最小10 GB
最大主機機器的硬碟容量，顯示在滑桿下方，寫成 「這台機器最大 N」
級距10 GB
預設50 GB

API 接受 10 到 20,000 之間任何值的 disk_gb，但如果你要求的容量超過所選機器實際擁有的，請求會被拒絕，錯誤訊息會告訴你那台機器的上限。

這個值要慎重決定。執行個體停止期間你付的就是硬碟的錢，費率是滑桿下方標示的每 GB 每月費率，而且之後無法調整容量 —— 想要更大的硬碟就等於要開一台新的執行個體。

SSH 金鑰​

一個下拉選單，列出你帳號上的 SSH 金鑰，預設為 不使用金鑰（僅限網頁終端機）。旁邊的 新增金鑰 會開啟與 SSH 金鑰頁面相同的對話框，讓你不用離開表單就能貼上公開金鑰。

SSH 金鑰屬於你個人，不屬於你的組織：同一個組織裡的團隊成員各自部署時，各自掛上自己的金鑰。金鑰是在啟動時安裝的，所以事後再新增金鑰不會影響已經在執行的執行個體 —— 執行個體頁面上的連線指令，驗證用的就是你在這裡掛上的金鑰。

維持 不使用金鑰 就會讓執行個體在完全沒有授權金鑰的情況下啟動，也就是沒有 ssh 工作階段。只有在範本提供瀏覽器入口時才選它，例如 jupyter 範本。

標籤​

選填的自由文字，最多 64 個字元，用來讓你日後分辨不同的執行個體 —— 用 llama-finetune 而不是一段 UUID 前綴。沒有填的話，主控台會退而使用執行個體 id 的前八個字元。標籤只是中繼資料；容器內部看不到它。

環境變數覆寫​

主控台表單沒有開放這一項。API 有：POST /v1/instances 上的 env_overrides 接受一組 {key, value} 配對，會依 key 覆寫範本宣告的環境，這就是你在不編輯範本的情況下填入範本空白機密值的方法。

有三條規則：

  • 同一個 key 上，你的值勝過範本的值。
  • 沒有值的項目會被丟棄，而不是設成空字串。
  • 平台自己的變數永遠勝過你的。你無法蓋掉 JUPYTER_TOKEN、GPU_COUNT 或執行個體存取權杖。

請參閱環境變數與執行個體 API。

請求內容​

上面所有東西會落在一次呼叫裡：

{
  "offer_id": "e1c0…",
  "template_id": "9b74…",
  "disk_gb": 100,
  "label": "llama-finetune",
  "ssh_key_id": "3f21…",
  "env_overrides": [{ "key": "HF_TOKEN", "value": "hf_…" }]
}

label、ssh_key_id 與 env_overrides 是選填的；前三個欄位不是。

按鈕生效前的條件​

只要下列任一項成立，部署執行個體 按鈕就會維持停用：

條件該怎麼做
餘額為零或以下儲值。管理員會在面板中看到 儲值額度 捷徑；成員則會被告知去找管理員
所選範本與機器不相容換一個範本，或換一張 GPU
沒有選取任何範本挑一個
已經有一次部署在進行中等一下 —— 按鈕會寫著 「部署中…」

餘額這一條只看是否為零或以下。部署本身要求餘額足夠這個執行個體跑一小時、再加上組織已有執行個體一小時的費用（見下方第 2 步），所以餘額為正但不夠的時候，按鈕按得下去，部署會在伺服器端以餘額不足被拒絕（見下方）。

按下部署之後​

  1. 報價會被鎖定並重新檢查。如果它已經不可用，部署就在這裡失敗，後面什麼都不會執行。
  2. 硬碟、範本與 SSH 金鑰會通過驗證 —— 包括你的組織能不能部署這個範本、這台機器能不能固定部署 —— 接著檢查你的餘額。餘額必須足以支付這個執行個體一小時的費用 —— GPU 加上你挑的硬碟 —— 再加上組織已有的一切一小時的費用：執行中、啟動中或正在建立的執行個體的 GPU 加上硬碟，以及已停止執行個體的硬碟。只是大於零並不夠。組織裡尚未銷毀的執行個體也必須少於 25 個；已停止與出錯的也算。
  3. 到這時才會從那台機器上每一個與你重疊的規格裡扣掉你的單位，而執行個體會以 creating 建立。如果這一扣讓機器少了一張 GPU —— 另一次部署在同一刻拿走了它 —— 部署會以報價無法使用被拒絕，什麼都不會留下。沒有人能拿走你的 GPU；而只要那台機器還有空著的 GPU，同一項報價就仍然租得到。主控台會把你帶到它的頁面，顯示訊息 「部署中 —— 你的執行個體正在啟動」。
  4. 執行個體處於過渡狀態期間，頁面每三秒自我輪詢一次，畫面上的提示寫著 「正在佈建你的機器…」。
  5. 當執行個體進入 running，連線資訊就會出現 —— 現成的 ssh -p <port> <user>@<host> 指令，以及 jupyter 範本會有的 開啟 JupyterLab 按鈕。在那之前，該分頁會顯示連線資訊要等執行個體開始執行後才會出現。

計費不是在你按下按鈕時開始。計量器是在工作負載回報 running 時才啟動，所以佈建的那段時間不花錢，永遠沒跑起來的部署也一樣不花錢。

部署失敗時​

錯誤意義主控台的處理
報價無法使用有人先一步拿走那個切片把你送回市集
餘額不足餘額不足以支付這個執行個體、再加上組織已有執行個體一小時的費用以提示框顯示「部署需要預先備妥約 {amount} 的額度。請先儲值額度。」—— {amount} 是 API 回傳的 required_micro —— 並重新整理餘額；餘額為零或以下時才會出現儲值提示
硬碟太大disk_gb 超過主機機器的硬碟容量回報那台機器的上限
找不到範本範本 id 不明或已不再啟用在頁面內顯示訊息
找不到 SSH 金鑰該金鑰 id 不屬於你在頁面內顯示訊息
機器不具備 VM 能力在無法執行 VM 的機器上使用 vm 範本在頁面內顯示訊息
機器進入維護這台機器已排定下線，時間太近，無法在上面啟動指出那個日期，並把你送回市集
執行個體已達上限組織裡尚未銷毀的執行個體已達 25 個，已停止與出錯的也算提示「你已達到此組織的執行個體上限。請先銷毀一個。」並重新整理執行個體清單
範本只能由擁有者部署別的組織的公開範本，從帶有憑證的私有登錄庫拉取提示「此範本從私有登錄庫拉取映像檔，只有擁有它的組織能部署。」
報價無法固定到機器這台機器沒有在機群控制平面登記（市集不會列出這類報價）以提示框顯示「這台機器目前無法部署。請選擇其他機器。」

範本即將推出、架構不是 x86_64、CUDA 過新這幾種情況，伺服器端同樣會拒絕（TEMPLATE_COMING_SOON、TEMPLATE_ARCH_UNSUPPORTED、TEMPLATE_CUDA_TOO_NEW），但主控台裡這些範本已經變暗、無法選取，所以通常只有 API 呼叫會遇到。請參閱選擇範本。

在上面任何一步被拒絕的部署，不會建立任何東西，也不會收任何費用。而通過這些檢查、之後在佈建途中失敗的部署則不同：執行個體那一列確實存在，會停在 error，並被自動清掉 —— 它不會計費，因為計量器要等工作負載回報 running 才啟動，而這一個從來沒到過。完整清單在錯誤代碼。

執行個體一跑起來，計量器就開始計費

這個頁面之後沒有確認步驟。從執行個體進入 running 的那一刻起，你就開始按秒計費，而之後把它停止仍然會針對硬碟計費。在你放著不管之前，先讀停止與銷毀的差別。

相關內容​