必要條件
以下說明要安裝並正確執行 GenAI Studio 所要求的硬體配置與作業系統需求。
x86_64 架構的主機
目前 GenAI Studio 僅支援 x86_64 架構的主機。
NVIDIA GPU 顯示卡
目前 GenAI Studio 主要以支援 NVIDIA GPU 顯示卡為主,並支援以下產品:
| 產品型號 | 架構代號 |
|---|---|
| H200 | Hopper |
| H100 | Hopper |
| RTX PRO 6000 | Blackwell |
| RTX 50 Series (如 5090) | Blackwell |
| RTX 6000 Ada Generation | Ada lovelance |
| RTX 5000 Ada Generation | Ada lovelance |
| RTX 4000 Ada Generation | Ada lovelance |
| RTX 4000 SFF Ada Generation | Ada lovelance |
| L40/L40S | Ada lovelance |
| RTX 40 Series (含 4090/4090 D) | Ada lovelance |
| RTX A6000 | Ampere |
| RTX A5000 | Ampere |
SQ Flash AI SSD (M.2)
非必要。但如要執行全參數的微調功能,則為不可或缺的硬體設置。下表列出在執行全參數微調時的 AI SSD 容量與系統 DRAM 的硬體配置建議值。
| 模型參數 | AI SSD (capacity x count) | 系統 DRAM |
|---|---|---|
| < 13B | 1TB * 1 | 128 GiB |
| 34B | 1TB * 2 | 128 GiB |
| 70B | 2TB * 2 | 128 GiB |
| 180B | 2TB * 4 | 128 GiB |
儲存空間
執行 GenAI Studio 所需的儲存空間需考慮諸多因素,包含要從 Hugging Face 下載那些基礎模型、 要訓練的資料集有多少...等,所以無法給出一個正確或理想的建議值,但愈大愈好是不變的真理。 僅管如此,下表還是列出純安裝 GenAI Studio 的最小空間需求,以供參考:
| 項目 | 容量大小 / 儲存空間 | 說明 |
|---|---|---|
| 安裝程式檔 (.run) | ~ 45 GiB | 存放安裝檔所需空間 |
| 安裝目錄 | ~ 78 GiB | 安裝目錄所需的儲存空間 |
| 容器映象檔 | ~ 63 GiB | 執行 GenAI Studio 所需的容器映象檔載入空間 |
根據上表所列,要單純的安裝 GenAI Studio 並在安裝後正常執行,至少要有 186 GiB 的磁碟剩餘空間可利用。
作業系統
由於 GenAI Studio 將所有的功能皆以容器型態進行封裝,因此安裝 GenAI Studio 1.3 所需的作業系統只要是 Ubuntu 且版本為 22.04.3 以上應該都沒問題,但我們建議安裝 24.04.3 LTS 的桌面版。