雲端 AI（Cloud AI）
雲端 AI 是指將 AI 模型與運算資源部署在雲端平台（如 Google Cloud、AWS、Azure）上，使用者透過網路就能存取 AI 服務，無需自建硬體設備。
使用方式
- 透過 API 呼叫模型，例如語音轉文字、圖片辨識、聊天生成。
- 透過平台介面（如 Vertex AI）訓練、部署並監控自有模型。
優勢
- 🚀 快速啟用： 註冊帳號即可開始，不需安裝或維運。
- 📈 彈性擴充： 雲端平台能自動擴大運算資源。
- 💳 按量計費： 沒有前期硬體投資，適合小型專案。
- 🧩 易於整合： 提供 SDK / REST API，能快速連接應用。
限制
- 🕵️ 資料隱私： 資料需上傳雲端，需特別注意合規性。
- 🌐 網路依賴： 訓練與推論高度仰賴穩定頻寬。
- 📉 成本浮動： 長期大量使用可能比本地貴。
適用情境
- 新創、教育、PoC 原型開發
- 需快速啟動的 Web / Mobile 應用
- 使用頻率波動大，需動態擴展彈性
本地 AI（On-Premise AI）
本地 AI 是指企業自行在內部機房部署 GPU 硬體、儲存與網路系統，並搭配 AI 框架建構出完整的訓練與推論環境。這種方式可完全掌握資料與運算過程。
部署組成
- 硬體： NVIDIA DGX、Supermicro GPU 伺服器
- 網路： 100G / 400G InfiniBand、企業內網
- 軟體： Kubernetes、Kubeflow、Slurm、MLflow 等
優勢
- 🔐 資料主權： 資料不需離開企業，安全性高。
- ⚡ 極低延遲： 無需網路傳輸即可完成推論。
- 🔧 高自定性： 系統配置與模型部署流程可全權掌控。
限制
- 💰 資本支出大： 須投入購買硬體與機房建置。
- 🧑🔧 維運人力： 需專業團隊維護 GPU、網路與軟體。
- ⏳ 建置期長： 通常需數週以上才能完成部署。
適用情境
- 政府、醫療、金融等對資料極度保密的產業
- 需持續長期、大規模模型訓練的公司
- 希望完整掌控運算資源與軟體堆疊的開發團隊
成本與優缺點比較
| 項目 |
雲端 AI |
本地 AI |
| 啟用速度 |
即時部署，API 呼叫即用 |
需採購與建置，較慢 |
| 前期成本 |
低（使用即付費） |
高（GPU + 機房） |
| 運算擴充 |
彈性自動擴展 |
受限硬體容量 |
| 資料安全 |
需依賴 CSP 合規性 |
資料不出門，更安全 |
| 適合場景 |
快速測試、小型專案、彈性需求 |
高度敏感資料、大規模長期訓練 |