AI 工作負載該在哪裡執行？一種兼顧主權與務實的做法
發布於 2026 年 7 月 10 日 作者：Johannes Hemminger 與 Martin Hafner，KubeOps
本文重點介紹的 CNCF 專案
對 AI 的看法，從「將帶來顛覆性改變」的樂觀，到深度懷疑都有；但有一點很明確：AI 正在成為企業技術策略中愈來愈重要的一環。
你當然可以選擇自己偏好的立場。但無論你選了哪一邊，事實還是如此：AI 不會消失，尤其對企業與程式開發來說都會很有用。所以，AI 將往何處去（quo vadis）？
你偏好哪一種 AI 模型，這件事可以一直辯論下去。這篇文章要探討的是另一個問題：AI 工作負載應該跑在什麼之上……而你又會把 AI 工作負載跑在哪裡？從某個層面來看，這場爭論其實已經接近塵埃落定：Kubernetes 憑藉其資源管理、自動化、可攜性與營運一致性，已成為 AI 基礎設施的常見底層。
但從另一個層面來看，答案依然難以明確，反而帶出更多問題：模型會在哪裡執行？企業會把 AI 當成外部服務來使用嗎？會租用原始算力，然後執行自己選擇的模型嗎？還是說，隨著 AI 工作負載變得更具策略性、成本更高，且對資料更敏感，它們將轉移到私有雲、機房託管環境（colocation）、主權基礎設施，或地端資料中心？
權衡各種選項
目前，許多專有的前沿模型，在推理能力與通用能力等領域，仍持續優於開放權重（open-weight）的替代方案。
然而，並不是每一種 AI 工作負載，都需要交給最前沿、又特別耗 token 的模型來處理。例行、重複、定義明確的任務，通常可以交由開放權重模型、較舊版本的模型，甚至消費級硬體來完成。如果這些任務牽涉敏感資料、內部流程或高度受監管的作業，那麼地端或私有雲環境可能會是更合理的選項，甚至可能是唯一可行的選擇。想要掌控資料、符合法規要求，並進行穩定的長期規劃，都是自己掌控整個技術堆疊每一個層面的有力理由。
即使是在「自備模型」（bring your own model, BYOM）這類設定中，委外代管仍然可能有其實用價值。測試新組態，或是處理不涉及敏感資料的測試環境，都是很適合將代管外包、同時維持對模型掌控權的情境。若管理得宜，這種做法也能用來因應尖峰需求，或卸載那些容易切分處理的工作。
成本問題
情勢已經很明顯：AI 公司或相關事業部門不可能永遠虧損經營。基礎設施投資高得驚人，其中又以支撐 AI 工作負載的資料中心最為燒錢。要支應這些投資，營收勢必要大幅提升。因此，不論是個人還是企業用戶，AI 工作負載的價格上漲都無可避免。
那麼，這是否代表 AI 即服務（AI as a service）要走到盡頭了？大概不至於。但這或許意味著「反正買個訂閱就好」的思維該結束了。當然，從主權的角度來看，這種想法本來就從來不合理，也不可行。但如果假裝成本即使在主權考量上都不是個巨大因素，那就是自欺欺人。
從合規與法規角度看主權
談到主權，在 KubeOps，我們的合作對象包括德國的公部門組織，以及關鍵基礎設施應用。這表示我們處在一個高度受監管的領域，主權必須體現在我們的軟體與流程之中。由於目前並沒有一套單一、普遍被接受的數位主權定義，因此我們將它視為一個持續推進的過程，並圍繞五個要素來理解：
- 營運自主性（operational autonomy）指的是控制並管理系統所有要素的能力。
- 合規（compliance）是數位主權的前提，因為如果缺乏法律上的確定性，例如資料儲存相關規範不明，任何系統都無法永續運作。
- 可稽核性（auditability）至關重要，因為唯有如此，才能驗證安全性與主權是否確實存在。
- 可攜性（portability）同樣關鍵，因為技術、合約或組織上的依賴，從根本上都會限制營運自主性。它也能防範價格突然上漲的風險。
- 韌性（resilience）也是數位主權的一部分；如果系統缺乏備援、復原機制，或在危機發生時沒有健全流程，就不能稱得上具備主權。
下一步
在所有抽象的思辨都告一段落之後，問題依然存在：接下來要如何推進？一個不錯的起點是，隨著 AI 工作負載進入這個領域，許多一般工作負載的需求其實並沒有出現太大改變。監控、備份能力、生命週期管理與可觀測性，仍然是關鍵考量。
因此，在把重要的 AI 工作負載移轉到任何平台之前，組織都應該先進行 AI 就緒度檢查，而這正是我們正在採取的步驟之一。這代表要檢視加速器容量、儲存效能、資料在地性、網路隔離、身分整合、監控、備份、復原、軟體供應、弱點管理與政策落實。沒有這些基礎工作，平台可能只是名義上具備主權，實際運作上卻相當脆弱。
為不確定的未來而打造
我們的答案是為選擇而打造。我們預期 AI 工作負載會同時落在多個地方，這也是為什麼 Kubernetes 與開源專案，將會是這個正在形成、且高度動態的版圖中的關鍵組成。AI 生態本身仍缺少許多我們在其他領域視為理所當然的標準。即使像專案知識檔案這樣看似簡單的東西，在不同模型環境之間也可能各不相同。在這樣的版圖中，基礎設施層更需要具備可攜性與適應力，而不是更少。在快速演變的 AI 生態中，Kubernetes 的可攜性與營運一致性，能幫助組織在不必為每一個新模型、供應商或部署模式重建平台的情況下，持續調整與適應。
對我們來說，一個很大的體會是，關鍵不在於今天就猜中最完美的目的地，而是不要打造出一條死路。工作負載應該可以攜移。營運應該可以重現。安全應該可以落實。遷移應該切實可行。成本應該清楚可見。而且無論下一個工作負載是落在地端、私有環境、邊緣端，還是跨越多個雲端，平台都應該持續保有其價值。
當前的 AI 版圖充滿了對明天可能帶來什麼的各種承諾，但長期的基礎設施決策不能只靠樂觀。成本會變。模型能力會變。法規也會變。唯一既自主又合理的因應方式，就是打造能隨這些變化而調整的平台。因為如果你不這麼做，你很可能會被某些事情打得措手不及，無論那是新的資料存放地要求、單一供應商成本暴增，或是近期浮現的某些難以預見的問題。
Kubernetes 與更廣泛的 CNCF 生態系，為這種做法提供了務實的基礎。可攜式工作負載、可重現的營運作業、政策落實，以及部署彈性，讓組織能隨著技術、法規與業務需求演進而持續調整。與其只針對單一部署模式最佳化，許多組織更可能從能保留選擇權、並在情勢變化時更容易跨環境移動工作負載的平台中受益。