Palantir 和 NVIDIA 想改變政府 AI 的所有權歸屬
請查看你的收件匣,確認信中可調整你的偏好設定,甚至加入其他群組。
在你常用的社群平台追蹤 TNS。
直到最近,用 AI 建構應用幾乎都意味著呼叫別人的模型。但把應用程式接到 OpenAI、Anthropic 或 Google 的 API,並不適合政府與關鍵基礎設施的營運者。當資料基於法律或營運需求不能離開受保護的網路時,無論工作負載是情報分析、電網營運,還是病歷資料,託管在別人雲端上的端點都根本行不通。
「這裡最能說明問題的是,Palantir 推出的不是一個模型,而是一套用來部署並擁有模型的機制。」
這也是閱讀 Palantir 週一公告時該採取的視角。該公司推出一套建立在 NVIDIA AI 與 Nemotron 開放模型之上的「智慧引擎」,用於在實體隔離網路與其他主權環境中執行、客製化並持續改進 AI,同時讓資料與模型權重都掌握在客戶手中。這裡最能說明問題的是,Palantir 推出的不是一個模型,而是一套用來部署並擁有模型的機制。
從呼叫 AI 到營運 AI
未來幾年,多數組織都會同時採用託管與自託管模型的混合模式,但另一種模式也正在這套工作流程旁邊逐漸成形。應用程式不再把模型視為外部服務,而是與內部 AI 平台溝通,由平台把請求路由到一個或多個在組織自有 GPU 上執行的模型。資料永遠不會離開邊界,這讓資安與合規團隊能直接掌控治理、稽核與留存。
因此,我們看到問題正在從「我們應該呼叫哪個模型」,轉向「我們應該自己擁有並營運哪些模型」。同樣重要的是,「執行這些模型要花我們多少成本?」
箱子裡實際上有什麼
這裡,公告內容其實比新聞稿表面透露的更具體,也值得先知道 Nemotron 是什麼。
Nemotron 是 Nvidia 的開放權重模型家族,於 2026 年發布,分為三種規模:Nano(約 316 億參數)、Super(1200 億)與 Ultra(5500 億)。三者都採用混合 Mamba-Transformer 的專家混合(mixture-of-experts)設計,每個 token 只會啟用約十分之一的參數,因此實際運行成本遠低於標稱規模所暗示的程度,上下文視窗最高可達一百萬個 token。
Nvidia 以寬鬆授權釋出權重、訓練資料與訓練配方,模型也可透過 vLLM、SGLang、llama.cpp、Ollama 等開放執行環境部署,或以 Nvidia NIM 微服務形式部署,也就是容器化、經 TensorRT-LLM 最佳化,並隨 Nvidia AI Enterprise 套件提供的路徑。值得注意的是,Palantir 早已出現在 Nvidia 公布的早期 Nemotron 採用者名單上,所以這更像是把既有合作正式化,而不是從零開始。
對正在評估是否轉向的建構者來說,有一點很重要:Nemotron 並未登上原始能力排行榜榜首;DeepSeek、Qwen、Kimi K2 等開放模型家族,通常在絕對基準測試上分數更高。Nemotron 的主張,是在 Nvidia 晶片上的效率與真正的開放性;而當部署目標不是託管端點,而是空氣隔離之後的自有硬體時,這正是最關鍵的維度。
Palantir 的貢獻,是把「下載權重」轉成「在機密環境中運行,並持續改進它」的那一層。該公司描述了三個工程面向:部署(把基礎模型與客製化模型放進空氣隔離與機密網路)、脈絡(提示詞、工作流程結構,以及生產環境中的模型行為)、以及 模型(依據專有資料與任務成果,改變權重本身)。底層則是 Palantir 既有的技術堆疊:AIP、Ontology、Foundry 與 Apollo,負責資料授權、強制隔離與可稽核性。
所謂「自我改進」的主張,是一個遙測迴路:引擎會擷取使用情形與追蹤資料,再用這些資料對模型進行後訓練與對齊,使其更貼近能創造價值的任務。這也是最需要營運紀律的部分,因為沒有評估框架的回饋迴路,就是讓模型漂移的配方。
問題在於:擁有整套技術堆疊,就代表要承擔整套技術堆疊
主權自主這套說法確實很有吸引力,而它也有公告沒有多加著墨的代價。擁有自己的模型,代表也要擁有圍繞模型的一切。那包括 GPU 資本支出,以及相應的電力與冷卻;一套你得自行維持修補與效能的推論堆疊;一個你得自己配置人力並運作的模型生命週期,包括微調、評估、回復;還有不會只因為機器離線就消失的安全負擔。
「擁有自己的模型,代表也要擁有圍繞模型的一切。」
特別是 Ultra 級模型並不輕量:要跑一個 550B 模型,即使只有約 10% 啟用,也需要多 GPU 伺服器節點,而不是一個閒置機櫃就能解決。
對於法律上不能使用託管 API 的機關來說,這筆成本就是完成工作必須付出的成本,計算很簡單。對於其實可以使用託管端點的商業企業來說,這筆帳就是一個真正的取捨:一邊是控制權與資料落地,另一邊是資本支出與營運人力。正確答案取決於工作負載;任何把它說成顯而易見的人,都是在賣東西。
照它本來的樣子讀這則公告
同樣值得說清楚的是,這則新聞不是什麼。這是一項由兩家誘因一致的公司共同發布的包裝與定位公告:NVIDIA 賣出更多 GPU 和更多 AI Enterprise 授權,Palantir 賣出更多平台,而「主權 AI」則是雙方一整年都在高舉的旗幟。這裡沒有具名的機關客戶,沒有合約金額,也沒有基準測試。Palantir 執行長 Alex Karp 說,許多美國客戶已經在使用這些模型,並把吸引力框定為避免專有洞察被固化進封閉模型的權重裡;NVIDIA 的 Jensen Huang 則稱開源是國家安全的基礎。這兩段引言都在發揮策略作用。這裡的實質內容是整合與市場推進,而不是技術突破。
為什麼它仍然重要
撇開政府框架不看,同樣的模式也正在金融、醫療、製造等領域擴散,也就是任何把資料駐留與法遵視為設計限制,而不是事後才補上的地方。它如今變得可行,原因很具體:足以投入正式環境的開放模型、能降低算力帳單的 MoE(Mixture-of-Experts,混合專家)架構,以及已經成熟到讓隔離網路中的推論服務成為工程專案、而不是研究題目的推論工具層(NIM、TensorRT-LLM、vLLM)。
「模型變成一個元件。引擎才成為產品。」
對開發者來說,這裡的重點是:當開放模型逐漸收斂到「夠好」時,差異化就會轉移到模型周邊的一切,包括部署、路由、治理、評估、安全與生命週期管理。模型變成一個元件。引擎才成為產品。
多數組織仍會在許多工作上繼續呼叫託管式 API。但對越來越多組織來說,真正有意思的問題是:它們準備好擁有多少技術堆疊,以及是否已經算清楚擁有它的成本。
由社群建立的路線圖、文章、資源與學習旅程,協助開發者選擇自己的路徑,並在職涯中持續成長。
