企業轉型成功的 12 條自主型 AI 法則

ZDNET 重點摘錄

  • 大多數自主型 AI(agentic AI)的部署失敗,根本原因不在 AI 本身,而在於架構設計失當。
  • 企業轉型成功的 12 條自主型 AI 法則,不依附任何特定廠商或技術平台。
  • 多數 AI 試驗專案只著眼於能力與速度,卻跳過了最難的一關:贏得業務端的信任。

Salesforce 近期一份研究發現,超過半數的美國辦公室工作者自認對 AI 抱持懷疑態度,而新興經濟體的民眾則對 AI 相對信任。美國的 AI 懷疑論不只關乎工作機會流失,辦公室工作者更擔心員工體驗下降、缺乏培訓,以及組織是否真的準備好採用 AI 技術。美國工作者認為 AI 工具或試驗專案失敗的前三大原因,依序為:輸出結果過於通用、培訓不足,以及對輸出結果信任度低。

延伸閱讀:美國工作者是全球最大的 AI 懷疑者——原因不只是怕丟工作

對自主型 AI 試驗和轉型計畫缺乏信任的問題,在更大範圍內持續蔓延;多份研究均指出,AI 代理人(AI agents)從試驗轉入正式生產環境後,失敗率相當高。Accenture 最新研究指出,企業必須展現 AI 投資的持續早期成果,才能積累推進動能,關鍵在於從孤立式 AI 轉向系統性 AI。研究同時發現,成功的自主型 AI 專案需要:以乾淨資料為基礎的強健資料架構,以便提供正確脈絡;對資料治理與語意一致性的投入;以及現代化的 AI 強化雲端架構、AI 護欄機制,以及重新設計的工作流程。
根據 Informatica 針對首席資料長(chief data officers)所做的調查,超過半數的自主型 AI 採用者將資料品質與檢索問題列為部署的主要障礙。

真正的自主型 AI 轉型需要什麼

儘管企業界已有許多自主型 AI 採用的案例記錄,也不乏試驗與正式部署失敗的報告,但仍有許多 AI 代理人部署是成功的。美國超過 80% 的政府機構已在使用 AI 代理人;一項最新調查顯示,多數政府領導人相信,到 2030 年,公共部門將由人類與 AI 代理人協同運作。根據 IDC 針對公共部門整備度所做的研究,自主型 AI 對政府而言已不再是試驗階段——
這是一項領導層的使命授權。此外:從 AI 試驗計畫邁向全企業價值,需要一條高速公路——如何快速擴大規模
Salesforce 在成功的代理式 AI(agentic AI)正式部署中累積了無可替代的經驗。憑藉超過兩萬次的代理式 AI 生產環境部署,Salesforce 識別出許多常見錯誤,包括:過度依賴語言模型、依賴政策編碼而非複雜的提示邏輯,以及情境工程設計不良。但最重要的教訓是:在傳統軟體開發中,90% 的工作在上線前即已完成;然而在 AI 代理的情境下,90% 的工作發生在部署到生產環境之後,包括持續的管理與優化。
企業真正實現代理式 AI 轉型,確實需要一套規則,以確保系統具備智慧性、可擴展性與可信賴性。Salesforce 執行副總裁暨首席市場策略長 John Taschek 長期研究並發展出一套規則,用以衡量 AI 代理在成功的生產部署中所需具備的關鍵能力。Taschek 的研究橫跨數千個代理式 AI 部署案例的觀察,並廣泛徵詢產業分析師、資深主管、董事會成員,以及代理式 AI 先行者社群的意見。

代理式 AI 的 12 條規則

由 Taschek 發展而來的「企業轉型代理式 AI 12 條規則」,是中立於廠商、不偏向任何技術架構的框架。Taschek 的靈感來自電腦科學家 Edgar F. Codd 博士於 1985 年提出的一套原則——即專為真正的關聯式資料庫管理系統所設計的「Codd 12 條規則」。
對這 12 條代理式 AI 規則的遵循,必須以有據可查的方式呈現,佐證材料可包括:技術工件、第三方分析、收益評述,或經驗證的實施成果。這些佐證必須反映當前最新的能力狀態,且必須以架構為核心,而非僅依賴表面訊息傳遞。此外:AI 代理正在取得自己的搜尋引擎
這些規則同時支持一種「以結果為導向」的評估模型,能夠區分技術可行性與實際部署能力、客戶採用率,以及可量化的業務影響。最後,這套規則與整體框架還必須具備風險意識,能夠識別失敗情形、實施與治理缺口,以及客戶回報的挑戰。
以下是智能代理 AI 的 12 條規則:

基礎層——資料 / 情境系統

  • 規則一、統一資料血緣(data lineage): 每一筆資料都必須有可追溯的歷程——從哪裡來、如何被改動、誰有權使用。絕不允許來源不明的資料餵給你的代理程式。
  • 規則二、即時資料存取的紮根性: 代理程式必須使用即時資料,而非過期的快照。在過時資訊上採取行動,是設計缺陷,不只是不方便而已。
  • 規則三、語意詮釋資料(semantic metadata): 代理程式需要理解資料的意義,而不只是原始數值。「高風險客戶」或「符合資格的客戶」必須有正式定義——不能讓模型自行猜測。

核心層——自主行動系統

  • 規則四、可觀測性 / 行為可追溯性: 代理程式做出的每一個決策都應被記錄且可解釋。你必須能夠回溯,理解它為什麼做了它做的事。
  • 規則五、持續對抗性驗證: 持續以邊界情境、異常輸入與對抗性場景測試代理程式——不只在上線時,而是持續進行。把它想成一場永久的紅隊(red-team)演練。
  • 規則六、多步推理 / 目標分解: 代理程式必須能接受複雜目標、拆解成步驟並逐步執行——且在過程中若情況改變,能夠自行調適,而非只是照劇本走。
  • 規則七、混合式確定性治理: AI 的推理是機率性的,但有些規則不能打折。法律、財務與安全防護欄必須硬編碼(hard-coded)——代理程式在架構層面就應該無法違反它們。

運營層——作業系統

  • 規則八、中立式協作編排(agnostic orchestration): 來自不同廠商與模型的代理程式,必須能夠協同運作,而不必為每一對組合量身打造連接管線。避免在編排層產生供應商鎖定(lock-in)。
  • 規則九、人機協作 / 同理心要求: 代理程式應與人類協作,而非取代人類。當信心水準偏低或偵測到情感情境時,應優雅地將任務交接給人——而且要帶著完整脈絡移交,不能冷處理。
  • 規則十、自主主權(sovereign agency): 企業必須維持掌控——包括資料存放位置、模型選擇、身分識別與政策。外部代理程式只能取得範圍受限且可稽核的存取權限。預設一律不信任。
  • 規則十一、以結果衡量對等性: 以業務成果衡量代理程式(影響的營收、解決的問題、節省的時間),而非以完成了多少任務來計算。

衡量標準是真實世界的影響。

  • Apex — 參與系統
  • 規則十二:信任代理權: 權重最高的規則。代理人(Agent)透過以下條件取得行動資格:
  • 演算法公平性——對受保護群體不產生偏見。
  • 毒性與內容安全——內容在傳遞前先經過篩查。
  • 同意與資料授權——遵守客戶當初同意的條款。
  • 防止幻覺——在高風險情境中不得憑空捏造內容。
  • 可解釋性——任何人(監管機關、客戶、顧問)都能理解決策原因。
  • 利害關係人價值——結果必須對客戶有利,而非只有企業受益。
  • 廠商責任歸屬——責任在事前預先釐清,不在事故發生後才談判。

在上線前後套用這些規則

多數代理型 AI 試行計畫的失敗,根源不在 AI 本身,而在架構設計——團隊試圖在尚未打好基礎的情況下建構參與系統。最常見的單一失敗原因,是將 AI 代理人建立在雜亂、孤立或過時的資料之上。沒有統一的資料(規則 1),代理人就無法追溯自己所依據的內容;沒有即時存取能力(規則 2),代理人就只能根據過時的快照做決策;沒有語義詮釋資料(規則 3),代理人就無從理解資料的實際意義。這正是為什麼那麼多 AI 代理人試行計畫在受控環境中表現亮眼,一旦面對生產環境的資料,卻立刻破功。

延伸閱讀:[AI 代理人如何克服 3 道障礙,改變你的客戶服務]

當代理型 AI 試行計畫產出錯誤或奇怪的答案,團隊才發現自己對「為什麼」完全沒有能見度。沒有可觀測性與行為可追溯性(規則 4),就沒有人能回答「到底發生了什麼」——而這正是除錯、答辯或改進所必需的能力。試行計畫失敗,不是因為 AI 出錯,而是因為它不透明。

試行計畫通常在乾淨、具代表性的資料與受控環境中驗證,很少碰到對抗性輸入、邊界案例或惡意行為者(規則 5)。持續性的對抗驗證往往被跳過,因為感覺像是額外的工作。

示範展示通常只呈現單一步驟的任務,但真實的企業工作是多步驟且充滿歧義的。當 AI 代理人遇到真正的多步驟挑戰(規則 6)——相互依賴的環節、情境切換、互相競爭的訊號——不是悄悄地失敗,就是需要人類不斷介入照料。

護欄通常要等到事故發生才被建立起來。團隊會跳過混合式確定性治理(規則 7),因為它會拖慢進度;他們仰賴模型「自己知道」什麼不該做。

然後,AI 代理批准了不該批准的事,或違反了政策。治理機制在事件發生後才被動補上——代價遠高於一開始就把它建進去。成功的 AI 代理生產部署,需要代理與其他代理、以及人類協同運作(不依賴特定平台的協作編排,規則 8)——人機協作(規則 9)。AI 試行專案也常常在未深思資料存放地點、存取控制或所有權歸屬的情況下,直接使用供應商托管的模型。數位主權問題(規則 10)——尤其在受監管產業——往往到後期才浮現,引發法務與採購審查,最終凍結甚至扼殺生產部署。當 AI 代理進入生產環境,業務主管必須能夠衡量導入前後的商業影響。若缺乏以成果為基礎的效益對照(規則 11),推動 AI 代理規模化部署的理由不過是直覺,而非數據。預算掌控者會問:「我們究竟達成了什麼?」卻得不到答案。此外:自主運營的企業時代即將來臨。以下是為何這場轉變對專業工作者而言是好消息。

最後,AI 生產部署失敗,是因為信任從未被建立起來。多數試行專案專注於能力與速度,卻跳過了公平性測試、同意機制落實、幻覺防範與可解釋性等艱難的功課。一旦出問題,沒有任何信任架構可以作為後盾。在受監管或直接面對客戶的場景中,只要出現一次錯誤輸出,整個專案就可能就此終止。
AI 代理的 12 條規則金字塔,倒過來放是行不通的。那些在試行與生產部署中真正成功的 AI 代理專案,都把資料品質、治理機制與人機協作視為前提條件——而非事後補救。