為什麼專門化勢不可免
a]:hidden">
為什麼專門化勢不可免
最佳化理論、演化生物學、競爭市場與機器學習都預測了什麼,以及為什麼答案相同 演算法靠貼合目標而勝出 生物學與市場早已知道的事 機器學習不斷重新發現專門化 規模擴大不會改變什麼 主要來源 來源 延伸閱讀
最佳化理論、演化生物學、競爭市場與機器學習都預測了什麼,以及為什麼答案相同
關注 Dharma AI 的人已經知道,我們把專門化視為有效 AI 系統的核心原則之一,影響範圍從成本、效能,到可靠性與主權。很少有論文能像 Goldfeder、Wyder、LeCun 與 Shwartz-Ziv 在 2026 年的作品那樣,嚴謹地闡述這個論點。
在本文中,我們探討並詮釋 AI Must Embrace Specialization via Superhuman Adaptable Intelligence(Goldfeder、Wyder、LeCun 與 Shwartz-Ziv,2026)中的想法。這篇論文提出的收斂論證,橫跨最佳化理論、生物學、組織經濟學與機器學習,為以下討論提供了證據架構與思想基礎。本文呈現的框架、組織與編輯綜整,則出自 Dharma。
一般直覺其實合理:隨著 AI 系統能力越來越強,它們也應該變得越來越通用。更強的能力與更廣的適用範圍,看起來像是自然相伴的組合:更多資源、更好的方法,以及更擴大的訓練,應該會產生能以更高把握處理更多任務的系統。
但實際出現的模式並非如此。在任何特定領域中取得最重大成果的系統,往往是最狹窄地聚焦於該領域的系統。蛋白質結構預測的突破,來自一個為單一科學任務打造的系統。若仔細檢視 AI 史上的里程碑,會發現它們反映的是強烈鎖定特定領域,而不是逐步擴張的通用性。
這個模式反覆出現。它跨越不同領域、不同年代,也跨越幾乎毫無共同點的架構選擇。如此一致的模式,暗示背後有一個共同成因:而且這個成因根本不是源自 AI 研究內部。
演算法靠貼合目標而勝出
1997 年,Wolpert 與 Macready 證明了一件很少出現在 AI 架構討論中的事:不存在任何單一、通用型的最佳化演算法,能在所有可能問題上勝過其他所有演算法(Wolpert & Macready, 1997)。這個證明是數學性的,不是哲學性的。若把學習者可能面對的每一種可想像問題平均起來,每一種演算法的表現都一樣好,也一樣差。一個演算法若在某一類問題分布上取得優勢,就必然會在其他分布上讓步。效能只是被重新分配,而不是被倍增。
實務上的含意很直接:「演算法之所以勝出,是因為它很適合目標問題」(Goldfeder et al., 2026)。這個定理不是說通用性不可能,而是說通用性本身並不是效能優勢。要穩定走向優於他人的結構性路徑,就是集中:用廣度換取貼合度。
當有限資源進入畫面時,這一點會變得更尖銳。任何真實系統都在限制下運作:有限的算力、有限的資料、有限的開發時間。在能量有限的情況下,把可用資源導向學習一組有限任務的方法,會勝過把同樣資源分散到無限範圍的方法。這筆帳很殘酷:當任務集合無止境擴張時,每項任務可分到的資源會趨近於零。在有限資源下,全面涵蓋與有意義的效能之間存在直接張力。
這個定理指向的結論,不是「通用性不好」。它比這更狹窄,也更偏向操作層面:如論文所說,「普遍通用性是一個理論概念,但在實務上它是一種迷思」(Goldfeder et al., 2026)。真正能經得起現實限制考驗的,不是試圖做所有事情的系統,而是符合其目標的系統。
數學把這件事確立為一項預測,而不是一種偏好。這項預測在最佳化理論之外的世界是否成立,則是另一個問題。
生物學與市場早就知道的事
在最佳化理論替這個預測命名前,另外兩個領域已經得出同樣的判斷。
論文是這樣描述生物學案例的:在某個生態位中取得的每一項效能提升,都會在其他地方付出代價。通才型生物帶有適合多種環境的特徵,但在任何一種環境中都不是最佳;能力分散得太薄,無法在任何特定條件下取得主導地位。沒有不伴隨取捨的效能提升;投入某項能力的資源,就無法再投入另一項能力。選擇會偏好符合在地條件的設計,而不是為了在所有可能環境中均勻涵蓋而最佳化的設計。能夠存活並繁殖的生物,不是最具一般能力的,而是最能精準匹配環境的。經過演化時間尺度累積下來的結果,不是通才型生物稱霸,而是專才填滿各自的生態位。如論文所說:「專門化並不是生物學上的偶然;它是有限資源、相互競爭的目標,以及只獎勵一小部分具演化相關性挑戰之表現的環境所帶來的可預測結果」(Goldfeder et al., 2026)。
競爭性市場也會透過不同手段呈現同樣的動態。未達績效門檻的組織與策略會被淘汰——不是透過滅絕,而是透過退出、停止資助,以及由更匹配的替代方案取代。競爭扮演一種選汰機制:它會放大有效策略,並淘汰無效策略。這個機制與生物學上的選擇毫無共通之處——沒有遺傳、沒有突變,也沒有演化時間尺度。被選汰的單位不是有機體,而是組織、產品、策略。然而,結構性的壓力是相同的:有限資源、績效要求,以及系統性移除那些分散得太廣、無法在關鍵處勝出的實體。當績效標準清楚且一致時,集中的能力會勝過分散的能力。
演化與市場透過完全不同的機制運作——不同的時間尺度、不同的選汰單位、不同的遺傳機制。然而,兩者在資源壓力下都會產生相同結果:適配優先於廣度。這個定理預測了這點。生物學與市場各自獨立抵達同樣結論。當第三個領域又透過完全不同的方式得出相同發現時,這個模式看起來就不再像單一定理,而開始像是受限系統行為中更普遍的現象。
機器學習不斷重新發現專精化
同樣的模式也出現在機器學習內部——它不是從最佳化理論推導出來的,而是透過建構系統、觀察哪些做法能改善系統的累積經驗而得到的。
最清楚的形式是負遷移(negative transfer):當一個系統接受多任務訓練,卻因為這些任務彼此競爭而非相互合作,導致可衡量的效能下降時,就會發生這種現象(Ruder, 2017)。當任務共享結構時,一起訓練會有幫助。但當任務競爭表徵能力,或在訓練期間施加彼此衝突的梯度時,個別任務的表現就會低於專用系統能達到的水準。廣度帶來的收益變成深度上的成本。這是把有限能力分散到彼此拉扯的任務之間所造成、已有文獻記錄的後果。專精者沒有面對這種競爭,因此不需要支付這項成本。
前沿模型的架構提供了另一種形式的證據。混合專家(Mixture-of-Experts)系統之所以能有廣度,並不是因為所有參數都具備均一的通用性,而是因為它會把每個輸入路由到網路中一個專門化的子集合,也就是針對不同任務啟用不同專家。論文作者將此解讀為一種結構上的讓步:一個原本被設計為通用的系統,是透過在內部重新找回專門化來達成其成果。這是一種經過論證的詮釋,不是已被證明的定理;這些架構原本是為了運算效率而設計,而它們對通用性限制所透露的意涵,是合理推論,而非明示意圖。但這仍然值得注意:最有能力的通用型系統,是透過在內部執行專門型系統原本就以設計達成的事,來取得其效能。
最清楚的歷史案例也遵循同樣邏輯。AlphaFold 透過針對蛋白質結構預測這項特定任務,採用任務特定的架構與訓練選擇,帶來了跳躍式進展(Jumper et al., 2021)。它的進步來自更窄的聚焦,而不是更廣的覆蓋。這篇論文將 AlphaFold 作為典型案例,不是為了證明所有專門化系統都能取得同等幅度的進展,而是因為它格外清楚地說明了這個機制。這個機制已反覆出現:論文指出,AI 里程碑的歷史,常常反映的是高度集中的領域鎖定,而非廣泛能力,即使那些成果看起來像是在展示通用智慧。
三個不同地方。三種不同機制。同一個發現。
規模化無法改變什麼
若不處理 AI 研究中最常被引用的觀察之一,這幅圖像就不完整。Sutton 的「苦澀的教訓」(Bitter Lesson)指出,仰賴領域知識的方法,始終會被能擴大運算規模的方法超越(Sutton, 2019)。表面上,這似乎讓專門化的主張變得更複雜:如果規模與通用性會勝出,也許專門化只是在資源限制下有用的啟發式做法,而隨著算力變便宜,這種限制將會緩解。
反對意見建立在兩個不同概念的混淆之上。領域知識指的是手工編寫的特徵、工程化的先驗,以及為了讓系統洞察特定領域而設計的規則。「苦澀的教訓」(The Bitter Lesson)所針對的正是這一點,而且這樣做是對的。隨著規模增加,編入明確領域知識的系統一直被超越。
領域專門化則不同:它是決定將系統的資源、架構與訓練導向一組有邊界的任務,而不是把它們廣泛分散出去。這不是把某個領域的知識編碼進系統,而是關於範圍的決策。
論文精確地劃分了這項差異:
「領域知識的效用遞減,和領域專門化的效用是兩回事。隨著規模化推進,我們會需要更少關於蛋白質的知識,就能建立一個進行蛋白質摺疊的系統;然而,這樣的系統仍然會受益於專注在蛋白質上。」(Goldfeder 等,2026)
規模化改變的是系統能從資料中學到什麼。它並不改變一件事:把資源集中在有限的任務集合上,是否會勝過把資源分散到無限制的範圍中。「苦澀的教訓」與專門化論點運作在不同維度:前者描述知識應該如何取得,後者描述系統應該被指向什麼目標。兩者可以同時成立。規模化改變了系統學習的機制;但它沒有消除那個讓適配性比廣度更有價值的限制。
在四種分析傳統中,同樣的模式透過不同路徑浮現。這不是一個需要解釋的巧合,而是證據本身。
當有限資源遇上選擇壓力時,無論是在最佳化問題、生態系、市場,或一次訓練流程中,適配性都一再勝過廣度。具體機制不同,時間尺度不同,選擇單位也不同。但結構性的動態是相同的,並且產生相同的結果。
定理並不是生物學中這種模式的成因。生物學也不是市場中這種模式的成因。兩者都不是機器學習中這種模式的成因。它們面對的是同一個底層限制:在資源稀缺下要有表現,就需要集中。定理從數學上確立的事,演化史以經驗證據加以確認,競爭市場以制度運作加以展現,而機器學習則從架構上重新發現。
專精化不是一種偏好。它是在有限資源遇上績效要求時浮現出來的結果。
如果你正在評估領域聚焦如何影響組織內的 AI 表現,或正在內部建立採取專精策略的論述,我們很想了解你的情境。與 Dharma AI 聯繫。
主要來源
- Goldfeder, S., Wyder, M., LeCun, Y., & Shwartz-Ziv, R.(2026)。AI must embrace specialization via superhuman adaptable intelligence。arXiv:2602.23643。
來源
- Wolpert, D.H. & Macready, W.G. (1997)。最佳化的「沒有免費午餐」定理。IEEE Transactions on Evolutionary Computation,1(1),67–82。
- Forister, M.L., Novotny, V., Panorska, A.K., Baje, L., Basset, Y., Butterill, P.T., & Dyer, L.A. (2012)。植食性昆蟲食性廣度的全球分布。Proceedings of the National Academy of Sciences,109(2),418–423。
- Futuyma, D.J. & Moreno, G. (1988)。生態專化的演化。Annual Review of Ecology and Systematics,19,207–233。
- Hannan, M.T. & Freeman, J. (1977)。組織的族群生態學。American Journal of Sociology,82(5),929–964。
- Loasby, B.J. (1983)。知識、學習與企業。引自 Goldfeder 等人(2026)。
- Ruder, S. (2017)。深度神經網路中多任務學習概述。arXiv:1706.05098。
- Fedus, W., Zoph, B., & Shazeer, N. (2022)。Switch transformers:以簡單且高效率的稀疏性擴展至兆級參數模型。Journal of Machine Learning Research,23(120),1–39。
- Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., & Hassabis, D. (2021)。使用 AlphaFold 進行高準確度的蛋白質結構預測。Nature,596,583–589。
- Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., & Hassabis, D. (2018)。一種透過自我對弈掌握西洋棋、將棋與圍棋的通用強化學習演算法。Science,362(6419),1140–1144。
- Sutton, R.S. (2019)。苦澀的教訓。取自 http://www.incompleteideas.net/IncIdeas/BitterLesson.html
延伸閱讀
- 專精勝過規模:多數 AI 採購決策忽略的策略變數 — 本文在實證與策略上的互補文章。沒有免費午餐定理說明了為什麼專精在結構上可被預測,而這篇文章則檢視它在實務上表現更好的證據,以及為什麼在多數 AI 採購決策中仍被低估。
- 文字退化:多數基準測試沒有追蹤的生產環境失效模式 — 這是一種已有文件記錄的失效模式,會在語言模型超出其有效領域邊界運作時出現。
- 超越聊天機器人的直接偏好最佳化 — 偏好最佳化技術如何延伸到對話式 AI 以外的專門領域;這正是本文主張在結構上可被預測的領域聚焦策略之具體實例。
探索 Hugging Face 上的 Dharma AI ,試用我們的互動式展示、下載我們的開源模型,並了解專門化 AI 系統如何在真實企業應用中勝過通用模型。
超越聊天機器人的直接偏好最佳化
專精勝過規模:多數 AI 採購決策忽略的策略變數
社群
我想補充的是,在 AI Agent 的時代,部署一個新的超專精 agent,聚焦在非常狹窄的領域、使用較少的提示詞/脈絡,會帶來較少的幻覺與較低的 token 消耗。這既便宜又方便,所以我認為這是最可能的路徑。
