模型開放性框架:促進人工智慧可重現性、透明度與可用性的完整性與開放性

摘要

生成式人工智慧(AI)為研究與創新帶來許多機會,但其商業化也引發了對前沿 AI 模型透明度與安全性的疑慮。多數模型缺乏完整理解、稽核與重現所需的必要組成要素;有些模型生產者則一方面聲稱其模型是「開放原始碼」,另一方面卻採用限制性授權。為回應這些疑慮,我們提出模型開放性框架(Model Openness Framework, MOF),這是一套三層級的分級分類系統,依循開放科學原則,根據機器學習模型的完整性與開放性進行評等。針對每一個 MOF 類別,我們明確規範模型開發生命週期中必須釋出的程式碼、資料與文件組成要素,以及這些要素應採用哪些開放授權。此外,模型開放性工具(Model Openness Tool, MOT)提供易於使用的參考實作,可依據 MOF 分類系統評估模型的開放性與完整性。MOF 與 MOT 共同為以下兩類對象提供及時且實用的指引:(i)模型生產者,可提升其公開發布模型的開放性與完整性;(ii)模型使用者,可辨識開放模型及其組成要素,了解哪些內容可在寬鬆條件下使用、研究、修改與再散布。透過 MOF,我們希望將完整性與開放性確立為負責任 AI 研究與開發的核心原則,並促進蓬勃發展的開放 AI 生態系中的最佳實務。

鍵字  人工智慧 ⋅ \cdot 機器學習 ⋅ \cdot 開放科學 ⋅ \cdot 開放原始碼軟體 ⋅ \cdot 開放資料

1 導論

人工智慧(AI)近年來有顯著進展 [1],主要受到運算能力提升 [2, 3]、可用訓練資料增加 [4, 5],以及深度學習演算法改良 [6, 7, 8] 所推動。然而,隨著 AI 系統變得更加先進,外界對其透明度、可重現性與安全性的疑慮也日益增加 [9, 10, 11]。多數最先進(state-of-the-art, SOTA)模型都是黑盒,使人難以解釋其內部邏輯,也難以確保公平性 [12, 13]。雖然公開可取得的模型數量持續增加,但其中許多模型被錯誤地宣傳為「開放原始碼」,這種做法已被稱為「開源洗白」(openwashing)[14, 15, 16, 17]。AI 模型缺乏透明度與可重現性,阻礙了 sc...

為了回應這些疑慮,我們提出模型開放性框架(Model Openness Framework, MOF),用來評估並分類機器學習(ML)模型在整個開發流程中的完整性與開放程度。模型產製者不能只發布模型和訓練後的權重;他們也應納入模型開發生命週期中涉及的所有產物。MOF 也呼應了更廣泛的努力,希望促進 AI 研發中的透明度、可重現性與責任,包括可重現性檢核表 [19]、倫理 AI 指引 [20]、模型卡與資料卡 [21, 22]。透過採用 MOF,AI 社群可以建立一個更開放、更可問責、也更值得信賴的生態系。

為了簡化名詞使用,本文將開發並訓練第一代模型的任何個人或實體稱為「模型產製者」(model producer),或簡稱「產製者」(producer)。這涵蓋 AI 研究者、開發者、AI 愛好者,或任何以某種形式訓練模型的人,包括微調與對齊,只要他們是該(基礎)模型的原始建立者。同樣地,任何為了任何目的而採用、取用、修改或使用某個模型及其相應產物的個人或實體,包括透過微調修改權重者,本文稱為「模型消費者」(model consumer),或簡稱「消費者」(consumer)。這包括終端使用者、研究者、開發者,或任何使用 ML 模型但並非其產製者的人。我們也廣泛使用「ML」與「ML 模型」這兩個詞來描述任何模型,不論是傳統機器學習或深度學習,也不論是生成式或判別式。

本文架構如下。本文首先討論相關研究,以及 MOF 如何奠基於既有評估模型開放性的做法(第 2 節)。接著,回顧科學與技術中的開放性與完整性概念(第 3 節)。然後,介紹 MOF 分類系統的三個類別(第 4 節),以及 17 個組件(第 5 節)和各組件可接受的授權條款(第 6 節)。接著,討論實務上如何採用這套框架(第 7 節),以及 MOF 的效益(第 8 節)與限制(第 9 節)。最後,本文總結 MOF 對模型生產者與消費者的主要貢獻(第 10 節)。

2 相關研究

2.1 打開黑盒:AI 開放性的效益與風險

儘管 AI 近年來已有顯著進展 [1],多數最先進(SOTA)的基礎模型仍是黑箱,難以稽核或解釋其邏輯與行為 [12, 13]。像 OpenAI 的 GPT-4 這類大型語言模型服務,將不透明的模型藏在雲端 API 之後,讓人無從理解其內部運作 [23]。為了回應這些疑慮,推動模型開放性的運動日益壯大,公司、研究組織與個人都開始在 Hugging Face Hub、GitHub 和 Kaggle 等平台上分享模型 [24, 25, 26]。此外,草根倡議也已成為開放式基礎模型開放開發的早期領導者 [27, 28],例如 EleutherAI 的 GPT-Neo [29]、BigScience 的 BLOOM [30],以及 BigCode 的 SantaCoder [31]。這種轉向 AI 模型開放開發的趨勢,越來越被視為閉源開發之外可信的替代方案 [32]。

釋出模型的效益與風險一直有許多討論 [33, 34, 35, 36, 37, 38]。一方面,開放模型的可近用性與透明度,能同時帶來相較於閉源模型的優勢,包括透過分散式開發與稽核所帶來的安全與效能優勢 [39, 40]、對不同領域與語言的適應性與客製化能力 [35, 41],以及科學上的進展 [42, 43, 44]。另一方面,模型的開放性也帶來若干風險,例如生成不實資訊 [45, 46]、非法內容 [47],以及安全漏洞 [48]。開放基礎模型被認為具有五項同時帶來益處與風險的鮮明特性:更廣泛……

2.2 「開源」AI 的開放性不足

權重公開提供下載與下游使用的機器學習(ML)模型,正被錯誤宣稱為「開放原始碼」[15, 49, 16]。這類模型更準確地說,應稱為「開放權重模型」[17]。雖然網路平台上分享的開放模型與開放資料集數量快速增加,但令人憂心的是,相當多模型與資料集不是沒有授權條款,例如 Hugging Face Hub 上有 64.67% 的模型與 72.13% 的資料集未標示授權[26],就是採用不符合開放授權標準的限制性授權條款[15, 49]。在多數情況下,預訓練資料,或是例如從聊天機器人等模型使用過程中蒐集的人類回饋資料,都沒有被公開釋出[50]。有些模型製作者甚至加入條件,規定其模型輸出不得用於訓練後續模型,或加入觸發條件,要求模型使用方在某些條件成立時必須協商新的授權。此外,以採限制性授權條款的基礎模型為基礎微調而成的模型,即使法律上並不允許變更原始授權,仍被以 Apache 2.0 等開放原始碼授權釋出。這在 th...

許多開放(基礎)模型在發布時會附上技術報告與模型卡,但這些文件對其訓練資料的來源與處理、微調或對齊方法,只提供有限資訊 [23, 51],而且由於缺乏相關揭露,評估結果往往無法由第三方獨立重現 [52]。此外,關於安全護欄,以及提示與輸出是否遭到修改、過濾或替換,也鮮少有揭露 [53, 54]。整體而言,開放性不足,使下游模型使用者只能仰賴模型生產者所提出的有限說法。

將模型誤稱為「開源」,部分原因在於人們混淆了開源授權條款的適當使用方式。許多開發者並未意識到,開源授權條款原本是為了涵蓋傳統軟體程式碼而設計,並不適合處理機器學習模型的複雜細節 [55, 56]。如我們在第 6 節所討論,開源授權條款涵蓋的是以軟體程式碼定義的模型架構,但不涵蓋對應的模型參數。相較之下,模型參數屬於資料,因此比起開源授權條款,更適合由開放資料授權條款來治理 [57]。同時,企業將模型誤稱為「開源」的做法,也被描述為「開放洗白」(openwashing)[15, 16, 17];在這種情況下,「開放」一詞被不精確且寬鬆地用來描述「只提供最低限度透明度或可重用性的系統……以及提供最高程度透明度、可重用性與可擴充性的系統」[14]。這個問題促使我們建立一套排名系統,以促進開放性與完整性。

另一項挑戰是,多數模型在完整性方面仍有不足(也就是模型開發生命週期中各項元件的完整提供,請見第 5 節清單),通常只釋出模型架構與最終訓練完成的參數。為了達到完整的透明度、可重現性與可擴充性,我們主張模型生產者不能只停留在釋出模型以及訓練後的權重與偏差,而這正是目前的常態。相反地,他們應納入所有工作成果,包括用於訓練、驗證、測試與基準測試的資料集,以及詳細文件,例如研究論文、模型卡、資料卡與任何使用文件。完整性也要求提供所有用於解析與處理資料的程式碼、用於訓練與推論的程式碼,以及任何用於基準測試的程式碼,並包含模型開發生命週期中曾使用的任何函式庫或其他程式碼成果。

2.3 MOF:評估模型開放性與完整性的新方法

目前尚未有一個正式共識的「開源 AI」定義 [56]。廣義而言,開放 AI 指的是 AI 研發中的透明性與可近用性概念。它包含在開放與限制性授權下,分享與模型開發相關的關鍵成果,包括資料、程式碼、模型與出版品;這些授權允許對模型進行存取、檢視、修改或散布。如前所述,開放 AI 也包含草根倡議,透過開放協作方式開發開放權重模型 [27, 28]。模型的分享賦予社群各項自由,使其能透明地審視能力與限制、找出問題、重用或擴充功能,並參與集體進步。這是透過審慎地將開放授權套用於關鍵模型元件而實現,包括資料集、模型架構與訓練後參數;如此可促進署名歸屬、保障模型使用者,並在移除採用障礙的同時維持社群規範 [58, 59]。

開放原始碼、開放資料、開放取用與開放科學的結合,是解決 AI 研發中最迫切問題的有力且有效方法,這些問題包括近用、可解釋性、透明度、可重現性與安全性。開放 AI 的目標,是透過開放協作加速進展,讓系統可被檢視以建立信任,納入多元觀點,並使 AI 發展與社會利益一致 [24]。由於開放 AI 運動仍處於萌芽階段,各界正在制定新標準來處理不足之處,包括 Open Source AI Definition 草案 [56];用於稽核模型可解釋性、公平性與穩健性的工具 [60, 61, 62, 63, 64, 65];評估模型開放程度的框架,例如 AAAI Reproducibility Checklist [66] 與 NeurIPS 2019 ML Reproducibility Checklist [19];在 AI 研究實驗室設立倫理審查委員會 [67];以及政府機關的相關工作,包括美國的 NIST 與 NTIA [68],以及 AI Safety Institute i...

然而,過去的方法並沒有同時評估模型的完整性與開放性。MOF 透過客觀評估並分類模型,依據的是開發生命週期中有哪些組成部分是以開放原始碼授權釋出的,從而強化既有方法。它以具參考價值的指引、分類系統,以及為符合資格的模型指派徽章的方法,將模型開發流程中的開放性制度化。授權條款若不對下游使用施加限制,該模型即被視為開放;若有限制,則屬於原始碼可取得(source-available)。這不同於模型開放性的梯度式方法 [36],後者將 BigScience 的 BLOOM [30] 與 EleutherAI 的 GPT-J [70] 分類為開放。我們會將 GPT-J 歸類為開放,因為它是以 OSI 核准的 Apache 2.0 授權釋出;而 BLOOM 則因採用具限制性、未獲 OSI 核准的 OpenRAIL 授權,屬於原始碼可取得 [71]。整體而言,MOF 鼓勵模型製作者追求完整透明,以及不受限制的可用性。

3 理解開放性與完整性的概念與文化

在介紹 MOF 的細節之前,我們先回顧科學與科技領域中開放性與完整性的概念。這些核心原則構成了開放科學、開放原始碼、開放資料與開放近用的基礎,使研究能夠具備透明性、可再現性與協作性,也屬於更廣泛的開放知識運動的一部分;該運動主張所有知識都應該被自由分享 [72]。本節概述各個領域,以及它們如何連結到本框架的目標。理解開放性背後的動機,有助於說明為何將這些概念延伸到 AI 研發至關重要:它能促進 AI 的民主化,而這對推進 AI 研究與創新,以及 AI 研發中的責任實踐至為關鍵,包括透明性、可近用性與包容性 [73]。

3.1 開放性

開放性是指將研發(R&D)的方法、進展與產出自由分享給公眾,且不對存取、檢視、修改或散布設限 [74]。相較於透過專有條款限制透明度,開放性關注的是依內容類型,採用合適的寬鬆式開放授權來釋出材料。這維持了科學對可重現性、問責性與累積式創新的理想,也讓研究與開發者社群能夠實質檢視、討論、重用並延伸既有工作 [75]。如我們在第 3.10 節所詳述,謹慎選擇適當的開放授權,有助於署名歸屬、保護下游使用者、維持社群倫理規範,並促進採用與影響力 [76, 59]。

我們也希望區分「開放」與「完整」這兩個詞,讓模型使用者能清楚知道,當模型產製者說自己的模型是開放的時候,他們究竟提供了什麼,以及是在什麼條件下提供。開放性不只是包含了哪些東西,更重要的是每個元件分別以什麼授權釋出。我們相信,打開 AI 的「黑盒子」對持續進展與負責任使用都至關重要 [77]。雖然對 MOF 所提供的程式碼元件而言,開放原始碼授權是必要的,但我們對 MOF 的做法也符合更廣泛的開放科學原則,以及開放 AI 的願景;這個願景要求的不只是模型的程式碼元件採用開放原始碼授權,模型才可被視為開放。例如,資料集與研究論文等非程式碼元素,也需要適合其格式的授權,例如開放資料或開放內容授權,而這些目前並不是 OSI 認可的授權。

3.2 完整性

完整性是開放科學的核心原則之一 [75]。我們將完整性定義為:在進行研究或工程開發技術產品的完整生命週期中所產生的關鍵產物皆可取得,藉此實現全面的透明度、檢視、評估與可重現性。在機器學習(ML)的脈絡下,完整性意味著釋出與開發 ML 模型相關的所有關鍵組成,而不只是挑選過的產物。它意味著以可用的形式分享產生模型的完整流程。全面釋出能讓外界不受限制地審視模型的生成脈絡:訓練資料的策展與處理、特徵工程、神經網路架構、權重演化、訓練設定、模型在各類基準測試上的表現、複現模型產製者的主張,以及模型開發生命週期中的其他副產物。MOF 鼓勵模型產製者在散布模型時展現充分的完整性,提供模型開發生命週期中涉及的所有產物。它定義了一套釋出關鍵產物的階層式標準,門檻逐步提高,最高標準則與開放科學典範一致。完整性加上開放性(開放授權),能加速可信且具創新性的 AI 共同進展。

我們借用開放科學中的「完整性」(completeness)一詞,以區分「開放性」(openness)這個詞的多重用法;遺憾的是,「開放性」已成為一個模糊且容易混淆的詞彙 [14, 16] 。「開放性」常被用來描述成果物所採用的授權,不只如此,也被用來描述成果物是否可取得,甚至描述這些成果物是否完整詳盡。「開放」一詞的多重用法仍持續以可能誤導、或無法揭示其具體用法的方式被使用 [68] 。把多重定義、用法或面向都塞進「開放性」這個詞裡,並不能清楚說明模型的哪個面向是開放的。舉例來說,模型提供者可能宣稱自己的模型是「開放」的,但模型使用者可能不知道它之所以開放,是因為採用了開放授權、因為公開提供取得、因為提供了資料集等額外元件,還是因為釋出的元件完整詳盡或可用。因此,我們用「完整性」來衡量隨模型一併釋出的元件可取得程度(目標是達到完全完整),並用「開放性」來描述元件是否採用寬鬆型授權條款。

3.3 開放知識

開放知識是一種總體哲學,也是一場更大的運動,涵蓋前述所有開放領域,核心在於跨越不同領域自由且公開地分享資訊與洞見 [78, 79] 。這意味著讓所有人都能取得知識資源,並為更廣泛的共享理解累積做出貢獻。開放知識實踐也包含確保資訊以符合倫理的方式被整理與傳播,維護誠信原則並尊重智慧財產權。維基媒體基金會(Wikimedia Foundation)、開放知識基金會(Open Knowledge Foundation)與 Science Commons 是開放知識社群中的領導組織。

3.4 開放科學

開放科學(open science)指的是讓科學流程的所有階段都對他人透明且可近用的實踐 [75, 80]。這包括發表研究論文、資料、原始碼、程式碼筆記本,以及複現研究所需的任何資訊或工具。開放科學的目標,是促成可重現性、協作,並讓人們能在既有知識之上繼續推進科學研究 [75]。開放科學對於可信、合乎倫理且可近用的科學研究至關重要,因為這類研究能被審查、驗證、複現,並在其基礎上持續發展。AI 領域的開放科學有時也被稱為「開放科學 AI(open science AI)」,是確保可重現性與透明度的黃金標準。

AI 研發的進展,有一部分可歸功於在 arXiv 等平台分享預印本;但許多最先進(SOTA)AI 系統的訓練資料、模型細節與程式碼,仍屬於專有資訊。許多 AI 系統的不透明性限制了可重現性、阻礙研究,也加深了人們對偏見與安全性的疑慮。轉向開放資料集、架構、權重與程式碼,有望促進民間與公部門的 AI 研究、創新與導入。整體而言,開放性已一再展現出推動各種工作在進展、公平與機會上的巨大力量。MOF 旨在於 AI 研發社群中推廣開放科學的精神與方法。

3.5 開放取用

開放取用(open access)是讓出版品等研究成果不需訂閱、也不受付費牆限制即可免費閱讀的過程,使知識能夠廣泛傳播。[81, 82]。有許多開放取用平台,例如康乃爾大學的 arXiv,讓出版品能夠免費供人檢視;這些出版品通常也會以開放授權發布。此外,期刊與研討會採用開放取用政策、強制要求與授權條款,也促成了更廣泛的研究近用。在開放取用出現之前,研究出版品大多被鎖在昂貴的期刊訂閱與付費牆之後,限制了知識被發現與使用的可能性。開放取用運動讓更多研究能夠免費提供給所有人。開放取用加速了科學家與公眾之間對新發現的傳播,也有助於可重現性與後設研究。因此,取得研究的進入門檻已大幅降低,而公眾能夠接觸 AI 研究論文,也協助推進了這個領域,包括許多支撐最新高能力 LLM 的 transformer 架構之發展與改良。

3.6 開放協作與開放社群

開放協作鼓勵跨機構、跨學科與跨國界的合作努力,讓科學與技術發展能納入更包容且多元的參與 [83, 80, 84]。開放社群則超越開放協作,關注的是建立並維持一個具有中立治理的共享社群,讓專案能在公平且擁抱開放原則的環境中協作。LF AI & Data 與 Generative AI Commons 都是開放社群的例子 [85]。

3.7 開放原始碼軟體

開放原始碼軟體(open source software, OSS)是指依授權條款發布軟體程式碼,讓使用者能不受限制地檢視、修改與再散布程式碼,從而取得對技術的自主性與控制權 [55]。過去幾十年來,OSS 運動已改變軟體開發的樣貌:早期封閉且專有的系統限制存取、綁住使用者,並使創新停滯 [86];如今,OSS 估計已被用於全球 96% 的程式碼庫 [87],並構成高達 90% 的軟體堆疊 [88]。OSS 也越來越被視為數位基礎設施 [89, 90]。像 Apache 2.0 與 MIT 這類經開放原始碼促進會(OSI)核可的授權條款,一直是促成全球協作開發、選擇自由與加速進步的關鍵 [58]。

OSS(開放原始碼軟體)已成為 AI 研發 [91, 92] 與整體開放科學 [93, 94] 不可或缺的一環。OSS 為個人 [95, 96] 與企業 [97, 98] 帶來諸多好處。它鼓勵分享程式碼與軟體開發方法 [99],為延續既有成果,並促進科學進展與民主化奠定基礎 [100, 101, 102];它提供學習、技能培養與職涯發展機會 [27, 103];它降低軟體開發與測試成本 [104, 105, 106];也促進開放標準的發展 [99, 107],不一而足。OSS 的好處……

3.8 原始碼可用

原始碼可用不應與開放原始碼混為一談。原始碼可用源自傳統軟體開發,指開發者提供原始碼存取權,但授權條款並非開源授權。這表示其中包含限制,使用者在同意使用之前必須充分理解。有些人把這類專案稱為開放近用,但這是用詞不當,因為開放近用適用於沒有付費牆的文件。多數「開放洗白」(open-washed)專案因為採用限制性授權,都是原始碼可用的例子 [15, 49]。

3.9 開放資料

開放資料(open data)指的是公開釋出研究所使用的資料集、資料庫與其他結構化資料,使其得以被取用與再利用 [112, 113]。這項實務支持科學研究的可重現性,允許重新分析,並促進創新 [114]。通常會採用標準政策與格式,以確保資料共享的品質與可用性。另一方面,開放內容(open content)則指創作素材與非結構化資料的分享。開放資料與開放內容各自都有授權條款,其中開放資料授權條款通常也可適用於資料與內容。開放資料強調資料集的標準化,處理透明度問題,並要求完整描述資料蒐集方法,以及評估資料內在偏誤。此外,可近用性是開放資料的核心基礎;資料集應能在不需個別提出請求、也不受付費牆阻隔的情況下輕易取得,以促進透明度並使外界得以檢視。

過去,許多研究領域都有資料保密的文化,這削弱了可重現性與知識累積。公開分享資料能促成重新分析、可重現性與新的應用 [115, 112]。例如,政府開放資料倡議能提高政府運作的透明度,並促進公部門內部及面向公部門的創新 [116, 117];開放臨床試驗資料有助於藥物研究 [118],而開放基因體資料庫則促成生物資訊學的突破 [119];開放氣候資料 [120, 121] 也推動了因應氣候變遷的研究與創新。雖然開放資料發布仍需要更好的標準與工具,但開放資料的價值已十分清楚。在 AI 研發的脈絡中,NeurIPS 的 Datasets and Benchmarks track 凸顯了公開發布機器學習資料集的極端重要性 [22]。

3.10 開放授權

開放授權是一種法律機制,允許內容與產出物在寬鬆條款下被自由存取、使用、修改與分享。它們是落實開放科學、開放資料與開放原始碼理念的必要基礎 [58]。針對資料、出版品、程式碼與其他研究產出,各種授權已陸續出現,用來處理權利、責任與可允許的使用方式。開放授權解決了封閉、受限制系統中的幾項關鍵問題,包括:

讓人無須付費牆或訂閱即可自由存取

允許重製、分析與延伸作品

將貢獻回饋給社群

透過建立在既有想法之上,促成累積式進展

促進跨組織與跨地域的協作

提升透明度與問責性

減緩反競爭行為或尋租現象

對於研究論文與學術作品,Creative Commons(CC,創用 CC)授權條款已被廣泛採用;這類授權允許在特定條件下自由散布與再利用,例如要求標示作者,並允許商業使用與衍生作品。常見的開放授權選項包括 CC BY(姓名標示)與 CC BY-SA(相同方式分享)。對論文、技術報告與文件採用寬鬆的 CC 授權,可提供重製、擴充與翻譯作品的權利 [59]。

對於軟體程式碼,已經發展出許多開源授權條款。開放原始碼定義(Open Source Definition)與經核准的開源授權清單由 OSI 維護 [55]。使用 OSI 核准的開源授權,有助於鼓勵社群審查與貢獻程式碼,促進品質與共同進步 [76]。具代表性的例子包括 MIT、Apache 2.0 與 3-Clause BSD 授權,這些授權允許檢視、修改與重新散布程式碼,同時要求保留著作權與授權條款。其他授權,例如 Llama 2 授權、OpenRAIL 與 AI2 ImpACT 授權,則因其使用限制而不被視為開源授權 [49]。

對於資料集,常見授權包括 Creative Commons 授權,特別是 Creative Commons Zero(CC0)、CC BY(姓名標示)與 CC BY-SA(姓名標示-相同方式分享),以及 Linux Foundation 的 Community Data License Agreement(CDLA-Permissive),和 Open Data Commons 授權,例如 Public Domain Dedication and License(PDDL)與 Open Data Commons Attribution License License(ODC-By)。這些授權提供公開分享資料的條款,同時處理姓名標示、寬鬆使用與責任等疑慮 [59]。

4 模型開放性框架類別

4.1 MOF 結構

MOF 提出三層分類系統(見表 1),用來分類機器學習(ML)模型在模型開發生命週期各個面向上的完整性與開放程度。MOF 有 17 個組成項目,用來滿足模型成品的完整性要求,涵蓋模型開發生命週期中的程式碼、資料與文件(各組成項目的定義見第 5 節)。發行內容還包含一個額外組成項目,也就是 MOF 設定檔,以符合 MOF 要求。

這 17 個組成項目分為三個不同類別。每個類別都建立在前一類別之上,其中第 III 類完整性最低,第 I 類完整性最高(見表 1)。類別越高,表示發行內容越完整,也越能促進透明度,並支持可重現性、稽核與下游使用。這種做法比計算出一個指標更有意義,因為它能引導模型生產者在框架的每個層級中,提供以開放授權釋出的必要組成項目。隨著 MOF 類別提升,生產者也更接近一套更完整的發行內容,並更符合 AI 開放科學的原則。若要符合特定類別,生產者必須提供該類別要求的每一個組成項目。每個組成項目都必須使用表 2 中適當的開放授權釋出,整個專案才能符合指定的類別層級。

4.2 MOF 類別說明

MOF 的 3 個類別代表模型完整性與開放性的遞增層級。我們從最低類別開始,說明各層級的區別特徵。

4.2.1 第 III 類:開放模型

在 MOF 中,第 III 類是入門門檻,包含必須以開放授權釋出的最低必要組成項目。如果一次釋出中未包含所有這些組成項目,且所有組成項目並未全部使用開放授權,則整個釋出便不能在 MOF 之下被視為開放。開放模型類別涵蓋以下內容:

核心模型架構與最終參數集

簡要文件,用以說明模型與資料的能力及特徵。

第三級包含研究、修改、再散布與延伸模型所需的所有元件,且不受限制,包括商業與教育用途。納入模型架構、最終權重與偏差,以及文件(包括技術報告、評估結果、模型卡與資料卡),提供了使用模型並理解其能力、限制與訓練資料性質所需的資訊。不過,這一級仍缺乏完整可重現所需的完備性與穩健性,也缺乏確認製作者所有主張所需的透明度。它也沒有足夠元件可用來評估模型,包括訓練資料。

4.2.2 第二級:開放工具

在第三級的基礎上,第二級提供模型使用者完整程式碼庫,包括自行訓練、評估與測試模型所需的函式庫與工具。新增元素包括:

完整的訓練與推論程式碼

用來驗證並量化效能的基準測試

便於整合並補完整個程式碼庫的函式庫與工具(選用)

這一層是開放模型與開放科學之間的中間步驟,讓模型使用者取得資訊,以檢驗模型製作者的主張。它也讓模型使用者能進行除錯,並強化模型功能。雖然它確實提供了對訓練過程的洞察,但不包含實際資料集。它在文件上也較為不足,因此限制了對模型細節的深入理解。

4.2.3 第一級:開放科學

最高層級符合開放科學的理想:分享端到端透明度、可重現性與協作所需的所有產物。這包括:

一篇詳細的研究論文,說明模型的起源與演進

模型訓練中使用的原始訓練資料集(任何授權或未授權皆可)

展現完整模型演進的檢查點權重

提供更多底層洞察的紀錄檔

達成第一級能讓社群貫穿模型生命週期,從多個面向檢視模型,represen

...