BigCode 是一個(gè)開放的科學(xué)合作組織，致力于開發(fā)大型語(yǔ)言模型。

近日他們開源了一個(gè)名為 SantaCoder 的語(yǔ)言模型，該模型擁有 11 億個(gè)參數(shù)，可以用于 Python、Java 和 JavaScript 這幾種編程語(yǔ)言的代碼生成和補(bǔ)全建議。

根據(jù)官方提供的信息，訓(xùn)練 SantaCoder 的基礎(chǔ)是 The Stack（v1.1）數(shù)據(jù)集，SantaCoder 雖然規(guī)模相對(duì)較小，只有 11 億個(gè)參數(shù)，在參數(shù)的絕對(duì)數(shù)量上低于 InCoder（67 億）或 CodeGen-multi（27 億），但 SantaCoder 的表現(xiàn)則是要遠(yuǎn)好于這些大型多語(yǔ)言模型。

不過(guò)也正是參數(shù)遠(yuǎn)遠(yuǎn)不及 GPT-3 等參數(shù)超過(guò)千億級(jí)別的超大型語(yǔ)言模型，SantaCoder 適用的編程語(yǔ)言范圍也比較有限，僅支持 Python、Java 和 JavaScript 三種語(yǔ)言。



為了照顧用戶隱私和保證訓(xùn)練質(zhì)量，在訓(xùn)練模型之前，BigCode 注釋了 400 個(gè)樣本，并建立和不斷完善 RegEx 規(guī)則，以便在訓(xùn)練前從數(shù)據(jù)集的代碼中刪除諸如電子郵件地址、密鑰和 IP 地址等敏感信息。

為了讓開發(fā)者可以放心使用 SantaCoder 生成的代碼，BigCode 推出了Dataset Search搜索工具。

通過(guò)這個(gè)工具，開發(fā)者可以找出代碼的來(lái)源，以便在 SantaCoder 產(chǎn)生的代碼屬于某一個(gè)項(xiàng)目的情況下，用戶能夠遵守相應(yīng)的許可要求。

此外，BigCode 還推出了「Am I in The Stack?」工具，開發(fā)者可以檢查自己名下的倉(cāng)庫(kù)是否是訓(xùn)練數(shù)據(jù)集的一部分，可以將自己的開源倉(cāng)庫(kù)從數(shù)據(jù)集中刪除。

BigCode 目前已經(jīng)在 Huggingface 網(wǎng)站中提供了 SantaCoder 演示。







審核編輯：劉清