多語言AI的現(xiàn)狀

同樣的，使用這些低資源語言的研究人員在ML和NLP社區(qū)中的代表性同樣不足。例如，雖然我們可以觀察到隸屬于非洲大學(xué)的作者數(shù)量在頂級(jí)機(jī)器學(xué)習(xí)（ML）和NLP...

2023-04-20 標(biāo)簽：AI語言模型自然語言處理 1.1k 0

后ChatGPT時(shí)代NLP的下一個(gè)方向：增強(qiáng)式大規(guī)模語言模型

Visual ChatGPT 是一種智能交互系統(tǒng)，它將不同的視覺基礎(chǔ)模型與 ChatGPT 相結(jié)合，使得用戶可以通過發(fā)送語言和圖像與 AI 系統(tǒng)進(jìn)行交互...

2023-04-20 標(biāo)簽：語言模型數(shù)據(jù)集ChatGPT 1.2k 0

Auto-GPT是如何工作的？

我們每分配一個(gè)任務(wù)，Auto-GPT 都會(huì)給出一個(gè)相應(yīng)的解決計(jì)劃。比如，需要瀏覽互聯(lián)網(wǎng)或使用新數(shù)據(jù)，它便會(huì)調(diào)整其策略，直到任務(wù)完成。這就像擁有一個(gè)能處理...

2023-04-19 標(biāo)簽：語言模型智能體ChatGPT 1.6k 0

ChatGPT的朋友們：大語言模型經(jīng)典論文

本節(jié)目標(biāo)是通過OpenAI系列論文閱讀細(xì)窺ChatGPT的主要原理，其先進(jìn)的工作脈絡(luò)可以概括為下圖。從依賴往上追溯需要了解Codex 和 instruc...

2023-04-11 標(biāo)簽：語言模型深度學(xué)習(xí)ChatGPT 2.4k 0

In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開其奧秘

In-context learning允許用戶為新用例快速構(gòu)建模型，而無需為每個(gè)任務(wù)微調(diào)和存儲(chǔ)新參數(shù)。它通常只需要很少的訓(xùn)練示例就可以使模型正常工作，而...

2023-04-11 標(biāo)簽：貝葉斯語言模型自然語言 2.1k 0

哈工大南洋理工提出全球首個(gè)「多模態(tài)DeepFake檢測(cè)定位」模型：讓AIGC偽造無處可藏

具體而言，在多模態(tài)媒體篡改中，各類新聞報(bào)道的圖片中重要人物的人臉（如圖 1 中法國總統(tǒng)人臉）被替換，文字中關(guān)鍵短語或者單詞被篡改（如圖 1 中正面短語「...

2023-04-11 標(biāo)簽：互聯(lián)網(wǎng)語言模型圖像檢測(cè) 1.6k 0

有哪些省內(nèi)存的大語言模型訓(xùn)練/微調(diào)/推理方法？

首先，我們需要了解如何根據(jù)參數(shù)量估計(jì)模型大致所需的 RAM，這在實(shí)踐中有很重要的參考意義。我們需要通過估算設(shè)置 batch_size，設(shè)置模型精度，選擇...

2023-04-10 標(biāo)簽：RAM參數(shù)語言模型 2.4k 0

基于預(yù)訓(xùn)練語言模型設(shè)計(jì)了一套統(tǒng)一的模型架構(gòu)

進(jìn)一步，本文研究了在更依賴 KG 的知識(shí)庫問答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推理兩階段，先從大規(guī)模知識(shí)圖譜上檢索問題相關(guān)的小子圖，...

2023-04-07 標(biāo)簽：PLM語言模型數(shù)據(jù)集 1.2k 0

Firefly(流螢): 中文對(duì)話式大語言模型

Bloom是個(gè)多語言模型，由于需要兼容多語言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會(huì)被用到。我們通過刪減冗余的詞表，從多語言模型中提取常用...

2023-04-07 標(biāo)簽：語言模型數(shù)據(jù)集Firefly 7.9k 0

大型語言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開來的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語言模型nlp 1.5k 0

重新審視Prompt優(yōu)化問題，預(yù)測(cè)偏差讓語言模型上下文學(xué)習(xí)更強(qiáng)

Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯度的優(yōu)化來調(diào)整這些 embeddings。然而，這些...

2023-04-03 標(biāo)簽：語言模型 913 0

ChatGPT開始聯(lián)網(wǎng)，最后的封印解除了

OpenAI 的解決方案是用第三方插件作為橋梁，讓 AI 在較安全的環(huán)境下「看」外界數(shù)據(jù)。昨天該機(jī)構(gòu)開放了第一批 ChatGPT 插件名單。這批插件由 ...

2023-03-27 標(biāo)簽：語言模型OpenAIChatGPT 1.3k 0

語言模型性能評(píng)估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集

零樣本學(xué)習(xí)是AI識(shí)別方法之一。簡單來說就是識(shí)別從未見過的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類別， 還可以對(duì)于來自未見過的類別的數(shù)...

2023-03-27 標(biāo)簽：分類器語言模型數(shù)據(jù)集 2.5k 0

Recursive prompting增強(qiáng)語言模型方案

無監(jiān)督問題分解，將原問題分解為多個(gè)相對(duì)簡單的子問題。這里需要訓(xùn)練一個(gè)分解模型，用于將復(fù)雜問題分解成多個(gè)子問題。

2023-03-23 標(biāo)簽：語言模型無監(jiān)督學(xué)習(xí) 531 0

語言模型GPT-4在北京高考題目上的測(cè)試結(jié)果

計(jì)算符號(hào)的表示。針對(duì)數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（如， ）都不影響GPT-4的理解。為了統(tǒng)一，我們都...

2023-03-22 標(biāo)簽：電荷語言模型GPT 1.9k 0

ChatGPT開源項(xiàng)目匯總表格

CarperAI 是EleutherAI研究小組的一個(gè)新實(shí)驗(yàn)室，其任務(wù)是“通過強(qiáng)化學(xué)習(xí)提高大型語言模型 (LLM) 的性能和安全性。” CarperAI...

2023-03-22 標(biāo)簽：開源語言模型ChatGPT 2.4k 0

如何利用大規(guī)模語言模型將自然語言問題轉(zhuǎn)化為SQL語句？

有的工作嘗試引出中間推理步驟，通過將復(fù)雜問題顯示分解為多個(gè)子問題，從而以分而治之的方式來解決。

2023-03-22 標(biāo)簽：SQL語言模型SQL語句 7.7k 0

最全ChatGPT技術(shù)匯總

ChatGPT的強(qiáng)大能力是顯而易見的，但對(duì)于人工智能領(lǐng)域不太熟悉的人，對(duì)這種黑盒的技術(shù)仍然會(huì)擔(dān)憂或者不信任?？謶滞ǔ碜杂诓涣私猓虼吮疚膶榇蠹胰嫫?..

2023-03-22 標(biāo)簽：人工智能語言模型ChatGPT 4.6k 0

ELMER: 高效強(qiáng)大的非自回歸預(yù)訓(xùn)練文本生成模型

每個(gè)單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也使得自回歸模型難以并行化。目前大部分預(yù)訓(xùn)練生成模型均...

2023-03-13 標(biāo)簽：模型語言模型聊天機(jī)器人 2k 0

大型語言模型有哪些用途？大型語言模型如何運(yùn)作呢？

大型語言模型能識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語言模型GPTChatGPT 9.2k 0