使用單卡高效微調(diào)bloom-7b1，效果驚艷

在本文中我們將對QLoRA的基本原理進(jìn)行介紹，并且在Firefly項(xiàng)目中進(jìn)行實(shí)踐。我們在bloom-7b1的基礎(chǔ)上，使用QLoRA進(jìn)行中文指令微調(diào)，獲得...

2023-06-08 標(biāo)簽：gpu開源語言模型 3.2k 0

大語言模型之戰(zhàn)，該如何奪得先機(jī)？

ChatGPT要推出插件，要接入iOS和Windows，谷歌也要把AI工具整進(jìn)辦公全家桶和Android 14，百度今日召開的萬象大會，也宣布要以AI原...

2023-06-02 標(biāo)簽：AI百度語言模型 1.1k 0

ChatGPT浪潮下，看中國大語言模型產(chǎn)業(yè)發(fā)展

ChatGPT的橫空出世拉開了大語言模型產(chǎn)業(yè)和生成式AI產(chǎn)業(yè)蓬勃發(fā)展的序幕。本報(bào)告將著重分析“OpenAI ChatGPT的成功之路”、“中國類Chat...

2023-06-01 標(biāo)簽：AI語言模型ChatGPT 1.4k 0

首個(gè)大規(guī)模使用工具的大模型來了：伯克利發(fā)布Gorilla

通過讓 LLM 具備使用工具的能力，我們可以讓其有能力訪問更大范圍的和不斷變化的知識庫，進(jìn)而完成復(fù)雜的計(jì)算任務(wù)。具體來說，如果為 LLM 提供搜索技術(shù)和...

2023-05-29 標(biāo)簽：API數(shù)據(jù)庫語言模型 1k 0

可商用多語言聊天LLM開源，性能直逼GPT-4

在針對英語、中文、法語、阿拉伯語、西班牙語、印度語這 6 種語言的評測中，GPT-4 的勝率為 54.75%，BLOOMChat 的勝率為 45.25%...

2023-05-25 標(biāo)簽：開源語言模型數(shù)據(jù)集 1.5k 0

一樣媲美GPT-4、Bard，Meta發(fā)布650億參數(shù)語言模型LIMA

該研究使用了一個(gè) 65B 參數(shù)的 LLaMa 模型（該模型稱為 LIMA）在 1000 個(gè)精選樣本上進(jìn)行有監(jiān)督學(xué)習(xí)，在完全沒使用 RLHF 方法的情況下...

2023-05-24 標(biāo)簽：AI語言模型GPT 1.3k 0

研究人員提出了一種全新的語言模型推理框架——「思維樹」（ToT）

那么，這樣一個(gè)簡單的機(jī)制能否足以建立一個(gè)通向「解決通用問題的語言模型」？如果不是，哪些問題會挑戰(zhàn)當(dāng)前的范式，真正的替代機(jī)制應(yīng)該是什么？

2023-05-24 標(biāo)簽：語言模型GPTDeepMind 2.2k 0

中科院針對NL2Code任務(wù)，調(diào)研了27個(gè)大模型，并指出5個(gè)重要挑戰(zhàn)

關(guān)于NL2Code的發(fā)展，其實(shí)和自然語言理解的發(fā)展類似，一開始，基本都是基于專家規(guī)則進(jìn)行算法設(shè)計(jì)，但是此類方法需要對不同編程語言進(jìn)行設(shè)計(jì)，泛化性差；隨著...

2023-05-18 標(biāo)簽：語言模型python自然語言 2k 0

大模型及ChatGPT核心技術(shù)論文

從Transformer提出到“大規(guī)模預(yù)訓(xùn)練模型”GPT（Generative Pre-Training）的誕生，再到GPT2的迭代標(biāo)志Open AI成...

2023-05-16 標(biāo)簽：AI語言模型ChatGPT 1.5k 0

Android Studio引入AI編程助手Studio Bot

谷歌在昨晚的 Google I/O 2023 大會上發(fā)布了用于 Android Studio 的 AI 編程助手 Studio Bot—— 支持生成代碼...

2023-05-12 標(biāo)簽：AndroidAI語言模型 2.8k 0

OpenAI最新突破性進(jìn)展：語言模型可以解釋語言模型中的神經(jīng)元

這項(xiàng)工作是對齊研究方法的第三個(gè)支柱的一部分：希望使對齊研究工作本身自動化。這種方法的一個(gè)有前途的方面是它可以隨著人工智能發(fā)展的步伐而擴(kuò)展。隨著未來的模型...

2023-05-12 標(biāo)簽：神經(jīng)元語言模型OpenAI 1.2k 0

多模態(tài)GPT：國內(nèi)發(fā)布一款可以在線使用的多模態(tài)聊天機(jī)器人！

基于開源多模態(tài)模型 OpenFlamingo，作者使用公開數(shù)據(jù)集創(chuàng)建了各種視覺指令數(shù)據(jù)，包括視覺問答、圖像字幕、視覺推理、文本 OCR 和視覺對話。此外...

2023-05-12 標(biāo)簽：開源語言模型聊天機(jī)器人 1.6k 0

“伶荔”(Linly) 開源大規(guī)模中文語言模型

Linly-Chinese-LLaMA：中文基礎(chǔ)模型，基于 LLaMA 在高質(zhì)量中文語料上增量訓(xùn)練強(qiáng)化中文語言能力，現(xiàn)已開放 7B、13B 和 33B ...

2023-05-04 標(biāo)簽：cpu人工智能開源 1.7k 0

AI大語言模型的原理、演進(jìn)及算力測算專題報(bào)告

GPT是基于Transformer架構(gòu)的大語言模型，近年迭代演進(jìn)迅速。構(gòu)建語言模型是自然語言處理中最基本和最重要的任務(wù)之一。GPT是基于Transfor...

2023-04-28 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AI語言模型 1.7k 0

160億參數(shù)，新增多項(xiàng)能力，復(fù)旦MOSS開源了

團(tuán)隊(duì)同時(shí)表示，由于模型參數(shù)量較小和自回歸生成范式，MOSS 仍然可能生成包含事實(shí)性錯誤的誤導(dǎo)性回復(fù)或包含偏見 / 歧視的有害內(nèi)容，請謹(jǐn)慎鑒別和使用 MO...

2023-04-27 標(biāo)簽：開源語言模型ChatGPT 1.3k 0