基于預(yù)訓(xùn)練語(yǔ)言模型的行業(yè)搜索的應(yīng)用和研究

面向產(chǎn)業(yè)和消費(fèi)互聯(lián)網(wǎng)的搜索本質(zhì)都是一樣的：用戶有信息獲取需求，同時(shí)有信息資源庫(kù)，通過搜索引擎把兩者橋接起來(lái)。

2023-02-01 標(biāo)簽：QPSSCWSLMR 1.5k 0

文本分類中處理樣本不均衡和提升模型魯棒性的trick

文本分類看似簡(jiǎn)單，但實(shí)則里面有好多門道。作者水平有限，只能將平時(shí)用到的方法和trick在此做個(gè)記錄和分享，并且盡可能提供給出簡(jiǎn)潔、清晰的代碼實(shí)現(xiàn)。希望各...

2022-10-11 標(biāo)簽：模型代碼nlp 1.5k 0

介紹一種基于Transformer的大語(yǔ)言模型

大模型的研究者和大公司出于不同的動(dòng)機(jī)站位 LLM，研究者出于對(duì) LLM 的突現(xiàn)能力 (emergent ability) 的好奇和對(duì) LLM 對(duì) NLP...

2023-02-21 標(biāo)簽：gpu機(jī)器學(xué)習(xí)nlp 1.5k 0

自然語(yǔ)言處理技術(shù)的原理的應(yīng)用

自然語(yǔ)言處理（Natural Language Processing, NLP）作為人工智能（AI）領(lǐng)域的一個(gè)重要分支，旨在使計(jì)算機(jī)能夠理解和處理人類自...

2024-07-02 標(biāo)簽：人工智能自然語(yǔ)言處理nlp 1.5k 0

大型語(yǔ)言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開來(lái)的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語(yǔ)言模型nlp 1.5k 0

nlp神經(jīng)語(yǔ)言和NLP自然語(yǔ)言的區(qū)別和聯(lián)系

神經(jīng)語(yǔ)言（Neuro-Linguistic Programming，NLP） 神經(jīng)語(yǔ)言是一種心理學(xué)方法，它研究人類思維、語(yǔ)言和行為之間的關(guān)系。NLP的核...

2024-07-09 標(biāo)簽：計(jì)算機(jī)人工智能自然語(yǔ)言 1.4k 0

預(yù)訓(xùn)練模型在搜索中使用的思路和方案

當(dāng)然了，和往常的文章一樣，我不會(huì)復(fù)述這一篇文章，而是聊聊里面的一些關(guān)鍵點(diǎn)和一些有意思的內(nèi)容，拿出來(lái)和大家討論一下。

2022-09-19 標(biāo)簽：編碼nlp訓(xùn)練模型 1.4k 0

介紹幾篇EMNLP'22的語(yǔ)言模型訓(xùn)練方法優(yōu)化工作

來(lái)自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語(yǔ)言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作分別是： 針對(duì)檢索優(yōu)化語(yǔ)言模型 ：優(yōu)化語(yǔ)言模型訓(xùn)練過...

2022-12-22 標(biāo)簽：算法nlp 1.4k 0

自然語(yǔ)言處理模式的優(yōu)點(diǎn)

自然語(yǔ)言處理（Natural Language Processing，簡(jiǎn)稱NLP）是人工智能領(lǐng)域的一個(gè)重要分支，它致力于使計(jì)算機(jī)能夠理解、生成和處理人類...

2024-07-03 標(biāo)簽：計(jì)算機(jī)人工智能自然語(yǔ)言處理 1.4k 0

如何讓Transformer在征程5上跑得既快又好？以SwinT部署為例的優(yōu)化探索

摘要：SwinT是目前視覺transformer模型中的典型代表，在常見視覺任務(wù)，如分類、檢測(cè)、分割都有非常出色的表現(xiàn)。雖然在相同計(jì)算量的模型指標(biāo)上，S...

2023-03-03 標(biāo)簽：gpu模型Transformer 1.4k 0

GPT-4發(fā)布后，你的NLP研究發(fā)生了怎樣的變化？

舉Parsing的例子主要是想說(shuō)，Parsing領(lǐng)域的今天就是很多NLP子領(lǐng)域的明天。NLP很多dalao都是做Parsing起家，那他們?yōu)槭裁船F(xiàn)在不做...

2023-03-27 標(biāo)簽：算法GPTnlp 1.4k 0

分享微博在特征Embedding建模方向做的一些工作

首先我們對(duì)比自然語(yǔ)言處理和圖像處理：NLP 最基本的數(shù)據(jù)元素是單詞，每個(gè)單詞有一定的含義，可能指代某個(gè)實(shí)體；

2022-10-20 標(biāo)簽：圖像處理CTRnlp 1.4k 0

NLP類別不均衡問題之loss大集合

　　NLP 任務(wù)中，數(shù)據(jù)類別不均衡問題應(yīng)該是一個(gè)極常見又頭疼的的問題了。最近在工作中也是碰到這個(gè)問題，花了些時(shí)間梳理并實(shí)踐了下類別不均衡問題的解決方式，...

2023-01-31 標(biāo)簽：數(shù)據(jù)代碼GitHub 1.4k 0