MOE與MOT：提升LLM效能的關(guān)鍵策略比較

MoE 與 MoT：在專(zhuān)家混合中（左），每個(gè)令牌都被路由到不同的專(zhuān)家前饋層。在令牌混合（右）中，每組內(nèi)的令牌被混合，并且混合令牌由專(zhuān)家前饋層處理。

2024-04-15 標(biāo)簽：控制器機(jī)器學(xué)習(xí)LLM 2.2k 0

LLM推理任務(wù)中GPU的選擇策略

在Roofline模型可以直觀展示一張曲線圖，其中x軸表示AI（Arithmetic Intensity），即每個(gè)內(nèi)存操作對(duì)應(yīng)的浮點(diǎn)運(yùn)算次數(shù)；y軸表示性...

2024-04-07 標(biāo)簽：NVIDIAgpuLLM 2.2k 0

基于大語(yǔ)言模型的共情回復(fù)生成：實(shí)證研究和改進(jìn)

對(duì)以ChatGPT為代表的LLMs在共情回復(fù)生成上的表現(xiàn)進(jìn)行了全面的實(shí)證研究，LLMs在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上，對(duì)比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

2023-11-21 標(biāo)簽：編碼器GPTChatGPT 2.2k 1

主流GPU/TPU集群組網(wǎng)方案深度解析

用于連接 GPU 服務(wù)器中的 8 個(gè) GPU 的 NVLink 交換機(jī)也可以用于構(gòu)建連接 GPU 服務(wù)器之間的交換網(wǎng)絡(luò)。Nvidia 在 2022 年的...

2024-04-24 標(biāo)簽：gpu服務(wù)器InfiniBand 2.1k 0

TensorRT-LLM低精度推理優(yōu)化

本文將分享 TensorRT-LLM 中低精度量化內(nèi)容，并從精度和速度角度對(duì)比 FP8 與 INT8。首先介紹性能，包括速度和精度。其次，介紹量化工具 ...

2024-11-19 標(biāo)簽：數(shù)據(jù)NVIDIA模型 2.1k 0

LLM的幻覺(jué)問(wèn)題最新綜述

幻覺(jué)被描述為無(wú)意義或不忠實(shí)于所提供源內(nèi)容的生成內(nèi)容。根據(jù)與源內(nèi)容的矛盾，這些幻覺(jué)又進(jìn)一步分為內(nèi)在幻覺(jué)和外在幻覺(jué)。在LLMs中，幻覺(jué)的范圍包含了一個(gè)更廣泛...

2023-11-22 標(biāo)簽：人工智能渦輪增壓ChatGPT 2.1k 0

高效大模型的推理綜述

大模型由于其在各種任務(wù)中的出色表現(xiàn)而引起了廣泛的關(guān)注。然而，大模型推理的大量計(jì)算和內(nèi)存需求對(duì)其在資源受限場(chǎng)景的部署提出了挑戰(zhàn)。業(yè)內(nèi)一直在努力開(kāi)發(fā)旨在提高...

2024-11-15 標(biāo)簽：大模型LLM 2.1k 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語(yǔ)言建模

盡管指令調(diào)整的大型語(yǔ)言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們?cè)谖谋疽酝獾钠渌麛?shù)據(jù)模式上的有效性尚未得到充分研究。在這項(xiàng)工作中，...

2023-06-19 標(biāo)簽：模塊語(yǔ)言建模語(yǔ)言模型 2.1k 0

如何從訓(xùn)練集中生成候選prompt 三種生成候選prompt的方式

這個(gè)“gradient”怎么得到的了呢，這是個(gè)啥玩意，怎么還有梯度？注意，注意。人家是帶引號(hào)的！比喻成梯度。這玩意有什么用呢。 文章指出給定一批e...

2024-01-12 標(biāo)簽：算法promptLLM 2.1k 0

低比特量化技術(shù)如何幫助LLM提升性能

針對(duì)大語(yǔ)言模型 (LLM) 在部署過(guò)程中的性能需求，低比特量化技術(shù)一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術(shù)如何幫助 LLM 提升性能，以及...

2023-12-08 標(biāo)簽：輕量化技術(shù)大模型LLM 2k 0

BigCode背后的大規(guī)模數(shù)據(jù)去重方法有哪些？

本文面向?qū)Υ笠?guī)模文檔去重感興趣，且對(duì)散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標(biāo)簽：存儲(chǔ)器URLpython 2k 0

大模型LLM領(lǐng)域，有哪些可以作為學(xué)術(shù)研究方向？

隨著全球大煉模型不斷積累的豐富經(jīng)驗(yàn)數(shù)據(jù)，人們發(fā)現(xiàn)大模型呈現(xiàn)出很多與以往統(tǒng)計(jì)學(xué)習(xí)模型、深度學(xué)習(xí)模型、甚至預(yù)訓(xùn)練小模型不同的特性，耳熟能詳?shù)娜鏔ew/Zer...

2023-05-29 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言處理nlp 2k 0

RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

2023-07-17 標(biāo)簽：RISC-V大模型LLM 2k 0

利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（下）

對(duì)于語(yǔ)言模型（LLM）幻覺(jué)，知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫(kù)。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺(jué)的可能性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫(kù)語(yǔ)言模型知識(shí)圖譜 2k 0

NLP / LLMs中的Temperature是什么？

Temperature 是一個(gè)超參數(shù)，可用于控制生成語(yǔ)言模型中生成文本的隨機(jī)性和創(chuàng)造性。它用于調(diào)整模型的softmax輸出層中預(yù)測(cè)詞的概率。溫度參數(shù)定義...

2023-05-24 標(biāo)簽：TemperatureLLM 2k 0

RISC -V跑大模型（一）

去年，ChatGPT的出現(xiàn)震驚了全世界，在短短幾個(gè)月的時(shí)間內(nèi)，ChatGPT的月活躍用戶達(dá)到了1億。ChatGPT的成功讓許多人第一次知道了大語(yǔ)言模型（...

2023-07-17 標(biāo)簽：RISC-VRISC-V處理器ChatGPT 1.9k 0

OpenVINO? C# API部署YOLOv9目標(biāo)檢測(cè)和實(shí)例分割模型

YOLOv9模型是YOLO系列實(shí)時(shí)目標(biāo)檢測(cè)算法中的最新版本，代表著該系列在準(zhǔn)確性、速度和效率方面的又一次重大飛躍。

2024-04-03 標(biāo)簽：英特爾計(jì)算機(jī)視覺(jué)深度學(xué)習(xí) 1.9k 0

基于單一LLM的情感分析方法的局限性

LLM的發(fā)展為情感分析任務(wù)帶來(lái)的新的解決方案。有研究人員使用LLM，在上下文學(xué)習(xí)(in-context learning, ICL)的范式下，僅使用少量...

2023-11-23 標(biāo)簽：生成器自然語(yǔ)言處理半監(jiān)督學(xué)習(xí) 1.9k 0

chatGPT的175Billion個(gè)參數(shù)是哪兒來(lái)的

最近大語(yǔ)言模型模型LLM很火，大家總是說(shuō)chatgpt的175Billion參數(shù)。做算法的人更關(guān)心網(wǎng)絡(luò)的結(jié)構(gòu)，而我這種做硬件的人一直很好奇這個(gè)參數(shù)是怎么計(jì)算的。

2023-11-01 標(biāo)簽：LSTMChatGPTLLM 1.8k 0