全球首款支持 8K（8192）輸入長度的開源向量模型發(fā)布

在大模型時代，向量模型的重要性進(jìn)一步增強(qiáng)。尤其是在檢索增強(qiáng)生成（RAG）場景中，它成為了一個核心組件，用于解決大模型的上下文長度限制、幻覺問題和知識注入問題。

2023-11-02 標(biāo)簽：API聊天機(jī)器人自然語言處理 2k 0

Llama2的技術(shù)細(xì)節(jié)探討分析

模型結(jié)構(gòu)為Transformer結(jié)構(gòu)，與Llama相同的是采用RMSNorm歸一化、SwiGLU激活函數(shù)、RoPE位置嵌入、詞表的構(gòu)建與大小，與Llam...

2023-07-23 標(biāo)簽：函數(shù)OpenAILlama2 2k 0

AIGC應(yīng)用和模型的測評對比

包括代碼補(bǔ)全、代碼重構(gòu)、代碼優(yōu)化、代碼注釋等，可以覆蓋多種編程語言和領(lǐng)域?；贠penAI的GPT-4模型，甚至可以做到基于手畫的一張產(chǎn)品原型草稿圖生成...

2023-06-11 標(biāo)簽：AIOpenAIAIGC 1.8k 0

把LangChain跑起來的3個方法

使用 LangChain 開發(fā) LLM 應(yīng)用時，需要機(jī)器進(jìn)行 GLM 部署，好多同學(xué)第一步就被勸退了，

2023-07-05 標(biāo)簽：SQLOpenAIChatGPT 1.8k 0

小紅書搜索團(tuán)隊(duì)研究新框架：負(fù)樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現(xiàn)出強(qiáng)大的推理能力。然而，思維鏈已被證明是千億級參數(shù)模型才具有的涌現(xiàn)能力。

2024-01-30 標(biāo)簽：算法OpenAI大模型 1.7k 0

探索ChatGPT的信息抽取能力

通過人工檢查ChatGPT的回復(fù)，發(fā)現(xiàn)ChatGPT傾向于識別比標(biāo)注的跨度更長的sapn，以更接近人類的偏好。因此，之前的硬匹配(hard-matchi...

2023-06-01 標(biāo)簽：AI數(shù)據(jù)集深度學(xué)習(xí) 1.7k 0

開源LLM在各種基準(zhǔn)上的代理能力

采用ChatGPT的企業(yè)可能會擔(dān)心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問題，以及其他不可預(yù)測的事件，如最近關(guān)于董事會解雇CEO Sam Al...

2023-12-04 標(biāo)簽：人工智能OpenAIChatGPT 1.7k 0

OpenVINO?協(xié)同Semantic Kernel：優(yōu)化大模型應(yīng)用性能新路徑

作為主要面向 RAG 任務(wù)方向的框架，Semantic Kernel 可以簡化大模型應(yīng)用開發(fā)過程，而在 RAG 任務(wù)中最常用的深度學(xué)習(xí)模型就是 Embe...

2024-03-08 標(biāo)簽：JAVAOpenAI大模型 1.6k 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對話引擎

大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1.5k 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個單位。在計(jì)算交叉熵時，如果使用以 2 為底的對數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語言模型GPTOpenAI 1.5k 0

Transformers的功能概述

近年來，我們聽說了很多關(guān)于Transformers的事情，并且在過去的幾年里，它們已經(jīng)在NLP領(lǐng)域取得了巨大成功。Transformers是一種使用注意...

2024-01-23 標(biāo)簽：編碼器模型nlp 1.5k 0