我在iPhone上裝了70億參數(shù)大模型，來(lái)自陳天奇團(tuán)隊(duì)最新成果

目前可以測(cè)試的模型有羊駝家族（基于LLaMA）的RedPajama和Vicuna?？蛇x模型參數(shù)分別為30億和70億，與很多在線(xiàn)Demo規(guī)模也相當(dāng)了。

2023-06-07 標(biāo)簽：iPhone大模型 868 0

速看！EASY-EAI教你離線(xiàn)部署Deepseek R1大模型

1.Deepseek簡(jiǎn)介DeepSeek-R1，是幻方量化旗下AI公司深度求索（DeepSeek）研發(fā)的推理模型。DeepSeek-R1采用強(qiáng)化學(xué)習(xí)進(jìn)行...

2025-07-25 標(biāo)簽：AI大模型DeepSeek 865 0

一種高效的KV緩存壓縮框架--GEAR

GEAR框架通過(guò)結(jié)合三種互補(bǔ)的技術(shù)來(lái)解決這一挑戰(zhàn)：首先對(duì)大多數(shù)相似幅度的條目應(yīng)用超低精度量化；然后使用低秩矩陣來(lái)近似量化誤差。

2024-03-19 標(biāo)簽：GEAR大模型 863 0

在RTX 4090被限制的時(shí)代下，讓大模型使用RLHF更高效的方法來(lái)了

今年，以 ChatGPT 為首的大語(yǔ)言模型（Large Language Models, LLMs) 在各個(gè)方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對(duì) G...

2023-10-22 標(biāo)簽：語(yǔ)言模型ChatGPT大模型 862 0

機(jī)器人基于開(kāi)源的多模態(tài)語(yǔ)言視覺(jué)大模型

ByteDance Research 基于開(kāi)源的多模態(tài)語(yǔ)言視覺(jué)大模型 OpenFlamingo 開(kāi)發(fā)了開(kāi)源、易用的 RoboFlamingo 機(jī)器人操作...

2024-01-19 標(biāo)簽：機(jī)器人大模型 852 0

如何推動(dòng)智能視覺(jué)技術(shù)發(fā)展

語(yǔ)言學(xué)和認(rèn)知科學(xué)的先驅(qū) Noam Chomsky 曾經(jīng)說(shuō)過(guò)，人類(lèi)語(yǔ)言在動(dòng)物世界中是獨(dú)一無(wú)二的。如今，隨著諸如 GPT-3.5、GPT-4.0 和 Ber...

2024-09-02 標(biāo)簽：ARM智能視覺(jué)大模型 848 0

基于歸結(jié)反演的大語(yǔ)言模型邏輯推斷系統(tǒng)

受邏輯符號(hào)領(lǐng)域的邏輯推理方法的啟發(fā)，我們引入了一個(gè)在一階邏輯下完備的邏輯推理范式歸結(jié)反演（其推理過(guò)程不會(huì)受到條件1的約束）來(lái)提高完備性，并提出一個(gè)新的推...

2024-04-28 標(biāo)簽：數(shù)據(jù)集選擇器自然語(yǔ)言 848 0

聊聊AI研發(fā)的七大支柱

通過(guò)豐富數(shù)據(jù)，生成式 AI 應(yīng)用程序可以提供上下文感知交互。 LLM 驅(qū)動(dòng)的功能通常依賴(lài)于特定的專(zhuān)有數(shù)據(jù)。簡(jiǎn)化從多個(gè)來(lái)源引入數(shù)據(jù)對(duì)于創(chuàng)建平滑有效的模型至...

2023-12-21 標(biāo)簽：AI數(shù)據(jù)連接器大模型 839 0

大模型算驅(qū)動(dòng)AI服務(wù)器行業(yè)報(bào)告

AI服務(wù)器按芯片類(lèi)型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國(guó)內(nèi)的主要選擇（占比91.9%）；AI服務(wù)器...

2023-11-28 標(biāo)簽：cpu服務(wù)器AI 834 0

端到端自動(dòng)駕駛的基石在哪里？

深度學(xué)習(xí)（DL）與自動(dòng)駕駛（AD）的融合標(biāo)志著該領(lǐng)域的重大飛躍，吸引了學(xué)術(shù)界和工業(yè)界的關(guān)注。配備了攝像頭和激光雷達(dá)的AD系統(tǒng)模擬了類(lèi)似人類(lèi)的決策過(guò)程。

2024-02-26 標(biāo)簽：攝像頭激光雷達(dá)自動(dòng)駕駛 831 0

谷歌大型模型終于開(kāi)放源代碼，遲到但重要的開(kāi)源戰(zhàn)略

在人工智能領(lǐng)域，谷歌可以算是開(kāi)源的鼻祖。今天幾乎所有的大語(yǔ)言模型，都基于谷歌在 2017 年發(fā)布的 Transformer 論文；谷歌的發(fā)布的 BERT...

2024-02-22 標(biāo)簽：谷歌GPTOpenAI 830 0

中國(guó)大模型市場(chǎng)進(jìn)展與趨勢(shì)

大模型當(dāng)前以生成類(lèi)應(yīng)用為主，多模態(tài)是未來(lái)重點(diǎn)發(fā)展方向 企業(yè)用戶(hù)是從應(yīng)用視角出發(fā),分成生成類(lèi)應(yīng)用、決策類(lèi)應(yīng)用和多模態(tài)應(yīng)用。 受限于模型能力、應(yīng)用效果等...

2023-11-29 標(biāo)簽：編程語(yǔ)言機(jī)器學(xué)習(xí)深度學(xué)習(xí) 804 0

通過(guò)增強(qiáng)一致性訓(xùn)練，有效緩解CoT中的偏見(jiàn)問(wèn)題

這些偏見(jiàn)特征可能導(dǎo)致模型在沒(méi)有明確提及這些偏見(jiàn)的情況下，系統(tǒng)性地歪曲其推理過(guò)程，從而產(chǎn)生不忠實(shí)（unfaithful）的推理。

2024-03-22 標(biāo)簽：大模型 792 0

淺析流行的LLM推理堆棧和設(shè)置

還有一個(gè)與批次大小有關(guān)的數(shù)量，它們?cè)谝粋€(gè)有趣的點(diǎn)上相交。這個(gè)點(diǎn)不取決于硬件之外的任何因素。舉例來(lái)說(shuō)，在 A10G 和 A100 上，硬件可以實(shí)現(xiàn)的總浮點(diǎn)...

2024-01-29 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpuAI 790 0

一種新大模型安全問(wèn)題之隱式有害內(nèi)容輸出

使用了LLaMA-13B來(lái)訓(xùn)練模型和獎(jiǎng)勵(lì)模型，使用BAD模型作為有害內(nèi)容檢測(cè)模型。

2023-12-04 標(biāo)簽：ChatGPT大模型 783 0

關(guān)于人工智能的幾個(gè)相關(guān)概念

大模型:即基礎(chǔ)模型，在海量數(shù)據(jù)和計(jì)算資源的基礎(chǔ)上通過(guò)預(yù)先訓(xùn)練出來(lái)的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型 >狹義多指大語(yǔ)言模型，廣義還包括CV、多模態(tài)等...

2024-02-22 標(biāo)簽：AI人工智能大數(shù)據(jù) 769 0

在英特爾哪吒開(kāi)發(fā)套件上部署DeepSeek-R1的實(shí)現(xiàn)方式

隨著人工智能技術(shù)的快速發(fā)展，企業(yè)對(duì) AI 模型的部署方式有了更多選擇。本地部署 DeepSeek-R1 模型具有以下顯著優(yōu)勢(shì)，使其成為許多企業(yè)和開(kāi)發(fā)者的首選。

2025-03-12 標(biāo)簽：英特爾開(kāi)發(fā)板大模型 766 0

芯資訊｜WT2605C藍(lán)牙語(yǔ)音芯片：AI對(duì)話(huà)大模型賦能的智能交互新引擎

引言：AI技術(shù)驅(qū)動(dòng)智能交互新趨勢(shì)在萬(wàn)物互聯(lián)的智能時(shí)代，用戶(hù)對(duì)產(chǎn)品的交互體驗(yàn)提出了更高要求——從“被動(dòng)響應(yīng)”向“主動(dòng)對(duì)話(huà)”升級(jí)。如何將AI大模型的強(qiáng)大語(yǔ)義...

2025-04-09 標(biāo)簽：AI語(yǔ)音芯片大模型 762 0

Transformer迎來(lái)強(qiáng)勁競(jìng)爭(zhēng)者 新架構(gòu)Mamba引爆AI圈！

作為通用序列模型的骨干，Mamba 在語(yǔ)言、音頻和基因組學(xué)等多種模態(tài)中都達(dá)到了 SOTA 性能。在語(yǔ)言建模方面，無(wú)論是預(yù)訓(xùn)練還是下游評(píng)估，他們的 Mam...

2023-12-07 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AI機(jī)器學(xué)習(xí) 750 0