云邊AI的必然趨勢(shì)和硬件承載

云邊AI是指把AI大模型和算法在云端訓(xùn)練和優(yōu)化后，部署到邊緣設(shè)備上運(yùn)行，從而將AI能力融入終端設(shè)備。在前期的AI發(fā)展中，云端計(jì)算平臺(tái)憑借其強(qiáng)大的計(jì)算能力...

2023-11-07 標(biāo)簽：物聯(lián)網(wǎng)AI邊緣計(jì)算 1.3k 0

預(yù)訓(xùn)練擴(kuò)散大模型取得點(diǎn)云-圖像配準(zhǔn)SoTA！

現(xiàn)有方法往往是：用一個(gè)2D特征提取網(wǎng)絡(luò)提取圖像特征；用一個(gè)3D特征提取網(wǎng)絡(luò)提取點(diǎn)云特征；然后根據(jù)pixel-to-point對(duì)應(yīng)關(guān)系真值通過(guò)Metric...

2023-10-29 標(biāo)簽：圖像點(diǎn)云大模型 1.7k 0

探索SFT訓(xùn)練策略對(duì)性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí)，會(huì)呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過(guò)在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型SFT 2.2k 0

一文詳解多模態(tài)大模型發(fā)展及高頻因子計(jì)算加速GPU算力 | 英偉達(dá)顯卡被限，華為如何力挽狂瀾？

近年來(lái)，全球范圍內(nèi)的芯片禁令不斷升級(jí)，給許多企業(yè)和科研機(jī)構(gòu)帶來(lái)了很大的困擾，需要在技術(shù)層面進(jìn)行創(chuàng)新和突破。一方面，可以探索使用國(guó)產(chǎn)芯片和其他不受限制的芯...

2023-10-26 標(biāo)簽：gpuAI算力 2.2k 0

在RTX 4090被限制的時(shí)代下，讓大模型使用RLHF更高效的方法來(lái)了

今年，以 ChatGPT 為首的大語(yǔ)言模型（Large Language Models, LLMs) 在各個(gè)方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對(duì) G...

2023-10-22 標(biāo)簽：語(yǔ)言模型ChatGPT大模型 862 0

LLaMA2上下文長(zhǎng)度暴漲至100萬(wàn)tokens，只需調(diào)整1個(gè)超參數(shù)

目前的Transformer位置編碼方法，有絕對(duì)位置編碼（將位置信息融入到輸入）、相對(duì)位置編碼（將位置信息寫(xiě)入attention分?jǐn)?shù)計(jì)算）和旋轉(zhuǎn)位置編碼...

2023-10-22 標(biāo)簽：參數(shù)人工智能大模型 991 0

谷歌重磅新作PaLI-3：視覺(jué)語(yǔ)言新模型！更小、更快、更強(qiáng)

效果怎么樣呢？PaLI-3 在需要視覺(jué)定位文本理解和目標(biāo)定位的任務(wù)上實(shí)現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個(gè)視覺(jué)定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語(yǔ)言模型大模型 3.2k 0

智能駕駛感知算法梳理 高階自動(dòng)駕駛落地關(guān)鍵分析

　　感知算法升級(jí)是L2級(jí)向L 3級(jí)智能駕駛系統(tǒng)跨越的關(guān)鍵。與傳統(tǒng)2D+CNN算法相比，BEV+ Transformer算法優(yōu)勢(shì)體現(xiàn)在： 1）感知輸出信息...

2023-10-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)智能駕駛感知算法 727 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標(biāo)簽：人工智能C++openEuler 3.6k 0

主流大模型推理框架盤(pán)點(diǎn)解析

vLLM是一個(gè)開(kāi)源的大模型推理加速框架，通過(guò)PagedAttention高效地管理attention中緩存的張量，實(shí)現(xiàn)了比HuggingFace Tra...

2023-10-10 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu服務(wù)器 7.2k 0

深度學(xué)習(xí)模型部署與優(yōu)化：策略與實(shí)踐；L40S與A100、H100的對(duì)比分析

隨著生成式AI應(yīng)用的迅猛發(fā)展，我們正處在前所未有的大爆發(fā)時(shí)代。在這個(gè)時(shí)代，深度學(xué)習(xí)模型的部署成為一個(gè)亟待解決的問(wèn)題。盡管GPU在訓(xùn)練和推理中扮演著關(guān)鍵角...

2023-10-07 標(biāo)簽：gpuAI深度學(xué)習(xí) 2.4k 0

大模型正在被加速，AI不是只有大模型

目前最新的第四代至強(qiáng) 可擴(kuò)展處理器的單顆CPU核數(shù)已經(jīng)增長(zhǎng)到最高60核。而在數(shù)據(jù)訪問(wèn)速度上，各級(jí)緩存大小、內(nèi)存通道數(shù)、內(nèi)存訪問(wèn)速度等都有一定程度的優(yōu)化，...

2023-09-28 標(biāo)簽：處理器英特爾AI 1k 0

未來(lái)人機(jī)交互趨勢(shì)：多模態(tài)大模型

在實(shí)踐中，主做視覺(jué)算法的公司和主做語(yǔ)音算法的公司在做方案的時(shí)候各自有側(cè)重點(diǎn)，不一定能完全根據(jù)主機(jī)廠的意愿來(lái)優(yōu)化。假如提供視覺(jué)算法的供應(yīng)商把結(jié)果優(yōu)化地很好...

2023-09-28 標(biāo)簽：傳感器人機(jī)交互手勢(shì)識(shí)別 2.4k 0

大模型壓縮首篇綜述來(lái)啦

模型壓縮涉及將大型資源密集型模型轉(zhuǎn)化為適合在受限移動(dòng)設(shè)備上存儲(chǔ)的緊湊版本。此外，它還可以?xún)?yōu)化模型以實(shí)現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標(biāo)之間取得平衡。

2023-09-26 標(biāo)簽：模型數(shù)據(jù)集nlp 1.8k 0

多模態(tài)大模型最全綜述來(lái)了！

其中最后一個(gè)表示監(jiān)督信號(hào)是從圖像本身中挖掘出來(lái)的，流行的方法包括對(duì)比學(xué)習(xí)、非對(duì)比學(xué)習(xí)和masked image建模。在這些方法之外，文章也進(jìn)一步討論了多...

2023-09-26 標(biāo)簽：圖像AIGC大模型 3.3k 0

mlc-llm對(duì)大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實(shí)戰(zhàn)（3B模型Mac M2解碼可達(dá)26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標(biāo)簽：編譯MLC深度學(xué)習(xí) 1.6k 0

為什么transformer性能這么好？Transformer的上下文學(xué)習(xí)能力是哪來(lái)的？

為什么 transformer 性能這么好？它給眾多大語(yǔ)言模型帶來(lái)的上下文學(xué)習(xí) (In-Context Learning) 能力是從何而來(lái)？在人工智能領(lǐng)...

2023-09-25 標(biāo)簽：人工智能深度學(xué)習(xí)DeepMind 1.9k 0

InfiniBand和RoCEv2網(wǎng)絡(luò)簡(jiǎn)介及解決方案

超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對(duì)于網(wǎng)絡(luò)的要求。

2023-09-22 標(biāo)簽：數(shù)據(jù)中心AITCP 1.2萬(wàn) 0