完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>
標簽 > LLM
在人工智能領(lǐng)域,LLM代表“大型語言模型”。在人工智能(AI)領(lǐng)域自然語言處理(NLP)是一個快速進展的領(lǐng)域。NLP中最重要是大語言模型(LLM)。大語言模型(英文:Large Language Model,縮寫LLM),也稱大型語言模型,是一種基于機器學習和自然語言處理技術(shù)的模型。
文章:337個 瀏覽:1184次 帖子:3個
TensorRT-LLM的大規(guī)模專家并行架構(gòu)設(shè)計
之前文章已介紹引入大規(guī)模 EP 的初衷,本篇將繼續(xù)深入介紹 TensorRT-LLM 的大規(guī)模專家并行架構(gòu)設(shè)計與創(chuàng)新實現(xiàn)。
6TOPS算力驅(qū)動30億參數(shù)LLM,米爾RK3576部署端側(cè)多模態(tài)多輪對話
關(guān)鍵詞:瑞芯微RK3576、NPU(神經(jīng)網(wǎng)絡處理器)、端側(cè)小語言模型(SLM)、多模態(tài)LLM、邊緣AI部署、開發(fā)板當GPT-4o用毫秒級響應處理圖文混合...
DeepSeek R1 MTP在TensorRT-LLM中的實現(xiàn)與優(yōu)化
TensorRT-LLM 在 NVIDIA Blackwell GPU 上創(chuàng)下了 DeepSeek-R1 推理性能的世界紀錄,Multi-Token P...
在之前的技術(shù)博客中,我們介紹了低延遲[1] 和高吞吐[2] 場景的優(yōu)化方法。對于生產(chǎn)部署,用戶還關(guān)心在滿足特定延遲約束的情況下,每個 GPU 的吞吐表現(xiàn)...
RK3568自制底板狂丟包?教你5分鐘用Delayline一鍵復活網(wǎng)口
在使用飛凌嵌入式RK3568核心板搭配自制底板時,由于PCB走線與參考設(shè)計存在差異,常導致RGMII接口時序異常,進而出現(xiàn)網(wǎng)口不通或頻繁丟包的情況。本文...
NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場景中的性能紀錄
本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個 NVIDIA Blackwell GPU 的配置,打破 DeepSeek-R1 在...
NVIDIA TensorRT LLM 1.0推理框架正式上線
TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架,核心目標是突破 NVIDIA 平臺上的推理性能瓶頸。為實現(xiàn)這一目標,...
基于樹莓派5+LLM8850 Card的高性能AI加速解決方案
在推廣的過程中,樹莓派生態(tài)客戶反饋希望能提供一種兼容原裝Raspberry PI HAT的M.2 2242的AI Card版本。經(jīng)過國內(nèi)優(yōu)秀的AIOT硬...
新品 | LLM-8850 Card, AX8850邊緣設(shè)備AI加速卡
LLM?8850?Card是一款面向邊緣設(shè)備的M.2M-KEY2242?AI加速卡,把42?mm的袖珍體積與AxeraAX8850?SoC的24?TOP...
Votee AI借助NVIDIA技術(shù)加速方言小語種LLM開發(fā)
Votee AI 利用 NVIDIA 的 GPU 硬件、NeMo Curator 數(shù)據(jù)處理軟件、NeMo Framework 模型訓練框架及 Auto ...
摘要 技術(shù)背景:Text2SQL 是將自然語言查詢轉(zhuǎn)為 SQL 的任務,經(jīng)歷了基于規(guī)則、神經(jīng)網(wǎng)絡、預訓練語言模型、大語言模型四個階段。當前面臨提示優(yōu)化、...
2025-08-14 標簽:SQL數(shù)據(jù)庫LLM 422 0
近日,北京后摩智能科技有限公司與北京大學集成電路學院孫廣宇長聘副教授團隊、上海交通大學張宸助理教授團隊、香港科技大學謝源講席教授團隊、東南大學司鑫副教授...
Qualys TotalAI 降低 Gen AI 和 LLM 工作負載的風險
“在AI時代,最大的風險不是不去創(chuàng)新,而是在沒有穩(wěn)固基礎(chǔ)的情況下創(chuàng)新。” 生成式人工智能 (Gen AI) 和大語言模型 (LLM) 正在革新各行各業(yè),...
全新NVIDIA AI Blueprint推動電信網(wǎng)絡配置自動化
該藍圖為電信公司提供了構(gòu)建自主網(wǎng)絡的方案,借助基于代理式 AI 的框架大幅提高網(wǎng)絡性能和效率。
2025-06-19 標簽:NVIDIA電信網(wǎng)絡LLM 855 0
在零售技術(shù)做AI的95后:我們這樣搞定技術(shù)難題
? ? 在京東零售技術(shù)團隊中,有很多年輕的算法工程師,他們大多是95后,在加入京東的短短幾年內(nèi),用實力“啃”下了一個個硬骨頭。 從大模型訓練的效率優(yōu)化、...
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |