完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>
標簽 > 大模型
以大模型作為基礎模型支撐AI產(chǎn)業(yè)應用邏輯已經(jīng)被證明實用性，AI大模型為AI落地應用提供了一種通用化的解決方案；各自各樣參數(shù)不一、面向不同行業(yè)、面向不同任務的“大模型”也陸續(xù)發(fā)布，大模型已經(jīng)成為整個AI 界追逐的寵兒，AI大模型有效果好、泛化性強、研發(fā)流程標準化程度高等特點。
文章：3316個 瀏覽：4791次 帖子：22個
在 MLC-LLM 部署RWKV World系列模型實戰(zhàn)（3B模型Mac M2解碼可達26tokens/s） 中提到要使用mlc-llm部署模型首先需要...
OpenVINO?協(xié)同Semantic Kernel：優(yōu)化大模型應用性能新路徑
作為主要面向 RAG 任務方向的框架，Semantic Kernel 可以簡化大模型應用開發(fā)過程，而在 RAG 任務中最常用的深度學習模型就是 Embe...
京粉智能推廣助手-LLM based Agent在聯(lián)盟廣告中的應用與落地
一、前言 擁有一個幫你躺著賺錢的助手，聽起來是不是有點心動？依托于京東聯(lián)盟廣告平臺，借助AIGC大語言模型出色的理解、推理、規(guī)劃能力，我們推出了京粉智能...
探索推理時KV Cache的動態(tài)內(nèi)存壓縮方法
DMC通過一個決策變量（α）來有效地對輸入序列進行分段，每個段落可以獨立地決定是繼續(xù)追加還是進行累積。這允許模型在不同段落之間動態(tài)調(diào)整內(nèi)存使用。
2024-03-22 標簽：AI動態(tài)內(nèi)存DMC 1.6k 0
近一年來，以ChatGPT為代表的大模型技術引發(fā)通用人工智能新一輪發(fā)展熱潮，成為改變世界競爭格局的重要力量。
智能汽車不僅僅是一種交通工具，更是一個全新的生活空間。夏一平強調(diào)，真正的智能汽車應該具備三個核心能力：自然交流、自由移動和自我成長。
我們先來回顧一下絕對位置編碼的問題。絕對位置編碼通過可學習的 Positional Embedding 來編碼位置信息，這種方案直接對不同的位置隨機初始...
2024-01-16 標簽：電源優(yōu)化器位置編碼器大模型 1.5k 0
在選擇k值時，較大的值會使生成的內(nèi)容更具多樣性，但可能會生成不合理的內(nèi)容；較小的值則使生成的內(nèi)容多樣性較低，但質(zhì)量更有保證。我們可以根據(jù)任務的不同選擇合...
【比特熊充電?！繉崙?zhàn)演練構(gòu)建LLM對話引擎
大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的...
Kubernetes是一個在大量節(jié)點上管理容器的系統(tǒng)，其主要功能總結(jié)起來，就是在想要啟動容器的時候，負責“找一個「空閑」節(jié)點，啟動容器”。但是它默認考慮...
當AI大模型有條不紊地進行信息極速處理和海量數(shù)據(jù)存儲，當掃地機器人每天合理規(guī)劃清潔任務并精準定時清掃，當無人機在復雜環(huán)境中高效完成精確飛行和導航定位，當...
字節(jié)跳動攻克GPU萬卡互聯(lián)技術突破與解決方案
在分布式訓練中大規(guī)模使用默認的DCQCN協(xié)議時，all-to-all通信可能會導致?lián)砣蚉FC級別的提高。過度使用PFC可能會導致頭部阻塞（HoL），從...
2024-04-01 標簽：gpu人工智能網(wǎng)絡拓撲 1.5k 0
縱軸是"Bits for words", 這也是交叉熵的一個單位。在計算交叉熵時，如果使用以 2 為底的對數(shù)，交叉熵的單位就是 &q...
有了Fine-tune-CoT方法，小模型也能做推理，完美逆襲大模型
如果給語言模型生成一些 prompting，它還向人們展示了其解決復雜任務的能力。標準 prompting 方法，即為使用少樣本的問答對或零樣本的指令的...
Agent應用實戰(zhàn)：從廣告智能助手落地到平臺化賦能
前言 自2022年底ChatGPT發(fā)布以來，大模型成為非?；鸨脑掝}。如何在生活和工作中把大模型用的更好、更具價值，業(yè)界一致認為Agent是其中一個重要...
沐曦MXMACA軟件平臺在大模型訓練方面的優(yōu)化效果
在如今的人工智能浪潮中，大規(guī)模語言模型（上百億乃至千億參數(shù)）正迅速改變著我們的工作和生活。然而，訓練這些龐大的模型往往面臨“算力不足、顯存不夠用、通信太...
Yuan2.0千億大模型在通用服務器NF8260G7上的推理部署
巨量模型的智能生產(chǎn)力正在逐步滲透到各行各業(yè)，但它們的部署和運行通常需要專用的AI加速卡，能否在CPU上運行千億大模型，對千行百業(yè)智能化轉(zhuǎn)型的深化與普惠至關重要。
在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了遠超 SOTA 的結(jié)果。特別是，這篇文章展示了 4-bit 量化的 LLaM...
基于雙級優(yōu)化（BLO）的消除過擬合的微調(diào)方法
這篇論文試圖解決的問題是大型預訓練模型在下游任務中進行微調(diào)時出現(xiàn)的過擬合問題。盡管低秩適應（LoRA）及其變體通過學習低秩增量矩陣有效地減少了與完全微調(diào)...
2024-04-02 標簽：數(shù)據(jù)集LoRa自然語言 1.4k 0
Achronix Speedster7t FPGA與GPU解決方案的比較
這篇針對大模型推理跟GPU對比分析，雖然以Llama2為例，也適用于最新的Llama3，模型的日新月易也更進一步說明硬件平臺的可編程可擴展的重要性，F(xiàn)P...
換一批
編輯推薦廠商產(chǎn)品技術軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術 | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟技術開發(fā)區(qū)航空路6號手機智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
