完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > 大模型
以大模型作為基礎(chǔ)模型支撐AI產(chǎn)業(yè)應(yīng)用邏輯已經(jīng)被證明實(shí)用性,AI大模型為AI落地應(yīng)用提供了一種通用化的解決方案;各自各樣參數(shù)不一、面向不同行業(yè)、面向不同任務(wù)的“大模型”也陸續(xù)發(fā)布,大模型已經(jīng)成為整個(gè)AI 界追逐的寵兒,AI大模型有效果好、泛化性強(qiáng)、研發(fā)流程標(biāo)準(zhǔn)化程度高等特點(diǎn)。
文章:3316個(gè) 瀏覽:4785次 帖子:22個(gè)
大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí),會(huì)呈現(xiàn)高資源沖突,低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調(diào)特定能力數(shù)據(jù),在第二階段微調(diào)通用數(shù)據(jù)+少量...
2023-10-26 標(biāo)簽:數(shù)據(jù)語言模型SFT 2.2k 0
一文詳解多模態(tài)大模型發(fā)展及高頻因子計(jì)算加速GPU算力 | 英偉達(dá)顯卡被限,華為如何力挽狂瀾?
近年來,全球范圍內(nèi)的芯片禁令不斷升級(jí),給許多企業(yè)和科研機(jī)構(gòu)帶來了很大的困擾,需要在技術(shù)層面進(jìn)行創(chuàng)新和突破。一方面,可以探索使用國產(chǎn)芯片和其他不受限制的芯...
開源大模型FLM-101B:訓(xùn)練成本最低的超100B參數(shù)大模型
近期,一支來自中國的研究團(tuán)隊(duì)正是針對(duì)這些問題提出了解決方案,他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本,而...
DeepSeek-R1,是幻方量化旗下AI公司深度求索(DeepSeek)研發(fā)的推理模型 。DeepSeek-R1采用強(qiáng)化學(xué)習(xí)進(jìn)行后訓(xùn)練,旨在提升推理能...
隨著人工智能技術(shù)的不斷發(fā)展,大模型(Large Models)在各個(gè)領(lǐng)域中發(fā)揮著越來越重要的作用。然而,要實(shí)現(xiàn)這些大模型的高效運(yùn)行,就需要強(qiáng)大的算力支持...
數(shù)據(jù)并行是最常見的并行形式,因?yàn)樗芎?jiǎn)單。在數(shù)據(jù)并行訓(xùn)練中,數(shù)據(jù)集被分割成幾個(gè)碎片,每個(gè)碎片被分配到一個(gè)設(shè)備上。這相當(dāng)于沿批次(Batch)維度對(duì)訓(xùn)練過...
2023-08-24 標(biāo)簽:模型數(shù)據(jù)集pytorch 2.2k 0
中科大&字節(jié)提出UniDoc:統(tǒng)一的面向文字場(chǎng)景的多模態(tài)大模型
如上圖所示,UniDoc基于預(yù)訓(xùn)練的視覺大模型及大語言模型,將文字的檢測(cè)、識(shí)別、spotting(圖中未畫出)、多模態(tài)理解等四個(gè)任務(wù),通過多模態(tài)指令微調(diào)...
2023-08-31 標(biāo)簽:語言模型數(shù)據(jù)集大模型 2.2k 0
如何快速下載OpenVINO Notebooks中的AI大模型
OpenVINO Notebooks是Jupyter Notebook形式的OpenVINO范例程序大集合,方便開發(fā)者快速學(xué)習(xí)并掌握OpenVINO推理...
經(jīng)典 Transformer 使用不可學(xué)習(xí)的余弦編碼,加在模型底層的詞向量輸入上。GPT、BERT將其改為可學(xué)習(xí)的絕對(duì)位置編碼,并沿用到了RoBERTa...
人工智能大模型在工業(yè)網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用
隨著人工智能技術(shù)的飛速發(fā)展,人工智能大模型作為一種具有強(qiáng)大數(shù)據(jù)處理能力和復(fù)雜模式識(shí)別能力的深度學(xué)習(xí)模型,已經(jīng)在多個(gè)領(lǐng)域展現(xiàn)了其獨(dú)特的優(yōu)勢(shì)和廣闊的應(yīng)用前景...
2024-07-10 標(biāo)簽:人工智能深度學(xué)習(xí)大模型 2.1k 0
據(jù)科技部新一代人工智能發(fā)展研究中心發(fā)布的報(bào)告顯示,我國已發(fā)布79個(gè)參數(shù)規(guī)模超過10億的大模型,幾乎形成了百模大戰(zhàn)的局面。在大模型研發(fā)方面,中國14個(gè)省區(qū)...
Kaggle知識(shí)點(diǎn):使用大模型進(jìn)行特征篩選
數(shù)據(jù)科學(xué)數(shù)據(jù)挖掘的核心是是對(duì)海量數(shù)據(jù)進(jìn)行有效的篩選和分析。傳統(tǒng)上數(shù)據(jù)篩選依賴于數(shù)據(jù)驅(qū)動(dòng)的方法,如包裹式、過濾式和嵌入式篩選。隨著大模型的發(fā)展,本文將探討...
2024-12-03 標(biāo)簽:語言模型海量數(shù)據(jù)大模型 2.1k 0
北大&華為提出:多模態(tài)基礎(chǔ)大模型的高效微調(diào)
深度學(xué)習(xí)的大模型時(shí)代已經(jīng)來臨,越來越多的大規(guī)模預(yù)訓(xùn)練模型在文本、視覺和多模態(tài)領(lǐng)域展示出杰出的生成和推理能力。然而大模型巨大的參數(shù)量有兩個(gè)明顯缺點(diǎn)
2023-11-08 標(biāo)簽:框架深度學(xué)習(xí)大模型 2.1k 0
大模型由于其在各種任務(wù)中的出色表現(xiàn)而引起了廣泛的關(guān)注。然而,大模型推理的大量計(jì)算和內(nèi)存需求對(duì)其在資源受限場(chǎng)景的部署提出了挑戰(zhàn)。業(yè)內(nèi)一直在努力開發(fā)旨在提高...
大型語言模型在關(guān)鍵任務(wù)和實(shí)際應(yīng)用中的挑戰(zhàn)
大型語言模型的出現(xiàn)極大地推動(dòng)了自然語言處理領(lǐng)域的進(jìn)步,但同時(shí)也存在一些局限性,比如模型可能會(huì)產(chǎn)生看似合理但實(shí)際上是錯(cuò)誤或虛假的內(nèi)容,這一現(xiàn)象被稱為幻覺(...
2023-08-15 標(biāo)簽:解碼器數(shù)據(jù)語言模型 2.1k 0
一文講透 AI 歷史上的 10 個(gè)關(guān)鍵時(shí)刻
2025年,人工智能已經(jīng)不再只是前沿科技圈的熱詞,而是真真正正地走進(jìn)了我們的日常:生成圖像、寫代碼、自動(dòng)駕駛、醫(yī)療診斷……幾乎每個(gè)行業(yè)都在討論AI,擁抱...
針對(duì)大語言模型 (LLM) 在部署過程中的性能需求,低比特量化技術(shù)一直是優(yōu)化效果最佳的方案之一,本文將探討低比特量化技術(shù)如何幫助 LLM 提升性能,以及...
2023-12-08 標(biāo)簽:輕量化技術(shù)大模型LLM 2k 0
對(duì)于所有“基座”(Base)模型,–template 參數(shù)可以是 default, alpaca, vicuna 等任意值。但“對(duì)話”(Chat)模型請(qǐng)...
2024-03-13 標(biāo)簽:機(jī)器學(xué)習(xí)大模型 2k 0
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |