如今高效智能的AI大模型，正如雨后春筍般破土而出，人們對(duì)于AI大模型的學(xué)習(xí)與探索之路，也愈發(fā)寬闊平坦。雖然AI工具已不再陌生，但其中關(guān)于AI Prompt、大模型的吞吐量、蒸餾與量化、私有化知識(shí)庫(kù)等這些常見的專業(yè)術(shù)語(yǔ)，你又了解多少？這篇文章將幫助你快速掌握AI行業(yè)常見的核心概念。

1、大模型型號(hào)

每個(gè)大模型都有其獨(dú)特的設(shè)計(jì)和功能，有些大模型可能在語(yǔ)言理解方面表現(xiàn)出色，有些則可能在生成圖像或解決特定領(lǐng)域問題上更有優(yōu)勢(shì)，就像不同品牌的汽車。

同一個(gè)大模型也會(huì)有不同的版本型號(hào)，例如DeepSeek R1、DeepSeek V3等，不同的版本號(hào)代表著全面的進(jìn)化，例如更大的參數(shù)、更快的速度、更長(zhǎng)的上下文、或者多模態(tài)之類的新功能。

很多模型還針對(duì)不同任務(wù)做了微調(diào)，這些在名字上同樣有區(qū)分，比如DeepSeek Coder V2、DeepSeek Math等。

通常情況對(duì)話型就加chat，寫代碼就加coder，算數(shù)學(xué)就加math，做視覺就加vision等等。

2、模型參數(shù)

模型參數(shù)的數(shù)量通常非常龐大，比如7B、14B、32B等（7B=7Billion=7000000000個(gè)參數(shù)），一個(gè)擁有數(shù)十億甚至數(shù)萬(wàn)億參數(shù)的大模型，就像一個(gè)擁有超級(jí)多“腦細(xì)胞”的超級(jí)大腦。這些參數(shù)決定了模型如何理解輸入的信息，并生成相應(yīng)的輸出。

模型參數(shù)越大，通常能夠?qū)W習(xí)到更復(fù)雜的模式和規(guī)律。

參數(shù)越大，價(jià)格越貴，所以需要根據(jù)處理任務(wù)的復(fù)雜度，合理選擇不同“尺寸”的模型。

7B 模型

適用場(chǎng)景：適用于一些對(duì)實(shí)時(shí)性要求較高，且任務(wù)相對(duì)簡(jiǎn)單的場(chǎng)景。

例如簡(jiǎn)單的文本分類任務(wù)，如將新聞文章快速分類為政治、經(jīng)濟(jì)、娛樂等類別；基礎(chǔ)的智能客服場(chǎng)景，能夠回答一些常見的、較為固定的問題，如“產(chǎn)品的價(jià)格是多少”“如何注冊(cè)賬號(hào)”等。

14B 模型

適用場(chǎng)景：可以處理稍微復(fù)雜一點(diǎn)的自然語(yǔ)言處理任務(wù)。

例如，能夠進(jìn)行簡(jiǎn)單的文本摘要生成，提取文章的關(guān)鍵信息；在智能客服中，可以理解一些稍微復(fù)雜的用戶問題，如“我之前購(gòu)買的產(chǎn)品出現(xiàn)了故障，該如何解決”，并給出相應(yīng)的解決方案。

32B 模型

適用場(chǎng)景：生成質(zhì)量較高的文本，比如吸引人的廣告文案、社交媒體推文等內(nèi)容，提供一些不錯(cuò)的創(chuàng)意和內(nèi)容生成。在知識(shí)問答系統(tǒng)中，能夠回答一些涉及一定領(lǐng)域知識(shí)的問題，如 “人工智能的發(fā)展歷程是怎樣的”。

70B 模型

適用場(chǎng)景：具備更強(qiáng)的語(yǔ)言理解和生成能力，適用于復(fù)雜的對(duì)話系統(tǒng)，能夠進(jìn)行多輪對(duì)話，理解對(duì)話中的上下文信息，并給出合理的回應(yīng)；在文本生成方面，能夠生成更連貫、更有邏輯的長(zhǎng)篇內(nèi)容，如小說、技術(shù)文檔等。

例如作為智能寫作助手，幫助員工撰寫報(bào)告、方案等文檔，提供思路和內(nèi)容建議。能夠處理較為復(fù)雜的文字工作，理解領(lǐng)導(dǎo)和同事的意圖，并提供高質(zhì)量的協(xié)助。

671B 模型

適用場(chǎng)景：通常具有非常強(qiáng)大的知識(shí)儲(chǔ)備和語(yǔ)言處理能力，能夠處理極其復(fù)雜的任務(wù)。

例如，在科學(xué)研究領(lǐng)域，能夠幫助科研人員理解和分析復(fù)雜的學(xué)術(shù)文獻(xiàn)，進(jìn)行知識(shí)圖譜構(gòu)建；在金融領(lǐng)域，能夠?qū)Υ罅康慕鹑跀?shù)據(jù)進(jìn)行深度挖掘和分析，進(jìn)行風(fēng)險(xiǎn)評(píng)估和投資預(yù)測(cè)。

通過對(duì)海量的數(shù)據(jù)和信息進(jìn)行分析，提供有價(jià)值的洞察和建議，能夠?yàn)槠髽I(yè)的重大決策提供有力的支持。

3、上下文長(zhǎng)度

你可以把上下文長(zhǎng)度想象成一個(gè)“記憶窗口”。

當(dāng)大模型處理文本時(shí)，它會(huì)考慮一定長(zhǎng)度的前文內(nèi)容來(lái)理解當(dāng)前的文本信息，這個(gè)長(zhǎng)度就是上下文長(zhǎng)度。一般簡(jiǎn)單且短的問題用低上下文，而嚴(yán)謹(jǐn)且文本量大的用高上下文。

上下文長(zhǎng)度通常有：

2K (2048): 標(biāo)準(zhǔn)長(zhǎng)度，適合一般對(duì)話

4K (4096): 中等長(zhǎng)度，可處理較長(zhǎng)文檔

8K (8192): 較長(zhǎng)上下文，適合長(zhǎng)文分析

32K+: 超長(zhǎng)上下文，可處理書籍內(nèi)容

如果上下文長(zhǎng)度很短，模型就像一個(gè)記憶力不太好的人，可能會(huì)忘記之前的信息，導(dǎo)致回答不準(zhǔn)確。

4、Token

Token可以理解為文本的“積木塊”。

當(dāng)大模型處理文本時(shí)，它會(huì)把文本分成一個(gè)個(gè)小的單元，這些小單元就是Token。比如句子“我喜歡吃蘋果”，可能會(huì)被分成“我”“喜歡”“吃”“蘋果”這幾個(gè)Token。

模型通過對(duì)這些Token的理解和處理來(lái)分析整個(gè)文本的含義。

每個(gè)Token都有其對(duì)應(yīng)的編號(hào)或向量表示，就像每個(gè)積木塊都有自己的獨(dú)特標(biāo)識(shí)一樣，模型就是通過操作這些“積木塊”來(lái)進(jìn)行語(yǔ)言處理。

5、蒸餾

蒸餾可以想象成從一個(gè)“知識(shí)淵博的老師”（大模型）那里提取精華，傳授給一個(gè)“學(xué)生”（小模型）的過程。大模型通常包含了大量的知識(shí)和信息，但它可能比較復(fù)雜，運(yùn)行起來(lái)比較慢。

蒸餾是通過一種特殊的訓(xùn)練方法，讓小模型學(xué)習(xí)大模型的行為和知識(shí)，從而變得更加聰明。就像學(xué)生向老師學(xué)習(xí)一樣，小模型通過蒸餾可以在保持一定性能的同時(shí)，變得更加簡(jiǎn)潔和高效，能夠更快地處理任務(wù)。

6、量化

模型參數(shù)通常是非常精確的數(shù)字，占用大量的存儲(chǔ)空間和計(jì)算資源。量化就是把這些精確的數(shù)字用更簡(jiǎn)單、更緊湊的方式表示，比如把一個(gè)32位的浮點(diǎn)數(shù)變成8位的整數(shù)。

就像一幅彩色畫(大模型)，但你想用更少的顏色畫出類似的作品(小一點(diǎn)的模型)。

比如，從256種顏色減少到16種顏色，這樣可以節(jié)省顏料(計(jì)算資源)。雖然可能會(huì)損失一點(diǎn)點(diǎn)精度，但模型的運(yùn)行速度會(huì)大幅提高，同時(shí)也能節(jié)省很多存儲(chǔ)空間，讓模型能夠在更有限的設(shè)備上運(yùn)行。

7、知識(shí)庫(kù)與RAG

知識(shí)庫(kù)就像是一個(gè)巨大的圖書館，里面存放著各種各樣的知識(shí)和信息，比如歷史事件、科學(xué)知識(shí)、文化傳統(tǒng)等等。

而RAG（檢索增強(qiáng)生成）則是一種從這個(gè)“圖書館”里快速找到有用信息，然后把這些信息提供給大模型，讓大模型能夠根據(jù)這些準(zhǔn)確的知識(shí)來(lái)生成更準(zhǔn)確、更有依據(jù)的回答。

8、MOE（混合專家模型）

DeepSeek采用MoE（Mixture of Experts，混合專家）架構(gòu)，訓(xùn)練多個(gè)專家模塊，每個(gè)專家針對(duì)特定的數(shù)據(jù)分布或任務(wù)進(jìn)行優(yōu)化。

好比當(dāng)模型接收到一個(gè)任務(wù)時(shí)，它會(huì)根據(jù)任務(wù)的特點(diǎn)自動(dòng)選擇最合適的“專家”來(lái)處理，或者綜合多個(gè)“專家”的意見來(lái)給出最終的結(jié)果。就像在一個(gè)團(tuán)隊(duì)中，不同的成員有不同的專業(yè)技能，遇到問題時(shí)會(huì)由最擅長(zhǎng)的人來(lái)解決，或者大家一起商量出一個(gè)最佳方案。

確保每個(gè)專家處理其最擅長(zhǎng)的數(shù)據(jù)類型或任務(wù)方面，從而實(shí)現(xiàn)更高效、準(zhǔn)確的預(yù)測(cè)。

9、Prompt

Prompt可以理解為給大模型的“提示語(yǔ)”或“指令”。當(dāng)你想要讓大模型做某件事情或回答某個(gè)問題時(shí)，你輸入的那段文字就是Prompt。

Prompt的設(shè)計(jì)非常重要，因?yàn)樗鼤?huì)直接影響大模型的輸出結(jié)果。

10、Agent

Agent可以根據(jù)大模型的能力和一些預(yù)設(shè)的規(guī)則，自主地完成一些任務(wù)，比如與用戶進(jìn)行對(duì)話、處理信息、執(zhí)行特定的操作等。

Agent就像是一個(gè)有自己思維和行動(dòng)能力的小機(jī)器人，它能夠理解用戶的需求，然后利用大模型的知識(shí)和自身的功能來(lái)幫助用戶解決問題，為用戶提供服務(wù)。

本文轉(zhuǎn)自：萬(wàn)云智算