大型語(yǔ)言模型（LLM）通過(guò)其卓越的文本理解與生成能力，為機(jī)器智能帶來(lái)了革命性的進(jìn)步。然而，這些模型的運(yùn)行通常需要消耗大量的計(jì)算資源，因此它們主要部署在性能強(qiáng)大的服務(wù)器上。

隨著技術(shù)的發(fā)展和邊緣計(jì)算的興起，現(xiàn)在有潛力在更小巧、便攜的設(shè)備上部署這些模型。例如，Raspberry Pi 樹(shù)莓派和 Intel 哪吒開(kāi)發(fā)套件等單片機(jī)。盡管體積小巧，但它們具備足夠的能力運(yùn)行某些精簡(jiǎn)版本的模型。本文就兩款單片機(jī)上運(yùn)行LLM做一個(gè)對(duì)比，先嘗試在Raspberry Pi 4B運(yùn)行大模型，然后將該方案在Intel哪吒開(kāi)發(fā)板重建。

1

Raspberry Pi4上運(yùn)行大模型Qwen2 0.5B

一般情況下，模型需要兩倍內(nèi)存大小才能正常運(yùn)行。因此，本方案使用的8GB的Raspberry Pi4 4B來(lái)做推理。

1.1環(huán)境部署

#部署虛擬環(huán)境 
sudo apt update && sudo apt install git 
mkdir my_project 
cd my_project
python -m venv env source env/bin/activate 
#下載依賴庫(kù) 
python3 -m pip install torch numpy sentencepiece 
sudo apt install g++ build-essential 
#下載llama.cpp代碼庫(kù) 
git clone https://github.com/ggerganov/llama.cpp 
#編譯環(huán)境 
cd llama.cpp 
make

1.2 模型下載

樹(shù)莓派4b的8GB RAM，即使樹(shù)莓派5，都不太適合做模型的量化。只能在PC機(jī)上做好量化后，再把量化后的模型文件拷貝到樹(shù)莓派上部署。具體方式是使用LLaMA.cpp中的convert-hf-to-gguf.py將原模型轉(zhuǎn)化成GGUF格式。

鑒于Raspberry Pi只有CPU，我們需要優(yōu)先考慮可以在CPU上運(yùn)行的模型。本次選擇的大模型是Qwen2 0.5B。

Qwen2 0.5B是阿里云開(kāi)源的新一代大語(yǔ)言模型，模型規(guī)模為0.49B參數(shù)，支持最長(zhǎng)達(dá)32K tokens的上下文長(zhǎng)度，在多個(gè)評(píng)測(cè)基準(zhǔn)上表現(xiàn)優(yōu)異，超越了Meta的Llama-3-70B。

這里我們直接從魔搭社區(qū)魔搭社區(qū)下載已經(jīng)量化過(guò)的GGUF模型文件。

#模型下載 
wget https://www.modelscope.cn/models/qwen/Qwen2-0.5B-Instruct-GGUF/resolve/master/qwen2-0_5b-instruct-q5_k_m.gguf

1.3 模型運(yùn)行

大模型推理引擎使用的是llama.cpp，實(shí)現(xiàn)模型推理對(duì)話。

./llama-cli -m /home/pi/qwen2-0_5b-instruct-q5_k_m.gguf -n 512 -co -i -if -f ../../prompts/chat-with-qwen.txt --in-prefix "<|im_start|>user
" --in-suffix "<|im_end|>
<|im_start|>assistant
" -ngl 24 -fa

1.4 總結(jié)

經(jīng)過(guò)一番折騰，配置環(huán)境和編譯，耗去了幾天時(shí)間，樹(shù)莓派終于成功運(yùn)行大模型了。雖然可以，但比較吃力?？戳司W(wǎng)上其他人的嘗試，即使換用具有更強(qiáng)大處理能力的樹(shù)莓派5，運(yùn)行作為資源有限設(shè)備設(shè)計(jì)的Phi-2-Q4（27億參數(shù)），由于沒(méi)有GPU支撐，所以速度也只有5.13 tokens/s。

所以說(shuō)，樹(shù)莓派5在處理速度上相較于4B有了顯著提升，但在處理大型LLM時(shí)仍受到諸多限制?？偨Y(jié)樹(shù)莓派跑大模型的痛點(diǎn)：一是它無(wú)法做模型量化，要么在本地PC機(jī)上做好量化再拷貝過(guò)來(lái)，要么直接下載使用GGUF模型文件。二是它只有CPU，計(jì)算能力的提升空間基本被鎖死了。如果要在樹(shù)莓派上跑模型，只能選用內(nèi)存占用較小且僅在 CPU 上運(yùn)行的模型。

看網(wǎng)上有高人設(shè)想了一些解決方案，比如：

將樹(shù)莓派上的小GPU用起來(lái)。樹(shù)莓派5有個(gè)VideoCore GPU，支持Vulkan編程，而llama.cpp也有Vulkan后端，理論上是有可能的。但運(yùn)行上有些問(wèn)題，包括死鎖、輸出亂碼等，推測(cè)可能和shader有關(guān)，還需要進(jìn)一步研究。

用類似T-MAC的方法，加速樹(shù)莓派CPU的推理。T-MAC提出用look-up table (LUT) 代替計(jì)算，對(duì)于低比特量化的模型會(huì)很有幫助。例如4-bit相乘，只需要一個(gè)16x16的表就能預(yù)存所有可能的結(jié)果，把乘法變成了查表。

采用新的更高效的模型架構(gòu)，例如RWKV？
但這些方法都還只是停留在理論設(shè)想階段，沒(méi)有落地實(shí)踐，那為什么不直接試下Intel 哪吒呢？

2

Intel哪吒開(kāi)發(fā)套件上運(yùn)行大模型Qwen 2.5

Intel 哪吒開(kāi)發(fā)套件搭載了英特爾N97處理器（3.6GHz），配備64GB eMMC存儲(chǔ)和8GB LPDDR5內(nèi)存。英特爾N97處理器屬于 Intel Alder Lake-N 系列，采用僅 E-Core 的設(shè)計(jì)，專為輕量級(jí)辦公、教育設(shè)備和超低功耗筆記本電腦設(shè)計(jì)，成本和功耗更低，更適合嵌入式設(shè)備。

關(guān)鍵點(diǎn)來(lái)了！Intel 哪吒最大的優(yōu)勢(shì)就是自帶集成顯卡，Intel UHD Graphics，我們可以在iGPU上使用OpenVINO來(lái)運(yùn)行大模型。

說(shuō)干就干！

2.1安裝OpenVINO配置環(huán)境

2.1.1 安裝OpenVINO

從OpenVINO官網(wǎng)下載linux版本的壓縮包，再解壓，安裝依賴，配置環(huán)境變量。

#解壓 
tar -zxvf l_openvino_toolkit_ubuntu22_2024.3.0.16041.1e3b88e4e3f_x86_64.tgz 
#安裝依賴包 
cd l_openvino_toolkit_ubuntu22_2024.3.0.16041.1e3b88e4e3f_x86_64/ 
sudo -E ./install_dependencies/install_openvino_dependencies.sh 
#配置環(huán)境變量 
source ./setupvars.sh

2.1.2安裝OpenCL runtime packages

既然我們要充分發(fā)揮Intel 哪吒的集成顯卡優(yōu)勢(shì)，就還要另外安裝OpenCL runtime packages來(lái)把模型部署到iGPU上。具體參考官方文檔，Configurations for Intel Processor Graphics (GPU) with OpenVINO — OpenVINO documentation參考網(wǎng)上經(jīng)驗(yàn)，我使用deb包的方式進(jìn)行安裝，從https://github.com/intel/compute-runtime/releases/tag/24.35.30872.22先下載11個(gè)deb包到開(kāi)發(fā)板上，然后再dpkg安裝。

#Create temporary directory
mkdir neo
#Download all *.deb packages
cd neo
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.17537.20/intel-igc-core_1.0.17537.20_amd64.deb
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.17537.20/intel-igc-opencl_1.0.17537.20_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-level-zero-gpu-dbgsym_1.3.30872.22_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-level-zero-gpu-legacy1-dbgsym_1.3.30872.22_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-level-zero-gpu-legacy1_1.3.30872.22_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-level-zero-gpu_1.3.30872.22_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-opencl-icd-dbgsym_24.35.30872.22_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-opencl-icd-legacy1-dbgsym_24.35.30872.22_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-opencl-icd-legacy1_24.35.30872.22_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/intel-opencl-icd_24.35.30872.22_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/libigdgmm12_22.5.0_amd64.deb
 
#Verify sha256 sums for packages
wget https://github.com/intel/compute-runtime/releases/download/24.35.30872.22/ww35.sum
sha256sum -c ww35.sum
 
#install required dependencies
apt install ocl-icd-libopencl1
 
#Install all packages as root
sudo dpkg -i *.deb

2.2模型下載和轉(zhuǎn)換量化

2.2.1 模型下載

本次采用的大模型是Qwen 2.5-0.5B。Qwen2.5是阿里通義團(tuán)隊(duì)近期最新發(fā)布的文本生成系列模型，基于更富的語(yǔ)料數(shù)據(jù)集訓(xùn)練，相較于 Qwen2，Qwen2.5 獲得了顯著更多的知識(shí)（MMLU：85+），并在編程能力（HumanEval 85+）和數(shù)學(xué)能力（MATH 80+）方面有了大幅提升。此外，新模型在指令執(zhí)行、生成長(zhǎng)文本（超過(guò) 8K 標(biāo)記）、理解結(jié)構(gòu)化數(shù)據(jù)（例如表格）以及生成結(jié)構(gòu)化輸出特別是 JSON 方面取得了顯著改進(jìn)。Qwen2.5 模型總體上對(duì)各種 system prompt 更具適應(yīng)性，增強(qiáng)了角色扮演實(shí)現(xiàn)和聊天機(jī)器人的條件設(shè)置功能。Qwen2.5 語(yǔ)言模型支持高達(dá) 128K tokens，并能生成最多 8K tokens 的內(nèi)容。本次使用的是指令調(diào)優(yōu)的0.5B模型，其特點(diǎn)如下：

類型：因果語(yǔ)言模型
訓(xùn)練階段：預(yù)訓(xùn)練與后訓(xùn)練
架構(gòu)：使用RoPE、SwiGLU、RMSNorm、注意力QKV偏置和綁定詞嵌入的transformers
參數(shù)數(shù)量：0.49億
非嵌入?yún)?shù)數(shù)量：0.36億
層數(shù)：24
注意力頭數(shù)（GQA）：查詢14個(gè)，鍵值對(duì)2個(gè)
上下文長(zhǎng)度：完整32,768token，生成最多8192token

下載模型首選魔搭社區(qū)，直接下載到Intel哪吒開(kāi)發(fā)板上。

#安裝lfs
git lfs install
#下載模型
git clone https://www.modelscope.cn/qwen/Qwen2.5-0.5B-Instruct.git

2.2.2模型轉(zhuǎn)換量化

在部署模型之前，我們首先需要將原始的 PyTorch 模型轉(zhuǎn)換為 OpenVINO的 IR 靜態(tài)圖格式，并對(duì)其進(jìn)行壓縮，以實(shí)現(xiàn)更輕量化的部署和最佳的性能表現(xiàn)。

（1）環(huán)境配置

新建一個(gè)虛擬環(huán)境，安裝依賴。

python3 -m venv openvino_env
 
source openvino_env/bin/activate
 
python3 -m pip install --upgrade pip
 
pip install wheel setuptools
 
pip install -r requirements.txt

（2）轉(zhuǎn)換和量化

通過(guò) Optimum 提供的命令行工具 optimum-cli，我們可以一鍵完成模型的格式轉(zhuǎn)換和權(quán)重量化任務(wù)。

optimum-cli export openvino --model './local_dir' --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.8  Qwen2.5-0.5B-Instruct-int4-ov

我們也可以根據(jù)模型的輸出結(jié)果，調(diào)整其中的量化參數(shù)，包括：

--weight-format：量化精度，可以選擇fp32,fp16,int8,int4,int4_sym_g128,int4_asym_g128,int4_sym_g64,int4_asym_g64
--group-size：權(quán)重里共享量化參數(shù)的通道數(shù)量
--ratio：int4/int8 權(quán)重比例，默認(rèn)為1.0，0.6表示60%的權(quán)重以 int4 表，40%以 int8 表示
--sym：是否開(kāi)啟對(duì)稱量化

經(jīng)過(guò)一個(gè)稍微漫長(zhǎng)的等待，終于，轉(zhuǎn)換成功！

2.2.3 模型部署

OpenVINO 目前提供兩種針對(duì)大語(yǔ)言模型的部署方案，一種是基于 Python 接口的 Optimum-intel 工具來(lái)進(jìn)行部署，可以直接用 Transformers 庫(kù)的接口來(lái)部署模型；另一種是GenAI API 方式，它同時(shí)支持 Python 和 C++ 兩種編程語(yǔ)言，安裝容量不到200MB，提供更極致的性能和輕量化的部署方式，更適合邊緣設(shè)備上部署大模型。

本文采用的是后者，即GenAI API 方式。GenAI API 提供了 chat 模式的構(gòu)建方法，通過(guò)聲明 pipe.start_chat()以及pipe.finish_chat()，多輪聊天中的歷史數(shù)據(jù)將被以 kvcache 的形態(tài)，在內(nèi)存中進(jìn)行管理，從而提升運(yùn)行效率。

1.創(chuàng)建一個(gè)python文件。命名為chat_genai.py

import argparse
import openvino_genai




def streamer(subword):
    print(subword, end='', flush=True)
    return False


if __name__ == "__main__":
    parser = argparse.ArgumentParser(add_help=False)
    parser.add_argument('-h',
                        '--help',
                        action='help',
                        help='Show this help message and exit.')
    parser.add_argument('-m',
                        '--model_path',
                        required=True,
                        type=str,
                        help='Required. model path')
    parser.add_argument('-l',
                        '--max_sequence_length',
                        default=256,
                        required=False,
                        type=int,
                        help='Required. maximun length of output')
    parser.add_argument('-d',
                        '--device',
                        default='CPU',
                        required=False,
                        type=str,
                        help='Required. device for inference')
    args = parser.parse_args()
    pipe = openvino_genai.LLMPipeline(args.model_path, args.device)


    config = openvino_genai.GenerationConfig()
    config.max_new_tokens = args.max_sequence_length


    pipe.start_chat()
    while True:
        try:
            prompt = input('question:
')
        except EOFError:
            break
        pipe.generate(prompt, config, streamer)
        print('
----------')
    pipe.finish_chat()

2.運(yùn)行流式聊天機(jī)器人

python3 chat_genai.py --model_path {your_path}/Qwen2.5-0.5B-Instruct-ov --max_sequence_length 4096 --device GPU

--model_path - OpenVINO IR 模型所在目錄的路徑。

--max_sequence_length - 輸出標(biāo)記的最大大小。

--device - 運(yùn)行推理的設(shè)備。例如："CPU","GPU"。

我們來(lái)問(wèn)它一個(gè)簡(jiǎn)單的問(wèn)題吧，讓它自我介紹一下，看看它能不能答出來(lái)。

可以，它對(duì)自己有個(gè)清晰的認(rèn)識(shí)，阿里巴巴開(kāi)發(fā)的大語(yǔ)言人工智能模型。

3

Intel 哪吒開(kāi)發(fā)套件上運(yùn)行大模型Phi-3.5-mini

還不死心，繼續(xù)上難度，再換一個(gè)尺寸更大的模型，看看Intel哪吒是否hold住?

這次我們選用的是Phi-3.5-mini，它是微軟推出的新一代 AI 模型系列中的輕量級(jí)模型，專為資源受限的環(huán)境設(shè)計(jì)，特別適合在資源受限的環(huán)境中進(jìn)行復(fù)雜的語(yǔ)言處理任務(wù)。該模型具有以下特點(diǎn)：

（1）模型參數(shù)和結(jié)構(gòu)：

Phi-3.5-mini 擁有38億參數(shù)，是一個(gè)密集的僅解碼器Transformer模型，使用與Phi-3 Mini相同的分詞器。

該模型基于Phi-3的數(shù)據(jù)集構(gòu)建，包括合成數(shù)據(jù)和經(jīng)過(guò)篩選的公開(kāi)網(wǎng)站數(shù)據(jù)，重點(diǎn)關(guān)注高質(zhì)量、推理密集的數(shù)據(jù)。

（2）應(yīng)用和性能：

Phi-3.5-mini 特別適合在嵌入式系統(tǒng)和移動(dòng)應(yīng)用中進(jìn)行快速文本處理和代碼生成。

該模型在基準(zhǔn)測(cè)試中的表現(xiàn)超越了GPT4o、Llama 3.1、Gemini Flash等同類模型，顯示出其強(qiáng)大的性能。

（3）設(shè)計(jì)目標(biāo)和適用場(chǎng)景：

針對(duì)基礎(chǔ)快速推理任務(wù)設(shè)計(jì)，適合在內(nèi)存和算力受限的環(huán)境中運(yùn)行，支持128k上下文長(zhǎng)度。

該模型在處理長(zhǎng)達(dá)128K個(gè)token的長(zhǎng)上下文方面表現(xiàn)出色，這使其在多種語(yǔ)言處理任務(wù)中都非常有效。

（4）技術(shù)優(yōu)勢(shì)：

經(jīng)過(guò)嚴(yán)格的增強(qiáng)過(guò)程，包括監(jiān)督微調(diào)和直接首選項(xiàng)優(yōu)化，以確保精確地遵循指令和實(shí)施可靠的安全措施。

支持多語(yǔ)言處理和多輪對(duì)話能力，優(yōu)化了處理高質(zhì)量、推理密集數(shù)據(jù)的能力。

3.1下載模型

這次我們偷懶一下，直接下載已經(jīng)轉(zhuǎn)換好的IR文件到Intel哪吒開(kāi)發(fā)板上。

huggingface-cli download --resume-download OpenVINO/Phi-3-mini-4k-instruct-int4-ov --local-dir Phi-3-mini-4k-instruct-int4-ov

參數(shù)規(guī)模3.8B的Phi-3.5-mini，轉(zhuǎn)換成IR格式后，模型大小為2.5G。

3.2運(yùn)行流式聊天機(jī)器人

繼續(xù)采用GenAI API 方式，用iGPU推理。

python3 chat_genai.py --model_path {your_path}/Phi-3-mini-4k-instruct-int4-ov --max_sequence_length 4096 --device GPU

這次問(wèn)它一個(gè)難一點(diǎn)的問(wèn)題，比較一下python和rust兩種編程語(yǔ)言的優(yōu)劣。

Phi-3.5模型真的名不虛傳！簡(jiǎn)直人生開(kāi)掛了，輸出速度目測(cè)每秒10個(gè)token，整整持續(xù)輸出了二十多分鐘，共2903字，算上標(biāo)點(diǎn)符合16285個(gè)。

令人難以想象這是在一個(gè)單片機(jī)上跑大模型的效果，要么是Phi-3.5模型，要么是Intel 哪吒厲害，要么是微軟和英特爾聯(lián)手特別厲害！

4

總結(jié)與鳴謝

在Intel哪吒開(kāi)發(fā)套件上，配合OpenVINO，可以非?？焖俦憬莸碾x線部署大模型，特別是一些SLM模型，非常適合做智能硬件的開(kāi)發(fā)，很好地賦能創(chuàng)客基于成熟硬件，打造端云協(xié)同的AI應(yīng)用?；蛘咧匦露x全新硬件，開(kāi)發(fā)軟硬件一體的AI產(chǎn)品。

最后，再次感謝Intel組織的這次2024 Intel“走近開(kāi)發(fā)者”互動(dòng)活動(dòng)讓我有機(jī)會(huì)能試用到哪吒開(kāi)發(fā)套件，也感謝OpenVINO的實(shí)戰(zhàn)workshop，給我們這么好用的大模型工具。

參考文檔：

1、實(shí)戰(zhàn)精選| 5分鐘利用OpenVINO部署Qwen2.5

https://community.modelscope.cn/66f10c6b2db35d1195eed3c8.html

2、開(kāi)發(fā)者實(shí)戰(zhàn)丨如何利用 OpenVINO 部署 Phi-3.5 全家桶

https://mp.weixin.qq.com/s/yROq_Zu3G1a5x8eV7TUmDA