Qwen2: Qwen is the large language model and large multimodal model series of the Qwen Team, Alibaba Group. Now the large language models have been upgraded to Qwen2.

一

背景

云端大模型，端側(cè)小模型，端云協(xié)同進(jìn)提升用戶(hù)體驗(yàn)已成為今年大模型（LLM）產(chǎn)品化落地的一個(gè)熱點(diǎn)話題。今年以來(lái)，各大手機(jī)廠家紛紛推出了端側(cè)小模型版本，例如Google的Gemini-nano（1.8B）、VIVO的藍(lán)星大模型（1B）、以及國(guó)內(nèi)“小鋼炮”MiniCPM（1B）等等均已在各自/客戶(hù)手機(jī)上部署落地，進(jìn)一步增加了手機(jī)智能屬性和便捷性。那么在設(shè)備數(shù)量更多的IoT領(lǐng)域是否也能部署經(jīng)濟(jì)實(shí)用的LLM呢？例如實(shí)現(xiàn)本地人機(jī)問(wèn)答、AI Agent、Function Call等等功能？

本文將分享如何將最新的端側(cè)大語(yǔ)言模型部署到超高性?xún)r(jià)比SoC上，向業(yè)界對(duì)端側(cè)大模型部署的開(kāi)發(fā)者提供一種新的思路。

二

Qwen2介紹

Qwen是阿里巴巴集團(tuán)Qwen團(tuán)隊(duì)研發(fā)的大語(yǔ)言模型和大型多模態(tài)模型系列。目前，大語(yǔ)言模型已升級(jí)至Qwen2版本。無(wú)論是語(yǔ)言模型還是多模態(tài)模型，均在大規(guī)模多語(yǔ)言和多模態(tài)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，并通過(guò)高質(zhì)量數(shù)據(jù)進(jìn)行后期微調(diào)以貼近人類(lèi)偏好。Qwen具備自然語(yǔ)言理解、文本生成、視覺(jué)理解、音頻理解、工具使用、角色扮演、作為AI Agent進(jìn)行互動(dòng)等多種能力。

●官方文檔：

https://qwen.readthedocs.io/zh-cn/latest/index.html

●Github項(xiàng)目：

https://github.com/QwenLM/Qwen2

最新版本Qwen2有以下特點(diǎn)：

●5種模型規(guī)模，包括0.5B、1.5B、7B、57B-A14B和72B；

●針對(duì)每種尺寸提供基礎(chǔ)模型和指令微調(diào)模型，并確保指令微調(diào)模型按照人類(lèi)偏好進(jìn)行校準(zhǔn)；

●基礎(chǔ)模型和指令微調(diào)模型的多語(yǔ)言支持；

●所有模型均穩(wěn)定支持32K長(zhǎng)度上下文；

●支持工具調(diào)用、RAG（檢索增強(qiáng)文本生成）、角色扮演、AI Agent等。

最近Hugging Face聯(lián)合創(chuàng)始人兼首席執(zhí)行Clem Delangue于6月26日在X平臺(tái)發(fā)布推文，表示阿里云開(kāi)源的通義千問(wèn)（Qwen）指令微調(diào)模型Qwen2-72B在開(kāi)源模型排行榜上榮登榜首。

來(lái)自HuggingFace獨(dú)立、客觀、第三方的認(rèn)可，從側(cè)面再次證明了Qwen2的技術(shù)先進(jìn)性。同時(shí)也分享下在端側(cè)芯片AX650N上部署效果。

三

芯片介紹

3.1 AX650N

愛(ài)芯元智第三代高能效比智能視覺(jué)芯片AX650N。集成了八核Cortex-A55 CPU，高能效比NPU，支持8K@30fps的ISP，以及H.264、H.265編解碼的 VPU。接口方面，AX650N支持64bit LPDDR4x，多路MIPI輸入，千兆Ethernet、USB、以及HDMI 2.0b輸出，并支持32路1080p@30fps解碼內(nèi)置高算力和超強(qiáng)編解碼能力，滿(mǎn)足行業(yè)對(duì)高性能邊緣智能計(jì)算的需求。通過(guò)內(nèi)置多種深度學(xué)習(xí)算法，實(shí)現(xiàn)視覺(jué)結(jié)構(gòu)化、行為分析、狀態(tài)檢測(cè)等應(yīng)用，高效率支持基于Transformer結(jié)構(gòu)的視覺(jué)大模型和語(yǔ)言類(lèi)大模型。提供豐富的開(kāi)發(fā)文檔，方便用戶(hù)進(jìn)行二次開(kāi)發(fā)。

3.2AX630C

愛(ài)芯元智第四代智能視覺(jué)芯片AX630C，該芯片集成新一代智眸4.0AI-ISP，最高支持4K@30fps實(shí)時(shí)真黑光，同時(shí)集成新一代通元4.0高性能、高能效比 NPU引擎，使得產(chǎn)品在低功耗、高畫(huà)質(zhì)、智能處理和分析等方面行業(yè)領(lǐng)先。提供穩(wěn)定易用的SDK軟件開(kāi)發(fā)包，方便用戶(hù)低成本評(píng)估、二次開(kāi)發(fā)和快速量產(chǎn)。幫助用戶(hù)在智能家居應(yīng)用和其他AIoT項(xiàng)目中發(fā)揮更大的價(jià)值。

結(jié)合AX630C的產(chǎn)品規(guī)格，我們選擇最合適的Qwen2 0.5B-Instruct作為本次示例模型。

四

LLM編譯

4.1Pulsar2

Pulsar2是新一代AI工具鏈，包含模型轉(zhuǎn)換、離線量化、模型編譯、異構(gòu)調(diào)度四合一超強(qiáng)功能，進(jìn)一步強(qiáng)化了網(wǎng)絡(luò)模型高效部署的需求。在針對(duì)第三代、第四代NPU架構(gòu)進(jìn)行了深度定制優(yōu)化的同時(shí)，也擴(kuò)展了算子&模型支持的能力及范圍，對(duì)Transformer結(jié)構(gòu)的網(wǎng)絡(luò)也有較好的支持。

最新釋放的Pulsar2 3.0-temp版本新增llm build模塊。在該版本中已經(jīng)可編譯出能在AX650N上運(yùn)行的大模型版axmodel（AX630C的llm build Release版加班開(kāi)發(fā)中……當(dāng)然我們?cè)诰W(wǎng)盤(pán)中提供了預(yù)編譯體驗(yàn)版本，感興趣的朋友可以先試試效果）

https://pulsar2-docs.readthedocs.io/zh-cn/latest/appendix/build_llm.html

4.2 下載ax-llm-build項(xiàng)目

默認(rèn)用戶(hù)已經(jīng)按照Pulsar2 v3.0-temp版本文檔中《開(kāi)發(fā)環(huán)境準(zhǔn)備》章節(jié)完成docker鏡像安裝并已進(jìn)入pulsar2的docker環(huán)境。

git clone https://github.com/AXERA-TECH/ax-llm-build.git

4.3 下載Qwen2-0.5B-Instruct

cd ax-llm-build
pip install -U huggingface_hub
huggingface-cli download --resume-download Qwen/Qwen2-0.5B-Instruct --local-dir Qwen/Qwen2-0.5B-Instruct

4.4 編譯執(zhí)行

pulsar2 llm_build --input_path Qwen/Qwen2-0.5B-Instruct/ --output_path Qwen/Qwen2-0.5B-w8a16/ --kv_cache_len 1023 --model_config config/qwen2-0.5B.json --hidden_state_type bf16 --weight_type s8

●log參考信息

root@gpux2:/data/ax-llm-build# pulsar2 llm_build --input_path Qwen/Qwen2-0.5B-Instruct/ --output_path Qwen/Qwen2-0.5B-w8a16/ --kv_cache_len 1023 --model_config config/qwen2-0.5B.json --hidden_state_type bf16 --weight_type s8
Config(
  model_name='Qwen/Qwen2-0.5B-Instruct',
  model_type='qwen',
  num_hidden_layers=24,
  num_attention_heads=14,
  num_key_value_heads=2,
  hidden_size=896,
  intermediate_size=4864,
  vocab_size=151936,
  rope_theta_base=1000000.0,
  max_position_embedings=32768,
  rope_partial_factor=1.0,
  norm_eps=1e-06,
  norm_type='rms_norm',
  hidden_act='silu'
)
2024-07-01 1108.009 | SUCCESS | yamain.command.llm_build85 - prepare llm model done!
building llm decode layers  ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 24/24 059
building llm post layer  ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1/1 024
2024-07-01 1131.941 | SUCCESS | yamain.command.llm_build128 - build llm model done!
2024-07-01 1156.925 | SUCCESS | yamain.command.llm_build277 - check llm model done!

●embed提取和優(yōu)化

python tools/extract_embed.py --input_path Qwen/Qwen2-0.5B-Instruct/ --output_path Qwen/Qwen2-0.5B-w8a16/
python tools/embed-process.py --input Qwen/Qwen2-0.5B-w8a16/model.embed_tokens.weight.npy --output Qwen/Qwen2-0.5B-w8a16/model.embed_tokens.weight.float32.bin
chmod +x ./tools/fp32_to_bf16
./tools/fp32_to_bf16 Qwen/Qwen2-0.5B-w8a16/model.embed_tokens.weight.float32.bin Qwen/Qwen2-0.5B-w8a16/model.embed_tokens.weight.bfloat16.bin

4.5輸出文件說(shuō)明

root@xxx:/data/ax-llm-build# tree Qwen/Qwen2-0.5B-w8a16
Qwen/Qwen2-0.5B-w8a16
├── model.embed_tokens.weight.bfloat16.bin
├── model.embed_tokens.weight.float32.bin
├── model.embed_tokens.weight.npy
├── qwen_l0.axmodel
├── qwen_l10.axmodel
├── qwen_l11.axmodel
├── qwen_l12.axmodel
├── qwen_l13.axmodel
......
├── qwen_l7.axmodel
├── qwen_l8.axmodel
├── qwen_l9.axmodel
└── qwen_post.axmodel

其中，

model.embed_tokens.weight.bfloat16.bin、qwen_l0.axmodel ~ qwen_l23.axmodel、qwen_post.axmodel，

是上板運(yùn)行需要的。

五

開(kāi)發(fā)板運(yùn)行

5.1 ax-llm項(xiàng)目

ax-llm項(xiàng)目用于探索業(yè)界常用LLM(Large Language Model)在AXERA已有芯片平臺(tái)上落地的可行性和相關(guān)能力邊界，方便社區(qū)開(kāi)發(fā)者進(jìn)行快速評(píng)估和二次開(kāi)發(fā)自己的LLM應(yīng)用。

https://github.com/AXERA-TECH/ax-llm

同時(shí)，我們?cè)诰W(wǎng)盤(pán)中已經(jīng)提供好了分別基于AX650N和AX630C平臺(tái)預(yù)編譯好的部分LLM示例。

https://pan.baidu.com/s/1_LG-sPKnLS_LTWF3Cmcr7A?pwd=ph0e

5.2 執(zhí)行過(guò)程（基于AX650N開(kāi)發(fā)板）

root@ax650:/mnt/qtang/llama_axera_cpp# ./run_qwen2_0.5B.sh
[I][              Init][ 71]: LLM init start
 3% | ██                |  1 / 27 [0.28s<7.48s, 3.61 count/s] tokenizer init ok
[I][ ? ? ? ? ? ? ? ? ? ? ? ? ? ?Init][ ?26]: LLaMaEmbedSelector use mmap
100% | ████████████████████████████████ | ?27 / ?27 [7.40s<7.40s, 3.65 count/s] init post axmodel okremain_cmm(11583 MB)
[I][ ? ? ? ? ? ? ? ? ? ? ? ? ? ?Init][ 180]: max_token_len : 1023
[I][ ? ? ? ? ? ? ? ? ? ? ? ? ? ?Init][ 185]: kv_cache_size : 128, kv_cache_num: 1023
[I][ ? ? ? ? ? ? ? ? ? ? ? ? ? ?Init][ 199]: LLM init ok
Type "q" to exit, Ctrl+c to stop current running
>> who are you?
I am a large language model created by Alibaba Cloud. I am called Qwen.
[N][               Run][ 388]: hit eos,avg 24.51 token/s

5.3 視頻示例（基于AX630C開(kāi)發(fā)板）

5.4 性能統(tǒng)計(jì)

AX650N、AX630C目前均采用W8A16量化方案（性能優(yōu)化會(huì)持續(xù)進(jìn)行）

●AX650N：

●AX630C：

六

結(jié)束語(yǔ)

隨著大語(yǔ)言模型小型化的快速發(fā)展，越來(lái)越多有趣的多模態(tài)AI應(yīng)用將逐漸從云端服務(wù)遷移到邊緣側(cè)設(shè)備和端側(cè)設(shè)備。我們會(huì)緊跟行業(yè)最新動(dòng)態(tài)，歡迎大家持續(xù)關(guān)注。

7月4日-7日，愛(ài)芯元智@2024WAIC，上海世博展覽館2號(hào)館C1525（H2-C1525），歡迎大家現(xiàn)場(chǎng)交流。