一、概述

在當(dāng)前科技迅速發(fā)展的環(huán)境中，人工智能（AI）技術(shù)日益普及，邊緣計(jì)算(Edge Computing)也隨之成為 AI 應(yīng)用的核心支柱。傳統(tǒng)云計(jì)算雖然具備強(qiáng)大的集中處理能力，但在大量數(shù)據(jù)傳輸和實(shí)時(shí)響應(yīng)的需求下，延遲與帶寬的瓶頸逐漸顯現(xiàn)。因此，邊緣計(jì)算的概念應(yīng)運(yùn)而生，通過將部分計(jì)算分配到數(shù)據(jù)生成端的應(yīng)用，不僅顯著降低延遲，還有效減輕網(wǎng)絡(luò)負(fù)擔(dān)，提升了應(yīng)用的實(shí)時(shí)性與隱私性。

在這波邊緣計(jì)算浪潮中，MemryX 加速卡以其卓越的浮點(diǎn)計(jì)算能力 (BF16) 及全面的軟件服務(wù)，成為 AI 邊緣計(jì)算的獨(dú)樹一幟的存在。過去傳統(tǒng)邊緣計(jì)算多集中于整數(shù)運(yùn)算，但在實(shí)際應(yīng)用中，仍有某些任務(wù)需要高度精確度，因此浮點(diǎn)運(yùn)算的智能芯片將成為物體檢測(cè)、圖像識(shí)別和自然語言處理等邊緣應(yīng)用的理想選擇。MemryX 于 2024 年提出了一套新的加速卡解決方案，能夠在低功耗 (5 TFLOPS/W) 的情況下提供卓越的 AI 計(jì)算性能 (20 TFLOPS)，逐漸成為邊緣智能應(yīng)用的關(guān)鍵推動(dòng)者。

除了硬件性能，MemryX 還提供豐富的軟件服務(wù)是一大亮點(diǎn)。其軟件支持包括各模塊評(píng)估、API 接口、驅(qū)動(dòng)程序和多種開發(fā)工具，方便開發(fā)者快速集成并靈活調(diào)整 AI 運(yùn)算需求。MemryX 的軟件支持涵蓋了從 MX3+ 芯片模擬性能(Simulator)、權(quán)重精度調(diào)整(Weight Precision)、模型裁剪(Model Cropping) 工具以及模型庫資源，能夠幫助 MX3+ 運(yùn)行性能達(dá)到最佳狀態(tài)。

未來，MemryX 不僅在現(xiàn)有系統(tǒng)升級(jí)中扮演重要角色，還將成為邊緣計(jì)算和 AI 深度整合的核心引擎。其強(qiáng)大的浮點(diǎn)運(yùn)算能力和全面的軟件服務(wù)，為用戶提供即插即用的 AI 解決方案，開創(chuàng)邊緣智能新時(shí)代。

本章節(jié)將向用戶介紹如何安裝 MemryX 以及C / C++ 的示例程序應(yīng)用。

二、快速搭建 MemryX

(1) 硬件架構(gòu)

將 MemryX MX3+ 2280 尺寸模塊連接到 Orange Pi 的 M.2 插槽，并安裝散熱片(heat sink)、屏幕(screen)、攝像頭(USB Camera)、鼠標(biāo)(mouse)、鍵盤(keyboard) 和網(wǎng)線(Ethernet Cable)。

(2) 下載 Orange Pi 5 Plus 預(yù)構(gòu)建鏡像 (Ubuntu)

請(qǐng)至官方網(wǎng)站下載預(yù)構(gòu)建鏡像

下載 Orangepi5plus_1.0.8_ubuntu_focal_desktop_xfce_linux5.10.160.7z 并將其解壓縮

Ubuntu適用版本：18.04 (Bionic Beaver)、20.04 (Focal Fossa)、22.04 (Jammy Jellyfish)

Linux 內(nèi)核版本：5.10.x ~ 6.1.x

(3) 將 Ubuntu 系統(tǒng)燒錄至 SD 卡

請(qǐng)將 SD 卡 (建議準(zhǔn)備 16GB 以上的容量) 插入到 PC 端，并使用 Rufus 進(jìn)行燒錄。

(4) 進(jìn)入 Ubuntu 系統(tǒng)并連接網(wǎng)絡(luò)

燒錄完成后，請(qǐng)將 SD 卡放入 Orange Pi 5 Plus。即可連接電源進(jìn)入系統(tǒng)，并連接上網(wǎng)絡(luò)。

(5) 安裝 kernel-header 頭文件

$ sudo apt install linux-headers-$(uname -r)

(6) 安裝 MemryX SDK 包 (C/C++)

▲ 添加 GPG 密鑰

$ wget -qO- https://developer.memryx.com/deb/memryx.asc | sudo tee /etc/apt/trusted.gpg.d/memryx.asc >/dev/null

▲ 添加軟件至 APT 列表

$ echo 'deb https://developer.memryx.com/deb stable main' | sudo tee /etc/apt/sources.list.d/memryx.list >/dev/null

▲ 安裝 MemryX MX3+ NPU 驅(qū)動(dòng)程序

$ sudo apt update

$ sudo apt install memx-drivers

▲ 安裝 MemryX MX3+ 運(yùn)行時(shí) (C/C++)

$ sudo apt install memx-accl

▲ 安裝 MemryX MX3+ 包

$ sudo apt install memx-accl-plugins

$ sudo apt install memx-utils-gui

$ sudo apt install qtbase5-dev qt5-qmake

$ sudo apt install cmake

$ sudo apt install libopencv-dev

$ sudo apt install libssl-dev

▲ 優(yōu)化硬件設(shè)置

原廠目前提供 Raspberry Pi 5、Orange Pi 5 Plus、Radxa Rock 5B EVK 進(jìn)行設(shè)置。若為 Intel (x86) 則可略過此步驟。

$ sudo mx_arm_setup

▲ 驗(yàn)證環(huán)境

請(qǐng)將系統(tǒng)重啟后，以下列指令確認(rèn)是否安裝成功。

$ apt policy memx-drivers

三、DEMO 實(shí)作展示 (C/C++)

請(qǐng)前往官網(wǎng)連接到 Tutorials 進(jìn)行 DEMO 教學(xué)示范，并請(qǐng)連接一臺(tái) USB 攝像頭進(jìn)行展示。

(1) 深度估計(jì)

深度估計(jì)(Depth Estimation) 展示了利用彩色影像圖片來生成具有距離意義的深度圖。

● 下載并解壓depthEstimation.zip

$ unzip depthEstimation.zip

● 修改權(quán)限

$ sudo chmod -R 777 depthEstimation/

● 編譯

$ cd depthEstimation

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運(yùn)行

$ ./depthEstimation –cam /dev/video0

每秒運(yùn)行約 29.81 幀，CPU 使用率約 200%，內(nèi)存使用率約 0.1%(0.016 GB)

(2) 目標(biāo)檢測(cè) (CenterNet)

物體檢測(cè)(Object Detection) - CenterNet 是經(jīng)典的目標(biāo)檢測(cè)算法，于 2019 年提出。[PDF]

● 下載并解壓 centernet_sample.zip

$ unzip centernet_sample.zip

● 修改權(quán)限

$ sudo chmod -R 777 CenterNet/

● 編譯

$ cd centernet_sample/CenterNet

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運(yùn)行

$ ./CenterNet

每秒運(yùn)行約 23.6 幀，CPU 使用率約 493.4 %，內(nèi)存使用率約 4.4 % (0.7 GB)

圖片來源 : https://www.pexels.com/zh-tw/

(3) 姿態(tài)估計(jì) (YOLOv8)

肢體估計(jì)(Pose Estimation) - YOLOv8 是目前最熱門的 DNN 算法，于 2023 年提出 [Ultralytics] 被設(shè)計(jì)用于計(jì)算人體肢體的節(jié)點(diǎn)位置與相關(guān)性。

● 下載并解壓 poseEstimation_sample.zip

$ unzip poseEstimation_sample.zip

● 修改權(quán)限

$ sudo chmod -R 777 poseEstimation/

● 編譯

$ cd poseEstimation

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運(yùn)行

$ ./poseEstimation --cam /dev/video0

每秒運(yùn)行約 22.4 幀，CPU 使用率約 155.4%，內(nèi)存使用率約 1.6% (0.25 GB)

(4) 目標(biāo)檢測(cè) (YOLOv7t)

物體檢測(cè)(Object Detection) - YOLOv7 Tiny 是目前最熱門的 DNN 算法，于 2022 年提出 [PDF ] 被設(shè)計(jì)用于計(jì)算各種物體的位置與相關(guān)性。

● 下載并解壓objectDetection_sample.zip

$ unzip objectDetection_sample.zip

● 修改權(quán)限

$ sudo chmod -R 777 objectDetection/

● 編譯

$ cd objectDetection/

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運(yùn)行

$ ./objectDetection

每秒運(yùn)行約 45.5 幀，CPU 使用率約為 445 %，內(nèi)存使用率約為 2.9 % (0.46 GB)

圖片來源 : https://www.pexels.com/zh-tw/

(5) 目標(biāo)檢測(cè) (YOLOv8s)

物體檢測(cè)(Object Detection) - YOLOv8 是目前最熱門的 DNN 算法，于 2023 年提出 [Ultralytics] 被設(shè)計(jì)用于計(jì)算各種物體的位置與相關(guān)性。

● 下載并解壓objectDetection_sample.zip

$ unzip objectDetection_sample.zip

● 修改權(quán)限

$ sudo chmod -R 777 yolov8_objectDetection

● 編譯

$ cd yolov8_objectDetection/

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運(yùn)行

$ ./yolov8_objectDetection

每秒運(yùn)行約 42.8 幀，CPU 使用率約 225 %，內(nèi)存使用率約 4.2%(0.67 GB)

圖片來源 : https://www.pexels.com/zh-tw/

(6) 多流目標(biāo)檢測(cè) (Multi-Stream Object Detection)

使用目前最熱門的 YOLOv8 DNN 算法進(jìn)行 多路影像流(Multi-Stream Object Detection) 展示。

● 下載并解壓 MX_DEMOS_20241029.tgz

若想獲取此 DEMO，請(qǐng)聯(lián)系 MemryX 或 WPI 窗口。

$ tar zxvf MX_DEMOS_20241029.tgz

● 修改權(quán)限

$ sudo chmod -R 777 MX_DEMOS/

● 編譯

$ cd MX_DEMOS/

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運(yùn)行

$ ./demoVMS

每秒運(yùn)行約 28.4 幀，CPU 使用率約 615.5%，內(nèi)存使用率約 20.0%(3.2 GB)

四、結(jié)語

MemryX MX3+ AI 加速卡提供高性能、低功耗且靈活的 AI 邊緣計(jì)算解決方案特別適用于物體檢測(cè)、視覺分析和實(shí)時(shí)監(jiān)控等應(yīng)用場(chǎng)景。通過浮點(diǎn)數(shù)運(yùn)算 (BF16) 及內(nèi)置 10.5 MB SRAM內(nèi)存，能夠在不占用主系統(tǒng)內(nèi)存資源的前提下，確保運(yùn)算精度，并提升 AI 模型的性能與可擴(kuò)展性。

在 C/C++ DEMO 測(cè)試中，單顆攝像機(jī)的物體檢測(cè)僅需占用約一顆 CPU 處理視頻，而系統(tǒng)內(nèi)存使用量?jī)H為 1.6%，顯示出 MemryX 芯片的高效運(yùn)算與極低資源占用特性。如果研究深入一些，MemryX 提供強(qiáng)大的開發(fā)工具，開發(fā)者可以靈活切割 AI 模塊的前后處理，甚至能將圖像前處理交由 ISP(圖像信號(hào)處理器) 或 DSP(數(shù)字信號(hào)處理器) 處理，從而進(jìn)一步優(yōu)化運(yùn)算效率。

MemryX MX3+ 的核心優(yōu)勢(shì)

● 高幀率運(yùn)算：?jiǎn)螐埖凸?M.2 卡可同時(shí)處理10路攝像機(jī)流，支持多AI模型并行運(yùn)行。

● 高精度與自動(dòng)編譯：一鍵完成 BF16 浮點(diǎn)模型編譯，確保 AI 準(zhǔn)確度，無需額外調(diào)整或重新訓(xùn)練。

● 原始模型保持完整：無需修改 AI 模型即可直接部署，并可選擇模型剪枝與壓縮來優(yōu)化設(shè)計(jì)。

● 自動(dòng)化前/后處理：自動(dòng)識(shí)別并整合前后處理代碼，減少開發(fā)與調(diào)試時(shí)間，提高部署效率。

● 優(yōu)異的可擴(kuò)展性：可單芯片運(yùn)行，也可16芯片組合為邏輯單元，無需額外的PCIe交換器。

● 低功耗設(shè)計(jì)：?jiǎn)晤w MX3 芯片僅消耗 0.5W ~ 2.0W，4 芯片模塊的功耗低于主流 GPU 的 1/10。

● 廣泛的硬件與軟件支持：兼容 x86、ARM、RISC-V 平臺(tái)及多種操作系統(tǒng)，開發(fā)靈活性極高。

隨著人工智能在零售、汽車、工業(yè)、農(nóng)業(yè)和機(jī)器人等行業(yè)中的廣泛應(yīng)用，MemryX 正站在邊緣計(jì)算技術(shù)的前沿，為客戶提供卓越的性能和更高的價(jià)值。在未來，MemryX 將繼續(xù)推動(dòng)技術(shù)創(chuàng)新，成為AI邊緣計(jì)算領(lǐng)域中不可或缺的合作伙伴通過上述原廠提供的工具與示例，AI 不再是遙不可及的夢(mèng)想，只需一步步按照示例步驟操作，就可以快速實(shí)現(xiàn)任何智能應(yīng)用。若想試用或購買 MemryX 產(chǎn)品的新伙伴，請(qǐng)直接聯(lián)系伊布小編！謝謝。

五、參考文件

[1] MemryX 官方網(wǎng)站

[2] MemryX 開發(fā)者中心技術(shù)網(wǎng)站

[3] EE Awards 2022 亞洲金選獎(jiǎng)

[4] MemryX - LinkedIn 官方賬號(hào)

[5] MemryX 示例

[6] 美通社 - MemryX宣布MX3邊緣AI加速器正式投產(chǎn)

如有任何相關(guān)MemryX技術(shù)問題，歡迎在博文底下留言提問！

接下來還會(huì)分享更多MemryX的技術(shù)文章 !!敬請(qǐng)期待【ATU Book-MemryX系列】

歡迎關(guān)注大大通博主：ATU 伊布小編 (一部)

了解MPU技術(shù)整合、深度學(xué)習(xí)、電腦視覺技術(shù)與人工智能（AI）的發(fā)展等更多相關(guān)內(nèi)容