RK3588/RK3588J SoC

本文圍繞創(chuàng)龍科技研發(fā)的 TL3588-EVM 評估板及 SOM-TL3588 核心板，介紹基于 RK3588/RK3588J SoC 的視頻圖像處理框架。涵蓋視頻圖像輸入（MIPI RX CSI2、HDMI RX 等）、輸出（HDMI/eDP、MIPI TX 等）、編解碼、Graphics Engine 及視覺算法加速模塊，詳述各模塊特性與參數(shù)，還說明評估板輸入輸出接口支持的分辨率、設(shè)備型號等，為評估板視頻圖像處理應(yīng)用開發(fā)提供參考。

圖 1

為方便說明RK3588的視頻圖像處理框架，本文將相關(guān)接口和協(xié)處理器劃分為以下5個部分：

（1）視頻圖像輸入

接口：MIPI RX CSI2、DVP、HDMI RX 2.0、PCIe2.1/3.0；

協(xié)處理器：ISP(Image Signal Processor)。

（2）視頻圖像輸出

接口：HDMI/eDP TX、DP TX、MIPI TX DSI2、BT656/BT1120；

協(xié)處理器：VOP2(Video Output Processor V2)。

（3）視頻圖像Graphics Engine

2D協(xié)處理器：RGA3(Raster Graphic Acceleration V3)；

3D協(xié)處理器：GPU Mali-G610 MC4。

（4）視頻圖像編解碼

協(xié)處理器：VPU(Video Process Unit)。

（5）視頻圖像視覺算法加速

協(xié)處理器：NPU(Neural Process Unit)、GPGPU（General Purpose computing on GPU，同上述GPU Mali-G610 MC4）。

視頻圖像輸入

MIPI RX CSI2接口

（1）支持的格式：RAW8/10/12/14，YUV422

（2）支持4個MIPI CSI DPHY

MIPI DPHY V1.2標(biāo)準(zhǔn)，支持2Lane，最高2.5Gbps/Lane；

支持將2個MIPI CSI DPHY 2Lane合并為1x 4Lane使用。

（3）支持2個MIPI DPHY/CPHY復(fù)用的DCPHY

MIPI CPHY V1.1標(biāo)準(zhǔn)，支持合并為1x 4Lane使用，最高2.5Gbps/Lane。

（4）支持的組合

Camera x6：2 MIPI DCPHY(4Lane) + 4 MIPI CSI DPHY(2Lane)；

Camera x5：2 MIPI DCPHY(4Lane) + 1 MIPI CSI DPHY(4Lane) + 2 MIPI CSI DPHY(2Lane)；

Camera x4：2 MIPI DCPHY(4Lane) + 2 MIPI CSI DPHY(4Lane)。

常見視頻輸入數(shù)據(jù)量理論帶寬及Lane數(shù)量要求：

備注：以下相關(guān)評估計算不含數(shù)據(jù)傳輸協(xié)議相關(guān)開銷（大約幾個百分點(diǎn)）。

Raw8下1080P@60fps數(shù)據(jù)量為1920 x 1080 x 1 x 8 x 60 / 10^9 ≈ 0.995 Gbps //1Lane

YUV422下1080P@60fps數(shù)據(jù)量為1920 x 1080 x 2 x 8 x 60 / 10^9 ≈ 1.990 Gbps //1Lane

Raw8下UHD 4K@60fps數(shù)據(jù)量為3840 x 2160 x 1 x 8 x 60 / 10^9 ≈ 3.980 Gbps //2Lane

YUV422下UHD 4K@60fps數(shù)據(jù)量為3840 x 2160 x 2 x 8 x 60 / 10^9 ≈ 7.960 Gbps//4Lane

以O(shè)V13850為例進(jìn)行評估說明：

根據(jù)OV13850數(shù)據(jù)手冊說明，使用4個Lane時最大輸出為4224x3136@30fpsRaw10。此時，總數(shù)據(jù)量約為4224 x 3136 x 1 x 10 x 30 / 10^9 ≈ 3.974Gbps，平攤到4個Lane約0.993Gbps/Lane，小于2.5Gbps/Lane。

備注：使用Raw格式輸入時，還應(yīng)考慮ISP的處理能力，請參考ISP小節(jié)。

DVP接口

（1）支持1個DVP接口；

（2）支持BT.601/BT.656/BT.1120；

（3）支持2/4通道的BT.656/BT.1120混合的逐行或隔行輸入，可實(shí)現(xiàn)4路AHD輸入；

（4）最高像素時鐘150MHz（8bit位深，最高支持1路1080P@60fps和4路720P@30fps）。

圖 2

更多內(nèi)容請參考產(chǎn)品資料“6-開發(fā)參考資料數(shù)據(jù)手冊核心板元器件CPU”目錄下的《Rockchip RK3588 TRM V1.0-Part1-20220309》。

ISP

Dual Pipe ISP，從DVP/CSI接收Camera圖像并進(jìn)行圖像處理。

（1）輸入接口

最多同時支持7路接入：MIPI CSI x6 + DVP x1。

（2）圖像數(shù)據(jù)處理能力

48M：8064x6048@15fpsdual ISP；

32M：6528x4898@30fpsdual ISP；

16M：4672x3504@30fpssingle ISP。

HDMI RX接口

（1）HDMI 2.0

最高支持UHD 4K@60fps。

（2）HDMI 1.4b

最高支持1080P@120fps；

支持UHD 4K@24/25/30fps；

最高支持DCI 4K@24fps。

PCIe接口

（1）PCIe 2.1（與USB3.1和SATA3.0復(fù)用）

支持RC模式，1Lane；

最大理論帶寬：5Gbps（支持1080P@60fpsRGB24視頻輸入，數(shù)據(jù)量約為2.985Gbps）。

（2）PCIe 3.0

支持RC/EP模式，4Lane；

支持1x 4Lane，2x 2Lane，4x 1Lane，1x 2Lane+ 2x 1Lane；

最大理論帶寬：8Gbps x 4 = 32Gbps（支持8K@30fpsYUV420視頻輸入，數(shù)據(jù)量約29.830Gbps）。

備注：PCIe接口常用于接收來自FPGA的圖像輸入。

視頻圖像輸出

VOP2會從內(nèi)存中讀取視頻數(shù)據(jù)和UI數(shù)據(jù)進(jìn)行處理（縮放、裁剪、圖層疊加等），然后將數(shù)據(jù)發(fā)送到不同顯示接口進(jìn)行圖像的顯示。

VOP2及顯示輸出接口：

圖 3

更多內(nèi)容請參考產(chǎn)品資料“6-開發(fā)參考資料數(shù)據(jù)手冊核心板元器件CPU”目錄下的《Rockchip RK3588 TRM V1.0-Part2 20220309》。

VOP2的處理及接口能力決定了最終的圖像輸出能力。

（1）DP 0/1

7680x4320@30fps：Port0 + Port1；

4096x2304@60fps：Port0/Port1/Port2；

Split mode：1幀4K圖像的左圖(2K)輸出到DP TX0，右圖(2K)輸出到DP TX1，實(shí)現(xiàn)雙DP顯示。（Split mode：參考下文HDMI TX Split mode示例圖）。

（2）HDMI/eDP Combo 0/1

7680x4320@60fps：Port0 + Port1 -> HDMI；

4096x2304@60fps：Port0/Port1/Port2 -> HDMI/eDP；

Split mode：1幀4K圖像的左圖(2K)輸出到HDMI/eDP TX0，右圖(2K)輸出到HDMI/eDP TX1，實(shí)現(xiàn)雙HDMI/eDP顯示（Split mode：參考下文HDMI TX Split mode示例圖）。組合情況如下：

HDMI0 + HDMI1；

HDMI0 + eDP1；

eDP0 + HDMI1；

eDP0 + eDP1；

（3）MIPI TX 0/1

4096x2304@60fps：Port2；

2048x2304@60fps：Port3；

Split mode：1幀4K圖像的左圖(2K)輸出到MIPI TX0，右圖(2K)輸出到MIPI TX1，實(shí)現(xiàn)雙MIPI顯示。（Split mode：參考下文HDMI TX Split mode示例圖）；

Copy mode:MIPI TX0和MIPI TX1的圖像內(nèi)容是一致的，來自Port2/Port3。

（4）BT656/BT1120

1920x1080@60fps：Port3（最大分辨率是2K）。

圖 4?HDMI TX Split mode示例圖

部分可實(shí)現(xiàn)的顯示輸出組合如下：

4路：4K + 4K + 4K + 2K；

3路：8K + 4K + 2K；

7路：2K + 2K +2K +2K + 2K + 2K + 2K（使用Split mode）。

表 1

視頻圖像編解碼

視頻解碼

表 2

根據(jù)理論數(shù)據(jù)量，對于H.264格式，最大支持1路8K@30fps視頻解碼，可支持多路并行視頻解碼，支持4路4K@30fps視頻解碼，或16路1080P@30fps視頻解碼，或64路720P@30fps視頻解碼。

同理，對于H.265格式，最大支持1路8K@60fps視頻解碼，或支持8路4K@30fps視頻解碼，或32路1080P@30fps視頻解碼，或64路720P@30fps視頻解碼。

備注：以上為理論值，僅供參考。

視頻編碼

表 3

根據(jù)理論數(shù)據(jù)量，對于H.264格式，在8K@30fps視頻輸入時最大支持1路視頻編碼，可支持多路并行視頻編碼，在4K@30fps視頻輸入時支持4路視頻編碼，在1080P@30fps視頻輸入時支持16路視頻編碼，在720P@30fps視頻輸入時可支持64路視頻編碼。

同理，對于H.265格式，在8K@30fps視頻輸入時支持1路視頻編碼，在4K@30fps視頻輸入時支持4路視頻編碼，在1080P@30fps視頻輸入時支持16路視頻編碼，在720P@30fps視頻輸入時支持64路視頻編碼。

備注：以上為理論值，僅供參考。

JPEG解碼

支持96 x 96到8192 x 8192分辨率(64M pixels)。

JPEG編碼

（1）支持48 x 48到65536 x 65536分辨率；

（2）支持YUV400/YUV411/YUV420/YUV422/YUV440/YUV444；

（3）支持最高1080P@280fps；

（4）支持MJPEG。

視頻圖像Graphics Engine

RGA3

RGA3是一個2D圖形處理加速引擎，可以實(shí)現(xiàn)圖像的旋轉(zhuǎn)，縮放，裁剪，混合和RGB/YUV轉(zhuǎn)換等。主要特性如下：

（1）輸入：ARGB/RGB888/RGB565/YUV420/YUV422/BPP，最大8192x8192；

（2）輸出：ARGB/RGB888/RGB565/YUV420/YUV422，最大4096x4096；

（3）旋轉(zhuǎn)：90/180/270度；

（4）Alpha Blending功能支持：global alpha，per pixel alpha和fading。

ARM Mali-G610 MP4

ARM Mali-G610 MP4支持2D/3D圖形處理加速。主要特性如下：

3D API支持：OpenGLES 1.1/2.0/3.2，Vulkan1.2。

視頻圖像視覺算法加速

NPU(Neural Process Unit)

NPU是一個神經(jīng)網(wǎng)絡(luò)推理加速引擎。主要特性如下：

（1）算力6 TOPS(INT8)；

（2）包括3個NPU核心，并支持3核心協(xié)同工作，雙核心協(xié)同工作，或單核心獨(dú)立工作；

（3）支持INT4，INT8，INT16，F(xiàn)LOAT16，BFLOAT16和TF32；

（4）支持多任務(wù)和多場景的并行處理；

（5）支持的深度學(xué)習(xí)框架：TensorFlow，Caffe，Tflite，Pytorch，Onnx NN，Android NN等。

GPGPU(General Purpose computing on GPU)

ARM Mali-G610 MP4也是一個GPGPU，通過OpenCL進(jìn)行通用計算，可實(shí)現(xiàn)計算加速和神經(jīng)網(wǎng)絡(luò)推理加速，理論上可以提供接近0.5TFLOPS算力（非官方數(shù)據(jù)，來源于網(wǎng)上資料）。

計算加速：OpenCL 2.2 Full Profile；

神經(jīng)網(wǎng)絡(luò)推理加速：TVM（基于OpenCL），使用參考：https://tvm.apache.org/docs。

由于篇幅過長等原因，部分內(nèi)容均不逐一展示，如需獲取完整版詳細(xì)資料，請關(guān)注創(chuàng)龍科技微信公眾號或官網(wǎng)，或者評論區(qū)留言，感謝您的支持！

?審核編輯 黃宇