我們今天來簡單討論一下企業(yè)級內(nèi)存條的Memory ECC。

圖 （1）

圖（1）是一個帶有ECC的RDIMM，圖中我們已經(jīng)將各個組件和關(guān)鍵的金手指信號區(qū)域標示出來。首先，我們來認識一下這幾個關(guān)鍵詞： Device：內(nèi)存顆粒，根據(jù)其存放內(nèi)容不同，又分為數(shù)據(jù)顆粒和ECC顆粒。通常有X4，X8和X16，代表每個顆粒對外的數(shù)據(jù)線路是4 lane，8 lane和16 lane。

Channel：一個Channel由一個或者多個Rank組成，其寬度由控制器決定。當前主流的個人電腦和服務器中，一個Channel的寬度為64bit，可根據(jù)內(nèi)存控制器是否支持ECC而擴展額外的8bit。也就是說如果不支持ECC的Channel，其寬度為64bit，而支持ECC的Channel，其寬度為72bit。市面上兩種內(nèi)存條都有銷售。

Rank：一個Channel里面，同一個CS（Chip Select）信號選中的所有Device就是一個Rank。同一個Rank中所有的Device共用命令，地址和控制信號。拿讀操作舉例，內(nèi)存控制器發(fā)起的一個讀操作，其實將作用于該Channel的某個Rank中所有的Device。所有Device的數(shù)據(jù)線共同輸出達到內(nèi)存控制器所需的寬度。例如，采用X4的顆粒，組成不帶ECC功能的一個Rank則需要64/4 = 16個X4的Device。大家可以計算一下如果采用X8或者X16寬度的顆粒，需要多少個呢？

注：本文我們將主要以X4的Device來討論

注：X16的顆粒一般不被用來組成帶ECC的Rank

Cacheline：Cacheline通常是指是處理器中Cache Unit（緩存模塊）緩存一筆數(shù)據(jù)的標準大小。根據(jù)處理器的不同，Cacheline的大小是不一樣的。當前主流的個人電腦和服務器中，Cacheline的大小為64 Byte。為了設計方便，處理器內(nèi)部搬運可被緩存的數(shù)據(jù)也采用同樣的大小64B。為了滿足該需求，一個Rank被設計成了64bit的數(shù)據(jù)位寬，而JEDEC（DDR標準組織）設計了burst傳輸。一個Burst的長度可以是8，從而一次讀操作，可以讓顆粒一次吐出8筆數(shù)據(jù)。從而達到64bit X 8 = 64B的大小。具體參考圖（2）。

圖（2）

CE(CorrectableError)：可糾正錯誤是指硬件（芯片）可以直接糾正的錯誤。由于內(nèi)存控制器設計不一樣，對于可糾正錯誤的能力可能存在不同。例如，主流x86服務器的內(nèi)存控制器（支持帶ECC的內(nèi)存條），在一次讀操作中，一個X4寬度的Device內(nèi)的任意錯誤都是可糾正的，包括ECC的Device。如果Rank是X8寬度的Device組成，其糾正能力還是與X4的Device寬度及位置保持一致。在X8的一個Device中，只有DQ0-3，或者DQ4-7可以被糾正。如果是DQ2-5，雖然是X4寬度但位置與X4時不對應，也無法糾正。

注：DQ0即D0，或者D0_0，DQ63則是D63，或者D15_3

UCE(Uncorrectable Error):不可糾正錯誤是指硬件（芯片）無法直接糾正的錯誤。例如，在一次讀操作中，錯誤數(shù)據(jù)位分布在不同X4的Device范圍，以現(xiàn)有內(nèi)存控制設計來看，屬于不可糾正錯誤。

下面我們簡單介紹一下內(nèi)存控制器是如何偵錯和糾錯的。由于ECC具體算法屬于各家的IP，這里介紹的方法只是幫助大家理解該功能。首先，內(nèi)存控制器能夠糾錯，就必須先能發(fā)現(xiàn)錯誤。如果每次消費的數(shù)據(jù)大小是64B，在不增加額外信息的情況下，我們是無法知道該數(shù)據(jù)是否有改變的，因為64B的數(shù)據(jù)可以是任何01的組合，即任意數(shù)據(jù)都是合法的。另一方面，額外的信息需要額外的存儲，從成本考慮，這額外信息應該越小越好。JEDEC組織提出增加額外8 x 8 = 64bit的數(shù)據(jù)來幫助一個64B的數(shù)據(jù)完成ECC。 從物理角度看，一個X4 Device組成的Rank將會增加兩個Device用于ECC。一種可行的做法是，其中一個Device負責存放CRC（Cyclic Redundancy Check）校驗信息用于偵錯，另一個Device負責存放奇偶校驗信息（Parity），配合糾正錯誤。

Parity：Parity基本功能是發(fā)現(xiàn)保護數(shù)據(jù)中是否有bit翻轉(zhuǎn)。保護方法是統(tǒng)計保護數(shù)據(jù)中1的個數(shù)，如果是偶校驗，當保護數(shù)據(jù)中1的個數(shù)是偶數(shù)時，Parity為0，否則為1，所以Parity只需要一個bit就能發(fā)現(xiàn)保護數(shù)據(jù)中是否有一個bit的數(shù)據(jù)翻轉(zhuǎn)（0到1或者1到0）。當然對于奇數(shù)個bit都有一樣的檢測效果。但當偶數(shù)bit翻轉(zhuǎn)的時候，Parity將無法知道。在了解了Parity基本功能后，我們來看看內(nèi)存控制器是如何計算Parity并存放的。如圖（3）所示。

圖（3）

Burst傳輸中每一筆64bit數(shù)據(jù)，4bit Parity和4bit CRC的具體對應關(guān)系如下： P0=D0_0+D1_0+D2_0+…D15_0+C0 P1=D0_1+D1_1+D2_1+…D15_1+C1 P2=D0_2+D1_2+D2_2+…D15_2+C2 P3=D0_3+D1_3+D2_3+…D15_3 +C3

注：D15_3為Device15的DQ3信號，從Rank角度看，為圖中的D63

假設Device 2 在Burst的第三筆數(shù)據(jù)中有bit翻轉(zhuǎn)，則無論是D2_0, D2_1, D2_2, D2_3 或者都錯了，請參考圖（4），我們都可以通過Parity bits反算回來，前提是burst的第三筆數(shù)據(jù)中其他Device沒有出現(xiàn)錯誤。具體計算如下：

D2_0=P0(-)(D0_0+D1_0+D3_0…D15_0+C0)

D2_1=P1(-)(D0_1+D1_1+D3_1…D15_1+C1)

D2_2=P2(-)(D0_2+D1_2+D3_2…D15_2+C2)

D2_3=P3(-)(D0_3+D1_3+D3_3…D15_3+C3)

圖（4)

CRC:我們怎樣知道讀取的Cacheline數(shù)據(jù)是正確的還是錯誤的？這里將會用到CRC來進行校驗。一種比較簡單的校驗方式就是除法。我們設計一個除數(shù)，讓被保護數(shù)據(jù)（被除數(shù)）去除以這個除數(shù)，然后會得到商和余數(shù)。通常余數(shù)比設計的除數(shù)要小。在存儲一個Cacheline大小數(shù)據(jù)到內(nèi)存條上的時候，內(nèi)存控制器會計算CRC的值，并存放到CRC的Device中去。讀取的時候再計算一遍，然后和內(nèi)存條讀回來的CRC的值進行比較。如果一致，則認為數(shù)據(jù)沒有發(fā)生變化。否則，認為數(shù)據(jù)出錯。 從上述理論可以推出，CRC校驗位越多，則偵錯能力越強。CRC設計不一樣，偵錯不同數(shù)據(jù)翻轉(zhuǎn)的能力不同?？赡艽嬖跀?shù)據(jù)錯了，但偵錯不了的情況。 既然有漏測的情況，為什么我們還會繼續(xù)使用？這就和錯誤類型的概率有關(guān)了。通常情況下，一個bit翻轉(zhuǎn)的可能性比較高，多bit同時翻轉(zhuǎn)的可能性比較低。多bit翻轉(zhuǎn)在同一個device里的幾率比較高，多device同時翻轉(zhuǎn)的概率比較低。 舉個例子，當一個Cacheline的數(shù)據(jù)從內(nèi)存條里讀出來后，通過CRC校驗，我們會發(fā)現(xiàn)數(shù)據(jù)有可能已經(jīng)發(fā)生改變。這個時候，我們先假設出現(xiàn)了CE（Correctable Error）問題。則通過Parity信息反算Device數(shù)據(jù)，需要一個Device一個Device的假設，然后重新計算CRC和之前存儲的CRC進行比較。所以最多的情況可能要假設18次。 如果全部弄完仍然CRC對不上，則屬于UCE（Uncorrectable Error）問題啦。當然，大家會發(fā)現(xiàn)，ECC校驗過程會影響內(nèi)存讀寫延時。

到這里，大家應該了解了Memory ECC的基本算法了，Parity針對的是每個Burst，CRC是以半個CacheLine或者其他大小為單位處理的。如果是跨Device的Error，真的無法糾錯嗎？如果有，請將你的實現(xiàn)方案發(fā)給我們吧，我們將在下期公布讀者的“可行”方案哦。