作者：Laura Peters

文章來(lái)源：https://semiengineering.com/identifying-sources-of-silent-data-corruption/

在大型數(shù)據(jù)中心，靜默數(shù)據(jù)錯(cuò)誤（SDE，Silent Data Errors）正引發(fā)廣泛擔(dān)憂 —— 這類錯(cuò)誤會(huì)在系統(tǒng)內(nèi)傳播，對(duì) AI 訓(xùn)練任務(wù)等長(zhǎng)時(shí)間運(yùn)行的程序造成嚴(yán)重影響。

從技術(shù)角度看，靜默數(shù)據(jù)錯(cuò)誤（又稱靜默數(shù)據(jù)損壞-SDC，Silent Data Corruption）本身并不常見(jiàn)。但在由數(shù)千臺(tái)服務(wù)器組成的集群中（這些服務(wù)器搭載數(shù)百萬(wàn)臺(tái)高利用率運(yùn)行的處理器芯片），這類破壞性事件卻變得十分普遍。盡管任務(wù)模式測(cè)試正捕獲更多靜默數(shù)據(jù)錯(cuò)誤，但事實(shí)證明，要檢測(cè)出所有數(shù)據(jù)損壞錯(cuò)誤，其復(fù)雜程度遠(yuǎn)超預(yù)期 ——這需要對(duì)設(shè)計(jì)、制造、可測(cè)試性設(shè)計(jì)（DFT）、測(cè)試流程，以及軟硬件運(yùn)維環(huán)節(jié)進(jìn)行針對(duì)性調(diào)整。

新思科技（Synopsys）工程架構(gòu)總監(jiān) Jyotika Athavale指出：“當(dāng)受影響的器件處理數(shù)據(jù)時(shí)，若無(wú)意中導(dǎo)致所處理數(shù)據(jù)出現(xiàn)未被察覺(jué)的錯(cuò)誤，便會(huì)引發(fā)靜默數(shù)據(jù)損壞。例如，受影響的中央處理器（CPU）可能在完全沒(méi)有數(shù)據(jù)損壞提示的情況下，對(duì)數(shù)據(jù)進(jìn)行錯(cuò)誤計(jì)算。如今，計(jì)算密集型機(jī)器學(xué)習(xí)算法需在數(shù)萬(wàn)個(gè)節(jié)點(diǎn)上執(zhí)行，這類數(shù)據(jù)損壞可能在不觸發(fā)任何警報(bào)的情況下破壞整個(gè)數(shù)據(jù)集，而解決此類問(wèn)題往往需要數(shù)月時(shí)間，進(jìn)而帶來(lái)巨額成本損失。此外，該問(wèn)題的復(fù)雜性與規(guī)模也使其難以通過(guò)主動(dòng)措施防范；更關(guān)鍵的是，芯片生產(chǎn)周期較長(zhǎng)，針對(duì)靜默數(shù)據(jù)損壞（SDC）的修復(fù)方案可能需要數(shù)年時(shí)間才能在新硬件中落地?！?/p>

靜默數(shù)據(jù)錯(cuò)誤的棘手之處在于，其并非源于單一來(lái)源或單一機(jī)制。普迪飛（PDF Solutions ）首席技術(shù)官 Andrzej Strojwas 表示：“靜默數(shù)據(jù)損壞（SDC）的潛在根本原因繁多。有人認(rèn)為最可能的誘因是測(cè)試疏漏，但許多此類故障只有在實(shí)際應(yīng)用環(huán)境中被觸發(fā)后才會(huì)顯現(xiàn)。例如，由于嚴(yán)苛的容差要求和形形色色的布局模式，晶體管層面可能存在漏電這類系統(tǒng)性缺陷。測(cè)試過(guò)程中可能遺漏對(duì)特定模式的敏感性檢測(cè)，進(jìn)而演變?yōu)榭煽啃詥?wèn)題。此外，器件老化也是重要因素，會(huì)導(dǎo)致閾值電壓發(fā)生變化。不過(guò)，通過(guò)適當(dāng)?shù)臏y(cè)試結(jié)構(gòu)設(shè)計(jì)，這些問(wèn)題都可得到有效應(yīng)對(duì)。”

靜默數(shù)據(jù)損壞（SDC）可能發(fā)生在硅片全生命周期的任何階段，這也是業(yè)界采用多種硅生命周期管理方法應(yīng)對(duì)此類錯(cuò)誤的核心原因。

西門(mén)子 EDA（Siemens）旗下 Tessent 部門(mén)工程副總裁Janusz Rajski解釋道：“要消除早期失效現(xiàn)象，必須通過(guò)壓力測(cè)試加速器件老化。生產(chǎn)階段則需采用高質(zhì)量、確定性的測(cè)試方法，同時(shí)在系統(tǒng)內(nèi)也需執(zhí)行相同的測(cè)試流程。部分企業(yè)會(huì)在核心閑置時(shí)開(kāi)展測(cè)試，也有企業(yè)將其作為預(yù)防性維護(hù)措施，按周或按月定期執(zhí)行，但無(wú)論哪種方式，系統(tǒng)內(nèi)的測(cè)試都會(huì)非常全面 —— 這無(wú)疑是一項(xiàng)重大變革?！?/p>

（圖 1：器件全生命周期內(nèi)的半導(dǎo)體故障率。來(lái)源：西門(mén)子EDA ）

Janusz Rajski補(bǔ)充道：“靜默數(shù)據(jù)損壞（SDC）是個(gè)亟待解決的嚴(yán)重問(wèn)題。多家企業(yè)發(fā)布的數(shù)據(jù)顯示，每 1000 臺(tái)服務(wù)器中，約有 1 臺(tái)可能受到此類問(wèn)題影響。顯然，在任務(wù)關(guān)鍵型或安全關(guān)鍵型應(yīng)用中，其影響會(huì)更為嚴(yán)重。超大規(guī)模數(shù)據(jù)中心最先發(fā)現(xiàn)這一問(wèn)題，正是因?yàn)槠涮幚砥鲾?shù)量龐大，但實(shí)際上其他領(lǐng)域也存在類似情況?！?/p>

在測(cè)試層面，工程師們也在深入研究芯片架構(gòu)優(yōu)化方向。愛(ài)德萬(wàn)測(cè)試（Advantest）應(yīng)用研究與技術(shù)副總裁Ira Leventhal表示：“我們需要一種我稱之為‘架構(gòu)感知測(cè)試’的方法 —— 因?yàn)樵谶壿嬓酒?，只有特定的?jì)算單元才有可能將故障傳播至整個(gè)網(wǎng)絡(luò)。因此，核心思路也就變成了‘將特定測(cè)試向量聚焦于核心的這些關(guān)鍵區(qū)域’—— 不僅要采用傳統(tǒng)掃描測(cè)試并核驗(yàn)結(jié)果，還需將部分功能測(cè)試整合到自動(dòng)測(cè)試設(shè)備（ATE）的測(cè)試環(huán)節(jié)中?！?/p>

測(cè)試越接近任務(wù)模式，就越容易捕獲靜默數(shù)據(jù)錯(cuò)誤導(dǎo)致的故障結(jié)果。

Ira Leventhal指出：“我們可在 93k 測(cè)試工具上使用 LinkScale 卡，通過(guò)高速接口開(kāi)展掃描測(cè)試，本質(zhì)上是讓器件按照實(shí)際任務(wù)模式的運(yùn)行邏輯工作。這種情況下，無(wú)需像系統(tǒng)級(jí)測(cè)試那樣運(yùn)行全套測(cè)試場(chǎng)景，只需聚焦核心的特定區(qū)域，通過(guò)特定方式驅(qū)動(dòng)器件運(yùn)行，即可觸發(fā)靜默數(shù)據(jù)損壞（SDC）問(wèn)題。這在異構(gòu)集成場(chǎng)景中尤為重要 —— 我們需在芯片級(jí)發(fā)現(xiàn)所有潛在問(wèn)題，確保芯片具備抵御靜默數(shù)據(jù)損壞的能力。這類措施能幫助我們?cè)趩?wèn)題管控中占據(jù)主動(dòng)。”

然而，即便在測(cè)試環(huán)節(jié)占據(jù)主動(dòng)，企業(yè)也逐漸意識(shí)到，解決靜默數(shù)據(jù)損壞（SDC）問(wèn)題真正需要的是整個(gè)供應(yīng)鏈的協(xié)同。盡管器件制造商、測(cè)試企業(yè)與可測(cè)試性設(shè)計(jì)（DFT）提供商之間的合作已催生出更完善的篩選與緩解方案，但隨著器件和系統(tǒng)復(fù)雜度不斷提升，靜默數(shù)據(jù)錯(cuò)誤問(wèn)題只會(huì)愈發(fā)嚴(yán)峻，因此行業(yè)仍需長(zhǎng)期策略支撐。例如，Meta 正探索如何提升應(yīng)用對(duì)靜默數(shù)據(jù)損壞的容錯(cuò)能力。Meta 工程總監(jiān)斯里Sriram Sankar表示：“我們正在推進(jìn)一項(xiàng)長(zhǎng)期工作，旨在改進(jìn)并推廣具備內(nèi)在抗靜默數(shù)據(jù)損壞（SDC）能力的架構(gòu)解決方案與設(shè)計(jì)模式?！?/p>

鑒于整個(gè)供應(yīng)鏈解決靜默數(shù)據(jù)損壞（SDC）問(wèn)題的緊迫性，OCP啟動(dòng)了 “服務(wù)器組件彈性工作流” 項(xiàng)目，參與者包括AMD、安謀Arm、谷歌Google、英特爾Intel、微軟Microsoft、Meta 和英偉達(dá)NVIDIA等多家企業(yè)。去年 6 月，該項(xiàng)目為六個(gè)以解決靜默數(shù)據(jù)錯(cuò)誤（SDE）為目標(biāo)的研究項(xiàng)目提供了資金支持。

其他企業(yè)也認(rèn)為，這一領(lǐng)域需要研究界的深度參與。谷歌工程總監(jiān)Rama Govindaraju在近期的小組討論中表示：“僅依靠過(guò)往的方法，無(wú)法顯著推動(dòng)問(wèn)題的解決進(jìn)程。 這一領(lǐng)域需要更多創(chuàng)新性研究，因?yàn)樗枰娴慕鉀Q方案，且必須引入新想法、創(chuàng)新性思路。靜默數(shù)據(jù)損壞（SDC）是個(gè)極其復(fù)雜的問(wèn)題，需要開(kāi)發(fā)大量研究成果和端到端解決方案?！?/strong>

追溯靜默數(shù)據(jù)損壞（SDC）的根源，需從設(shè)計(jì)階段著手。新思科技杰出架構(gòu)師Adam Cron指出：“我們?cè)涣鬟^(guò)的一家芯片設(shè)計(jì)企業(yè)表示，即便是設(shè)計(jì)錯(cuò)誤，也可能成為靜默數(shù)據(jù)錯(cuò)誤（SDE）的來(lái)源。硅后驗(yàn)證工具可為多線程應(yīng)用生成邊界情況工作負(fù)載；隨后，在制造測(cè)試和現(xiàn)場(chǎng)測(cè)試階段，借助硅后激勵(lì)器可在硅片層面發(fā)現(xiàn)設(shè)計(jì)錯(cuò)誤。這些測(cè)試也可用于仿真和驗(yàn)證環(huán)節(jié)，以判斷設(shè)計(jì)邏輯是否存在問(wèn)題。但有時(shí)，只有借助實(shí)際流片的硅片，才能發(fā)現(xiàn)這些特殊錯(cuò)誤。”

Adam Cron特別強(qiáng)調(diào)，流片制造的實(shí)際硅片對(duì)于識(shí)別新故障（尤其是新工藝節(jié)點(diǎn)下的故障）至關(guān)重要：“內(nèi)存有時(shí)需要針對(duì)新工藝的內(nèi)建自測(cè)試（BiST）算法，以發(fā)現(xiàn)這些新的缺陷特征。通過(guò)流片制造實(shí)際硅片，是防范特定設(shè)計(jì)風(fēng)格或物理布局方案日后演變?yōu)殪o默數(shù)據(jù)錯(cuò)誤（SDE）的有效保障?！?/p>

目前，半導(dǎo)體行業(yè)在兩方面取得了顯著進(jìn)展：一是通過(guò)測(cè)試更有效地篩選缺陷，二是通過(guò)軟件管控靜默數(shù)據(jù)錯(cuò)誤（SDE）造成的損害。然而，設(shè)計(jì)中的 “邊際性”（marginality）和工藝中的變異性，可能是靜默數(shù)據(jù)損壞（SDC）的核心誘因，且這類誘因極難察覺(jué)。有些潛伏性缺陷能通過(guò)所有測(cè)試和檢查，但一旦處于實(shí)際應(yīng)用環(huán)境中，就可能在現(xiàn)場(chǎng)發(fā)生故障。

泰瑞達(dá)（Teradyne）技術(shù)與營(yíng)銷總監(jiān)Nitza Basoco解釋道：“就靜默數(shù)據(jù)錯(cuò)誤（SDE）而言，某些知識(shí)產(chǎn)權(quán)（IP）模塊可能存在邊際性問(wèn)題，但在‘零時(shí)刻’（time zero，即出廠時(shí)）仍可通過(guò)測(cè)試。然而，當(dāng)信號(hào)路徑與環(huán)境條件呈現(xiàn)特定組合時(shí)，這類邊際性缺陷可能演變?yōu)殛P(guān)鍵性缺陷。而且，由于缺陷對(duì)多種因素的組合敏感，其是否會(huì)導(dǎo)致故障具有不確定性?！?/p>

盡管傳統(tǒng)測(cè)試是在故障發(fā)生后進(jìn)行檢測(cè)，但部分策略已轉(zhuǎn)向預(yù)防導(dǎo)向。proteanTecs 聯(lián)合創(chuàng)始人兼首席技術(shù)官 Evelyn Landman表示：“我們專注于預(yù)測(cè)這些故障 —— 如今，一個(gè)主要問(wèn)題是，這些故障會(huì)反饋給設(shè)備供應(yīng)商，而供應(yīng)商需投入巨額資源進(jìn)行故障分析。在很多情況下，他們無(wú)法復(fù)現(xiàn)故障，導(dǎo)致‘未發(fā)現(xiàn)故障’（no trouble found，簡(jiǎn)稱 NTF）率居高不下。我們的核心目標(biāo)是從源頭避免故障發(fā)生。我們發(fā)現(xiàn)，在未采用我們方法的案例里，部分退回的故障芯片存在缺陷，而通過(guò)我們的方法本可提前發(fā)現(xiàn)這些問(wèn)題?！?/p>

例如，借助對(duì)漏電流敏感的專用工藝監(jiān)視器，結(jié)合模型可預(yù)測(cè)每顆芯片的預(yù)期漏電流。若實(shí)際漏電流超過(guò)預(yù)期值，即表明可能存在導(dǎo)致靜默數(shù)據(jù)錯(cuò)誤的缺陷。

第二種方法是通過(guò)遙測(cè)監(jiān)視器追蹤時(shí)序余量 —— 時(shí)序余量的變化是預(yù)測(cè)故障的關(guān)鍵指標(biāo)。時(shí)序余量變化可能由多種因素引起，例如連接松動(dòng)導(dǎo)致金屬線電阻升高，或特征粗糙度導(dǎo)致晶體管計(jì)算速度變慢。

時(shí)序延遲還與故障傳播路徑密切相關(guān)：若時(shí)序延遲沿短路徑傳播，微小延遲可能不會(huì)被察覺(jué)；若沿較長(zhǎng)的關(guān)鍵路徑傳播，即便微小延遲也可能導(dǎo)致故障。然而，所有這些監(jiān)視器都會(huì)占用硅片面積，產(chǎn)生成本開(kāi)銷。尤其是在先進(jìn)工藝節(jié)點(diǎn)下，器件可集成的傳感器數(shù)量有限，一旦空間耗盡便無(wú)法再增加。因此，遙測(cè)傳感器的部署必須經(jīng)過(guò)周密規(guī)劃，優(yōu)先部署在最關(guān)鍵的位置。

靜默數(shù)據(jù)錯(cuò)誤發(fā)生率上升的部分原因，可能與芯片處于高壓力運(yùn)行模式的時(shí)間增加有關(guān)。

Nitza Basoco指出：“系統(tǒng)級(jí)芯片（SoC）的設(shè)計(jì)初衷并非使其以最高電壓、最高頻率、高功耗狀態(tài) 24 小時(shí)不間斷運(yùn)行 —— 原本設(shè)計(jì)的高負(fù)載運(yùn)行時(shí)長(zhǎng)本就較短。但如今，芯片大部分時(shí)間都處于高壓力環(huán)境中，因此故障風(fēng)險(xiǎn)顯著升高。我們需要明確芯片的實(shí)際運(yùn)行工況，并調(diào)整相關(guān)設(shè)計(jì)或運(yùn)行參數(shù)，以確保這些器件在與認(rèn)證環(huán)境差異極大的工況下，仍能保持較長(zhǎng)的使用壽命?！?/p>

Ira Leventhal提出了靜默數(shù)據(jù)損壞的三大管控方法：“在靜默數(shù)據(jù)損壞問(wèn)題的管控方面，我們有三種核心手段 —— 檢測(cè)錯(cuò)誤、降低錯(cuò)誤發(fā)生率、構(gòu)建缺陷容錯(cuò)系統(tǒng)。這三種手段必須同時(shí)采用。我把它比作通信領(lǐng)域的問(wèn)題應(yīng)對(duì)邏輯：我們從不期望通信鏈路絕對(duì)可靠，因此始終會(huì)執(zhí)行錯(cuò)誤檢查。若系統(tǒng)檢測(cè)到錯(cuò)誤，便會(huì)啟動(dòng)重試機(jī)制 —— 這是預(yù)期的運(yùn)行模式?！?/p>

此外，針對(duì)靜默數(shù)據(jù)損壞（SDC）的測(cè)試并非孤立進(jìn)行。Adam Cron補(bǔ)充道：“任何用于檢測(cè)缺陷組件的設(shè)計(jì)結(jié)構(gòu)，都有助于發(fā)現(xiàn)那些故障時(shí)會(huì)‘靜默失效’的器件。目前尚無(wú)專門(mén)針對(duì)靜默數(shù)據(jù)錯(cuò)誤的工具，但任何可反映硅片整體質(zhì)量狀況的特征都十分有用。例如，將工藝監(jiān)視器與異常值檢測(cè)分析技術(shù)相結(jié)合，可幫助篩選出可能在現(xiàn)場(chǎng)出現(xiàn)問(wèn)題的芯片。”

由于 Meta、谷歌等企業(yè)已找到通過(guò)軟件管控靜默數(shù)據(jù)錯(cuò)誤的方法，行業(yè)對(duì)這類錯(cuò)誤的警報(bào)聲已有所緩和。Nitza Basoco 提醒道：“目前，問(wèn)題已得到初步控制，但如果靜默數(shù)據(jù)錯(cuò)誤（SDE）的發(fā)生率上升到現(xiàn)有管控措施或臨時(shí)應(yīng)對(duì)方案無(wú)法應(yīng)對(duì)的程度，行業(yè)必須提前做好準(zhǔn)備。”

行業(yè)也在積極針對(duì)多芯片組件采取預(yù)防措施。Janusz Rajski表示：“適用于 3D 集成電路（3D-IC）的可測(cè)試性設(shè)計(jì)（DFT）架構(gòu)正逐步形成，該架構(gòu)會(huì)將靜默數(shù)據(jù)損壞錯(cuò)誤和設(shè)計(jì)規(guī)模不斷擴(kuò)大的問(wèn)題納入考量。測(cè)試壓縮并非新技術(shù)，但在這些核心中的應(yīng)用已非常普遍。其次，流掃描網(wǎng)絡(luò)（可實(shí)現(xiàn)打包數(shù)據(jù)在不同核心間的傳輸）已應(yīng)用于大多數(shù)大型設(shè)計(jì)，能以極高速度傳輸數(shù)據(jù)。我們還在開(kāi)發(fā) iJTAG 技術(shù)，以支持對(duì)大量?jī)x器進(jìn)行并行編程。在去年的國(guó)際測(cè)試會(huì)議（ITC）上，我們推出了在線測(cè)試（in-system test）技術(shù)，該技術(shù)可提供確定性測(cè)試能力，尤其適用于關(guān)注靜默數(shù)據(jù)錯(cuò)誤或有特定可靠性、可用性與可維護(hù)性（RAS）需求的客戶。最后，還需借助監(jiān)視器掌握工藝邊界（如工藝 - 電壓 - 溫度（PVT）邊界），部署時(shí)序裕量傳感器、路徑傳感器等結(jié)構(gòu)傳感器，同時(shí)將傳感器讀數(shù)與測(cè)試結(jié)果進(jìn)行關(guān)聯(lián)分析?！?/p>

PDF

結(jié)語(yǔ)

盡管通過(guò)可測(cè)試性設(shè)計(jì)（DFT）、工藝監(jiān)視器和更全面的測(cè)試流程，制造和測(cè)試階段捕獲的靜默數(shù)據(jù)錯(cuò)誤數(shù)量不斷增加，但在識(shí)別靜默數(shù)據(jù)錯(cuò)誤（SDE）的所有根本原因、降低其造成的影響，以及防止其在數(shù)據(jù)中心內(nèi)部傳播方面，行業(yè)仍有很長(zhǎng)的路要走。

盡管如此，領(lǐng)先企業(yè)已積極采取行動(dòng)：他們不僅采用更全面的基于任務(wù)模式的測(cè)試方法，還引入了系統(tǒng)內(nèi)測(cè)試技術(shù)。超大規(guī)模數(shù)據(jù)中心運(yùn)營(yíng)商、集成電路（IC）制造商、測(cè)試企業(yè)、可測(cè)試性設(shè)計(jì)（DFT）提供商和 EDA 企業(yè)之間加強(qiáng)數(shù)據(jù)共享與協(xié)作，將有助于形成更全面的解決方案，同時(shí)避免供應(yīng)鏈內(nèi)部出現(xiàn)勞動(dòng)重復(fù)的情況。