服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：
一臺(tái)某品牌服務(wù)器，通過(guò)FreeNAS來(lái)做iSCSI，然后使用兩臺(tái)同品牌服務(wù)器做ESXi虛擬化系統(tǒng)。
FreeNAS層為UFS2文件系統(tǒng)，使用整個(gè)存儲(chǔ)建一個(gè)稀疏模式的文件，掛載到ESXi虛擬化系統(tǒng)。ESXi虛擬化系統(tǒng)中有3臺(tái)比較重要的虛擬機(jī)，這幾臺(tái)虛擬機(jī)情況如下：
1、windows server操作系統(tǒng)，運(yùn)行門戶網(wǎng)站，采用ASP.net+PHP混合構(gòu)架，部署的SqlServer和mysql數(shù)據(jù)庫(kù) 。
2、FreeBSD操作系統(tǒng)，運(yùn)行Mysql數(shù)據(jù)庫(kù)，供其他多臺(tái)虛擬機(jī)使用。
3、windows server系統(tǒng)，存放新開(kāi)發(fā)的程序代碼。

服務(wù)器故障&分析：
在一次機(jī)房斷電之后，ESXi系統(tǒng)連不上存儲(chǔ)，管理員發(fā)現(xiàn)FreeNAS中的UFS2文件系統(tǒng)出現(xiàn)問(wèn)題，管理員使用fsck修復(fù)文件系統(tǒng)。文件系統(tǒng)修復(fù)完成后，雖然ESXi系統(tǒng)可以連上存儲(chǔ)，但ESXi系統(tǒng)無(wú)法識(shí)別原數(shù)據(jù)存儲(chǔ)和VMFS文件系統(tǒng)，管理員對(duì)VMFS進(jìn)行格式化后發(fā)現(xiàn)里面沒(méi)有任何數(shù)據(jù)。
應(yīng)用構(gòu)架層次：FreeNAS(UFS2文件系統(tǒng)–> 一個(gè)大的稀疏模式的文件) –> ESXi(VMFS文件系統(tǒng)層) -> 單臺(tái)虛擬機(jī)的虛擬磁盤 (windows-NTFS文件系統(tǒng)/FreeBSD-UFS2文件系統(tǒng))。

服務(wù)器數(shù)據(jù)恢復(fù)過(guò)程：
1、鏡像FreeNAS層，基于鏡像文件分析整個(gè)存儲(chǔ)，只發(fā)現(xiàn)一個(gè)文件名為iscsidata的大文件。根據(jù)UFS2文件系統(tǒng)的二進(jìn)制結(jié)構(gòu)定位到iscsidata文件的Inode數(shù)據(jù)，發(fā)現(xiàn)此文件被重建過(guò)，inode指針指向的數(shù)據(jù)量很少。所以通過(guò)FreeNAS層無(wú)法解決問(wèn)題，只能嘗試通過(guò)VMFS層著手解決。
UFS2文件系統(tǒng)結(jié)構(gòu)：
塊大小：16KB
Segment大?。?KB
柱面組大?。?88176KB
Tips：UFS2一個(gè)數(shù)據(jù)指針占8字節(jié)，一個(gè)塊可存儲(chǔ)2048個(gè)數(shù)據(jù)指針，那么一個(gè)二級(jí)指針塊可存儲(chǔ)：2048*2048*16KB=64GB數(shù)據(jù)，一個(gè)三級(jí)指針塊則可存儲(chǔ) 64GB*2048=128TB數(shù)據(jù)。如果能找到iscsidata文件的三級(jí)指針塊就能解決 FreeNAS層問(wèn)題。但iscsidata文件重建過(guò)，過(guò)程和大小都和原始的一樣，部分指針塊應(yīng)該已經(jīng)被覆蓋。原iscsidata文件的inode和新建的iscsidata文件的inode在同一個(gè)位置，嘗試搜索后沒(méi)有發(fā)現(xiàn)其它有用的inode。北亞企安數(shù)據(jù)恢復(fù)工程師只能現(xiàn)場(chǎng)寫程序收集有用的指針塊。

北亞企安數(shù)據(jù)恢復(fù)——ESXi數(shù)據(jù)恢復(fù)

2、由于iscsidata文件采用稀疏模式，在放寬條件后收集到大量三級(jí)指針塊和二級(jí)指針塊。經(jīng)過(guò)分析發(fā)現(xiàn)所有收集到的三級(jí)指針塊都是無(wú)效的，沒(méi)有找到iscsidata文件使用的三級(jí)指針塊，應(yīng)該是在新建iscsidata文件時(shí)被覆蓋（新的iscsidata文件掛載到ESXi后有個(gè)VMFS格式化過(guò)程，而ESXi使用的是GPT分區(qū)，GPT分區(qū)會(huì)在磁盤最后寫入冗余的GPT頭和分區(qū)表信息數(shù)據(jù)，會(huì)使用到iscsidata文件的三級(jí)指針塊）。
3、分析收集到的二級(jí)指針塊，對(duì)有大量的二級(jí)指針塊的指向數(shù)據(jù)進(jìn)行DUMP，然后再通過(guò)磁盤中的數(shù)據(jù)定位到二級(jí)指針，通過(guò)這種方式可以獲取到大量DUMP的數(shù)據(jù)。
4、分析VMFS層：因?yàn)楦袷交^(guò)VMFS，加上原UFS2文件系統(tǒng)的指針已丟失，所以VMFS元文件基本上不可用，無(wú)重要參考信息，所幸虛擬機(jī)都有快照，仍可恢復(fù)。通過(guò)單臺(tái)虛擬機(jī)(windows(NTFS)和 FreeBSD(UFS2)的文件系統(tǒng)結(jié)構(gòu))，向上定位到VMFS層，再通過(guò)VMFS層定位到DUMP出的單個(gè)64GB文件。
5、通過(guò)多次組合，這3臺(tái)重要虛擬機(jī)的虛擬磁盤都完全恢復(fù)。將恢復(fù)出的網(wǎng)頁(yè)數(shù)據(jù)和數(shù)據(jù)庫(kù)數(shù)據(jù)上傳到新搭建的系統(tǒng)中，拉起應(yīng)用，經(jīng)過(guò)檢測(cè)數(shù)據(jù)完全無(wú)問(wèn)題。

北亞企安數(shù)據(jù)恢復(fù)——ESXi數(shù)據(jù)恢復(fù)

審核編輯 黃宇