服務器數據恢復環(huán)境：
一臺某品牌服務器，通過FreeNAS來做iSCSI，然后使用兩臺同品牌服務器做ESXi虛擬化系統(tǒng)。
FreeNAS層為UFS2文件系統(tǒng)，使用整個存儲建一個稀疏模式的文件，掛載到ESXi虛擬化系統(tǒng)。ESXi虛擬化系統(tǒng)中有3臺比較重要的虛擬機，這幾臺虛擬機情況如下：
1、windows server操作系統(tǒng)，運行門戶網站，采用ASP.net+PHP混合構架，部署的SqlServer和mysql數據庫 。
2、FreeBSD操作系統(tǒng)，運行Mysql數據庫，供其他多臺虛擬機使用。
3、windows server系統(tǒng)，存放新開發(fā)的程序代碼。

服務器故障&分析：
在一次機房斷電之后，ESXi系統(tǒng)連不上存儲，管理員發(fā)現FreeNAS中的UFS2文件系統(tǒng)出現問題，管理員使用fsck修復文件系統(tǒng)。文件系統(tǒng)修復完成后，雖然ESXi系統(tǒng)可以連上存儲，但ESXi系統(tǒng)無法識別原數據存儲和VMFS文件系統(tǒng)，管理員對VMFS進行格式化后發(fā)現里面沒有任何數據。
應用構架層次：FreeNAS(UFS2文件系統(tǒng)–> 一個大的稀疏模式的文件) –> ESXi(VMFS文件系統(tǒng)層) -> 單臺虛擬機的虛擬磁盤 (windows-NTFS文件系統(tǒng)/FreeBSD-UFS2文件系統(tǒng))。

服務器數據恢復過程：
1、鏡像FreeNAS層，基于鏡像文件分析整個存儲，只發(fā)現一個文件名為iscsidata的大文件。根據UFS2文件系統(tǒng)的二進制結構定位到iscsidata文件的Inode數據，發(fā)現此文件被重建過，inode指針指向的數據量很少。所以通過FreeNAS層無法解決問題，只能嘗試通過VMFS層著手解決。
UFS2文件系統(tǒng)結構：
塊大?。?6KB
Segment大?。?KB
柱面組大小：188176KB
Tips：UFS2一個數據指針占8字節(jié)，一個塊可存儲2048個數據指針，那么一個二級指針塊可存儲：2048*2048*16KB=64GB數據，一個三級指針塊則可存儲 64GB*2048=128TB數據。如果能找到iscsidata文件的三級指針塊就能解決 FreeNAS層問題。但iscsidata文件重建過，過程和大小都和原始的一樣，部分指針塊應該已經被覆蓋。原iscsidata文件的inode和新建的iscsidata文件的inode在同一個位置，嘗試搜索后沒有發(fā)現其它有用的inode。北亞企安數據恢復工程師只能現場寫程序收集有用的指針塊。

北亞企安數據恢復——ESXi數據恢復

2、由于iscsidata文件采用稀疏模式，在放寬條件后收集到大量三級指針塊和二級指針塊。經過分析發(fā)現所有收集到的三級指針塊都是無效的，沒有找到iscsidata文件使用的三級指針塊，應該是在新建iscsidata文件時被覆蓋（新的iscsidata文件掛載到ESXi后有個VMFS格式化過程，而ESXi使用的是GPT分區(qū)，GPT分區(qū)會在磁盤最后寫入冗余的GPT頭和分區(qū)表信息數據，會使用到iscsidata文件的三級指針塊）。
3、分析收集到的二級指針塊，對有大量的二級指針塊的指向數據進行DUMP，然后再通過磁盤中的數據定位到二級指針，通過這種方式可以獲取到大量DUMP的數據。
4、分析VMFS層：因為格式化過VMFS，加上原UFS2文件系統(tǒng)的指針已丟失，所以VMFS元文件基本上不可用，無重要參考信息，所幸虛擬機都有快照，仍可恢復。通過單臺虛擬機(windows(NTFS)和 FreeBSD(UFS2)的文件系統(tǒng)結構)，向上定位到VMFS層，再通過VMFS層定位到DUMP出的單個64GB文件。
5、通過多次組合，這3臺重要虛擬機的虛擬磁盤都完全恢復。將恢復出的網頁數據和數據庫數據上傳到新搭建的系統(tǒng)中，拉起應用，經過檢測數據完全無問題。

北亞企安數據恢復——ESXi數據恢復

審核編輯 黃宇